기술 요약: 누가 AI의 사회적 영향을 평가하는가?

문제 제기

파운데이션 모델이 고위험 AI 시스템의 핵심이 됨에 따라, 거버넌스 프레임워크는 리스크와 역량을 평가하기 위해 평가(evaluation)에 점점 더 의존하고 있습니다. 일반적인 능력 벤치마크는 널리 퍼져 있는 반면, 사회적 영향 차원(특히 편향성, 공정성, 개인정보 보호, 환경 비용, 노동)에 대한 보고는 파편화되어 있고 불균형한 상태로 남아 있습니다.

현재의 관행은 모델이 어떻게 학습되고, 평가되며, 배포되는지에 대한 투명성 부족으로 어려움을 겪고 있습니다. 이러한 불투례성은 규제 기관, 실무자, 그리고 대중이 채택 여부에 관한 정보에 입각한 결정을 내리는 능력을 저해합니다. 또한, 일화적인 증거에 따르면 사회적 영향 보고는 종종 피상적이며, 환경 비용과 같은 중요한 차원이 완전히 누락되는 경우가 많습니다. 따라서 누가 이러한 영향을 평가하는지, 평가의 품질은 어떠한지, 그리고 1차 당사자(개발자)와 3차 당사자(독립 기관) 간의 보고 사이에 존재하는 구조적 격차가 무엇인지를 규명할 필요가 있습니다.

방법론

저자들은 사회적 영향 평가 보고 관행에 대한 최초의 대규모 체계적 분석을 수행했습니다. 연구에는 다중 모드 방법론이 사용되었습니다:

1. 보고 출처에 대한 실증적 분석:

   • 범위: 연구팀은 186개의 1차 출시 시점 보고서(예: 모델 카드, 시스템 카드, 기술 보고서)와 248개의 3차 출시 후 소스(독립 연구, 리더보드, 웹사이트 포함)를 분석했습니다.
   • 분류 체계: 평가는 Solaiman 등(2023)의 연구를 변형하여 7가지 기본 수준의 사회적 영향 차원에 따라 점수를 매겼습니다:
     1. 편향, 고정관념 및 표현적 위해.
     2. 민감한 콘텐츠.
     3. 불균등한 성능.
     4. 환경 비용 및 탄소 배출.
     5. 개인정보 보호 및 데이터 보호.
     6. 재무적 비용.
     7. 데이터 및 콘텐츠 중재 노동.
   • 채점 방식: 각 보고서에 0–3 척도를 적용했습니다:
     • 0: 보고된 평가 없음.
     • 1: 세부 사항 없는 모호한 언급.
     • *2 구체적인 결과는 있으나 방법론적 명확성이 제한적임.
     • 3: 의미 있는 이해와 맥락화를 가능하게 하는 충분히 상세한 보고.
   • 계층화: 모델은 개방성(오픈/폐쇄), 제공 기관 유형(산업계, 학계, 비영리 단체, 정부), 지리적 지역별로 분류되었습니다.

2. 이해관계자 인터뷰:

   • 저자들은 영리 및 비영리 모델 개발자 대표들을 대상으로 10회의 반구조화된 인터뷰를 진행했습니다.
   • 이 인터뷰를 통해 정량적 연구 결과를 맥락화하였으며, 조직적 유인, 보고의 장벽, 평가 관행에 대한 태도를 탐구했습니다.

3. 통계 모델링:

   • 모델의 특성(개방성, 조직 유형, 연도)이 보고 점수에 미치는 영향을 정량화하기 위해 베이지안 계층적 순서 회귀(Bayesian hierarchical ordinal regression)를 사용하였으며, 이때 제공자와 지역을 통제 변수로 설정했습니다.

주요 기여

• 체계적 정량 분석: 본 논문은 단순한 총체적 리스크 평가를 넘어, 제공자, 부문, 지역 및 시스템 개방성에 따른 사회적 영향 보고에 대한 최초의 대규모 정량적 그림을 제공하며, 이를 통해 세밀한 차원별 분석을 수행했습니다.
• "분업"의 식별: 연구는 1차 당사자와 3차 당사자 평가자의 뚜렷한 역할을 규명하며, 각자가 성공하는 부분과 여전히 심각한 격차가 존재하는 부분을 강조합니다.
• 인터뷰를 통한 맥락화: 개발자의 관점을 통합함으로써, 본 논문은 기술적 보고의 격차가 왜 발생하는지를 설명하며, 이를 조직적 유인, 자원 제약, 규제 환경과 연결하여 단순한 기술적 서술을 넘어선 설명을 제공합니다.
• 데이터셋 공개: 저자들은 향후 평가 관행 연구를 지원하기 위해 모델 수준의 메타데이터와 차원별 점수가 포함된 데이터셋을 공개했습니다.

주요 결과

1. 뚜렷한 분업 구조

• 1차 보고: 일반적으로 드물고 피상적이며 특정 분야에서 감소하는 경향을 보입니다. 1차 보고서는 0–3 척도 기준으로 3차 평가(평균 2.64)에 비해 상세도(평균 0.77)가 현저히 낮았습니다.
• 3차 보고: 편향, 유해 콘텐츠 및 성능 불균형에 대해 더 넓고 엄격한 범위를 다룹니다. 그러나 3차 평가자들은 데이터 출처, 노동 조건, 인프라 비용을 보고할 때, 독점적인 개발자 데이터에 접근할 수 없기 때문에 제약을 받습니다.

2. 시간에 따른 보고 감소 현상

• 보고 빈도와 상세도가 시간이 지남에 따라 감소했으며, 특히 환경 비용과 편향 분야에서 그러했습니다.
• 환경 비용 보고는 2023년 3분기 이후 크게 감소했습니다. 마찬가지로, 주요 제공업체(예: Meta, Google, Anthropic)의 최근 출시물에서 편향 보고는 더욱 모호해졌습니다.
• 인터뷰 결과, 편향은 정치적 환경이나 표준화된 평가 방법의 부재로 인해 우선순위에서 밀려나는 경우가 많으며, 환경 보고는 부정적인 평판 영향을 방지하기 위해 기피되는 것으로 나타났습니다.

3. 부문 및 지리적 불균형

• 학계가 1차 출시 시점 보고를 주도하고 있으며, 산업계와 비영리 단체가 그 뒤를 잇습니다. 정부 기관은 가장 낮은 보고 점수를 기록했습니다.
• 지리적 측요: 3차 평가 활동은 모델의 인기에 따라 미국과 중국의 모델에 집중되어 있습니다. 이는 다른 지역의 모델 및 저자원 모델에 대한 '사각지대'를 형성하며, 이들은 훨씬 적은 조사를 받게 됩니다.

4. 특정 차원의 격차

• 민감한 콘텐츠: 독성 및 평판 위험 관리라는 명확한 기업 리스크 관리 우선순위 덕분에 1차 및 3차 보고 모두에서 가장 일관된 관심을 받았습니다.
• 중재 노동: 1차 보고의 단 **8.06%**에서만 보고되었습니다. 노동 조건에 대한 3차 보고는 노동자 환경 및 보상에 관한 내부 데이터에 대한 접근 권한이 없기 때문에 거의 존재하지 않습니다.
• 개인정보 보호 및 재무적 비용: 이러한 차원은 신뢰할 수 있는 방법론의 부재나 데이터의 독점적 성격으로 인해 여전히 보고가 드뭅니다.

의의 및 주장

본 논문은 현재의 평가 관행이 사회적 영향을 평가하는 데 있어 주요한 격차를 남기고 있으며, 이것이 이해관계자들이 정보에 입각한 판단을 내리는 능력을 저해한다고 주장합니다.

• 구조적 격차 vs 전략적 격차: 저자들은 기술적 어려움(예: 노동 영향을 측정하기 위한 방법론 부족)으로 인한 격차와 전략적 우선순위 배제(예: 평판 보호를 위한 환경 보고 회피)로 인한 격차를 구분합니다.
• 유인 불일치: 연구는 개발자들이 제품 채택, 비즈니스 지표 또는 규제 준수와 연결될 때만 평가를 수행한다는 점을 강조합니다. 이러한 동력이 없을 때 사회적 영향 보고는 흔히 후순위로 밀립니다.
• 정책적 시사점: 본 연구 결과는 다음과 같은 정책의 필요성을 강조합니다:
  • 개발자의 투명성 강제 (예: 선의의 보고를 위한 세이프 하버 제도 도입).
  • 연구 접근성 및 자금 지원을 통한 독립적 평가 생태계 강화.
  • 3차 검증의 장벽을 낮추기 위한 공유 인프라(예: 컴퓨팅/에너지 사용량에 대한 API) 구축.

저자들은 3차 평가자가 일부 격차를 메우는 데 도움을 주지만, 견고한 생태계를 위해서는 다중 이해관계자 간의 협력, 표준화된 프레임워크, 그리고 파편화된 보고에서 종합적이고 일관된 범위로 나아가기 위한 구조적 개혁이 필요하다고 결론짓습니다.