기술적 요약: 대규모 개입 시뮬레이션을 통한 AI 정책 평가 정보 제공

문제 제기

AI 시스템의 급속한 확산으로 정책 입안자가 해악을 완화할 수 있는 잠재적 정책 옵션의 압도적인 풍부함에 직면한 복잡한 거버넌스 환경이 조성되었습니다. 이러한 경쟁 전략들 간의 우선순위 결정은 위험의 정량화 어려움, 자원의 부족, 그리고 다양한 이해관계자 관점을 통합하는 포용적 평가 방법의 부재로 인해 도전적입니다. 기존 접근 방식은 종종 전문가 지식에 크게 의존하여, AI 해악으로 가장 큰 영향을 받는 일반 이해관계자의 실제 경험을 무시하는 편향된 위험 평가를 초래할 수 있습니다. furthermore, 무작위 통제 시험과 같은 전통적인 정책 평가 방법은 의사결정 초기 단계에서 정책 입안자를 안내하기에는 비용이 너무 많이 들거나 시간이 너무 오래 걸리는 경우가 많습니다. 따라서 예상되는 해악 완화, 구현 비용, 그리고 대중의 인식을 균형 있게 유지하면서 정책 조합의 광범위한 해결 공간 효율적으로 탐색할 수 있는 방법론에 대한 시급한 필요성이 있습니다.

방법론

저자들은 실행 가능한 정책 옵션을 식별하기 위해 참여적 평가, 전문가 평가, 그리고 대규모 언어 모델 (LLM) 시뮬레이션을 통합한 계산 프레임워크를 제안합니다. 이 방법론은 정치 조작만으로도 20 억 개 이상의 조합과 같이 해결 불가능할 정도로 거대한 해결 공간을 탐색하도록 설계된 유전 알고리즘 (GA) 에 기반을 둡니다.

핵심 구성 요소

1. 이해관계자 - 행동 쌍 (SAPs): 정책의 기본 단위는 특정 이해관계자 (예: 뉴스 출판사, 기술 기업) 를 특정 행동 (예: "데이터 수집에 대해 투명하게 공개하기") 과 연결하는 SAPs 입니다. 이들은 이전 연구에서 일반 이해관계자들이 브레인스토밍하고 평가한 것입니다.
2. 최적화 함수: 시스템은 세 가지 경쟁 요소를 균형 있게 조정하는 가중치 함수 $F(S, P')$를 최적화합니다.
   • 해악 완화 ($\alpha$): 해악의 심각성과 규모에 대한 인식된 감소분입니다. 이는 특정 정책 조건 ($P'$) 하에서 원래 해악 시나리오 ($S$) 를 재작성하고 위험 차원의 변화를 평가함으로써 측정됩니다.
   • 전문가 비용 ($\beta$): 학제 간 전문가 패널 (정책, 법률, 저널리즘, AI 배포) 이 할당한 추정 구현 비용입니다. 비용은 1(낮음) 에서 3(높음) 까지 등급이 매겨지며, 4 는 "실행 불가"(법적 또는 기술적으로 불가능) 를 나타냅니다.
   • 참여 평가 ($\gamma$): 일반 이해관계자가 특정 SAPs 를 얼마나 우선시하고 동의하는지에 대한 정도로, 이전 설문 조사 데이터에서 도출됩니다.
3. LLM 정렬 및 시뮬레이션:
   • 수백만 개의 정책 조합 평가를 확장하기 위해 저자들은 인간 평가와 정렬된 LLM(특히 낮은 추론 능력을 가진 o3-mini) 을 사용합니다.
   • LLM 은 재작성된 시나리오 ($S'$) 를 심각도, 규모, 타당성이라는 세 가지 차원에 걸쳐 평가하는 다섯 명의 다양한 심사위원 패널로 행동하도록 프롬프트됩니다.
   • 이 모델은 234 개의 일반인 평가 시나리오 데이터셋을 기준으로 훈련 및 검증되었으며, 인간 평가 대비 피어슨 상관 계수는 심각도 0.794, 규모 0.707, 타당성 0.616 을 기록했습니다.
4. 유전 알고리즘 (GA):
   • 초기화: 무작위 정책 부분집합 (염색체) 의 개체군이 생성됩니다.
   • 선택 및 교차: 적합도 (최적화 함수 점수) 를 기반으로 부모가 로테이션 휠 샘플링을 통해 선택됩니다. 두 점 교차가 자손을 생성하는 데 사용됩니다.
   • 변이: 낮은 변이율 (0.03) 이 변이를 도입합니다.
   • 엘리티즘: 최적 해의 손실을 방지하기 위해 각 세대에서 상위 3 개 성능을 보이는 정책이 보존됩니다.
   • 종료: 알고리즘은 새로운 최적점을 찾지 못한 채 최대 "정지 세대" 수에 도달할 때까지 실행됩니다.

사례 연구

이 방법은 생성형 AI 미디어 생태계의 세 가지 구체적인 해악에 적용되었습니다:

1. 정치적 조작 (31 개의 가능한 SAPs).
2. 실업 (16 개의 가능한 SAPs).
3. 미디어 선정주의 (26 개의 가능한 SAPs).

주요 결과

이 연구는 해악 완화, 비용, 그리고 참여 구성 요소에 할당된 가중치를 변경하면 정책 결과가 크게 달라진다는 것을 보여줍니다:

• 균형 잡힌 가중치 (모두 동일): 낮은 수준에서 중간 수준의 비용과 높은 참여 가치를 우선시하는 1~2 개의 SAPs 로 구성된 매우 선택적인 정책 세트를 산출합니다. 예상되는 해악 감소는 미미합니다.
• 해악 완화 강조 ($\alpha=1$): mandated SAPs 의 최대 수 (전체 풀의 40~50%) 와 가장 높은 예상 해악 감소를 초래합니다. 그러나 이 접근 방식은 종종 실행 불가능한 SAPs(전문가에 의해 비용 4 로 평가됨) 를 포함하며 가장 높은 비용을 수반합니다.
• 비용 또는 참여 강조: 비용이 우선시될 때 모델은 더 적은 수의 저비용 SAPs 를 선택합니다. 참여가 우선시될 때 모델은 높은 공공 동의를 가진 SAPs 를 선택하며, 때로는 고비용 항목을 포함하기도 합니다.
• 실행 불가능한 SAPs: 최적화에서 비용 구성 요소를 제외할 경우 ($\beta=0$), 알고리즘은 종종 실행 불가능한 SAPs(예: AI 생성 뉴스에 대한 정부 금지) 를 선택하여 전문가 제제의 필요성을 강조합니다.
• 정책 다양성: GA 는 다양한 지역 최적 해 집합을 식별했습니다. 일부 SAPs(예: "뉴스 출판사는 AI 사용에 대해 투명해야 한다") 는 다양한 가중치 설정에서 일관되게 선택되었지만, 많은 다른 조합들은 변이가 있어 명시적인 절충 선호도 없이는 단일 "최적" 정책이 존재하지 않음을 시사합니다.

중요성 및 주장

저자들은 이 작업을 확정적인 정책 처방이 아닌 개념 증명 방법론으로 위치시킵니다. 그들의 주요 주장은 다음과 같습니다:

1. 참여적 AI 의 운영화: 이 방법은 일반 이해관계자의 관점을 전문가 지식을 대체하는 것이 아니라 보완하는 방식으로 실제 정책 개발 파이프라인에 직접 통합하는 데 성공했습니다.
2. 절충의 탐색: 정책 입안자가 가중치 ($\alpha, \beta, \gamma$) 를 조정할 수 있도록 함으로써 효과성, 비용, 그리고 대중 수용성 간의 절충 관계를 명시적으로 드러냅니다. 이는 한 요인 (예: 해악 완화) 을 우선시하는 것이 종종 다른 요인 (예: 비용 또는 실행 가능성) 을 희생해야 함을 보여줍니다.
3. 확장 가능한 시뮬레이션: 이 접근법은 인간 데이터와 정렬된 LLM 이 대규모 시나리오 평가를 위한 비용 효율적인 대리인으로 기능할 수 있음을 보여주며, 인간만의 평가로는 계산적으로 해결 불가능한 해결 공간의 탐색을 가능하게 합니다.
4. 의사결정 지원, 대체가 아님: 저자들은 출력이 "논의를 위한 시작점"임을 강조합니다. 이 방법은 의사결정을 자동화하거나 인간의 판단을 대체하기 위한 것이 아니라, 정책 입안자가 추가 투자 및 평가가 필요한 실행 가능한 영역을 식별하도록 지원하도록 설계되었습니다.

이 논문은 유전 알고리즘이 발견한 다양한 실행 가능한 정책 조합이 논의에 유용한 기초를 제공하며, 다양한 지식 출처 (전문가 대 일반인) 와 우선순위가 잠재적 AI 거버넌스 환경을 어떻게 형성하는지 이해하는 데 도움이 된다고 결론지었습니다.