The Foreign Policy AI Evaluation Gap

개요: 안개 자욱한 전쟁터에서 탱크를 운전하기

당신이 자율주행 자동차에게 운전하는 법을 가르치고 있다고 상상해 보세요. 일반적인 도시에서는 트랙 위에서 테스트하고, 얼마나 빨리 멈추는지 측정하며, 콘을 치는지 확인할 수 있습니다. 만약 실패하더라도, 그냥 자동차를 리셋하고 다시 시도하면 그만입니다.

이제, 똑같은 자율주행 자동차가 안개 자욱한 전쟁터에서 탱크를 몰아야 한다고 상상해 보세요. 그곳은 규칙이 매분 매초 바뀌고, 적군은 센서를 속이려고 끊임없이 시도하며, 단 한 번의 실수가 핵전쟁이나 기근을 초래할 수 있는 곳입니다.

이 논문은 우리가 현재 이 "전쟁터의 탱크"(저자들이 외교 정책 또는 국가 경영이라 부르는 것)를 위한 AI를 구축하려 노력하고 있지만, 정작 사용하는 테스트 방식은 일반적인 자율주행 자동차에 쓰이는 단순한 "도시 주행" 테스트와 다를 바 없다고 주장합니다. 저자들은 이러한 테스트가 현실과 일치하지 않으며, 실수가 발생하기 전에 이를 잡아낼 수 있는 감시 체계도 부족하기 때문에 매우 위험하다고 말합니다.

왜 이렇게 어려운가? (세 가지 주요 문제)

논문은 외교 정책을 테스트하는 것이 유독 어려운 세 가지 이유를 설명합니다.

1. 지도가 없다 (경계 없는 행동 공간 - Unbounded Action Space):

   • 비유: '디플로머시(Diplomacy)' 같은 비디오 게임에는 정해진 규칙과 판이 있습니다. 하지만 실제 외교 정책에는 판이 없습니다. "규칙"은 플레이어들에 의해 깨지거나 새로 쓰일 수 있습니다. AI는 게임 자체의 규칙이 변할 때 어떻게 해야 할지를 스스로 파악해야 합니다.
   • 문제점: 선택지가 무한하고 규칙이 유동적이기 때문에, AI가 따라야 할 단순한 체크리스트를 작성하는 것이 불가능합니다.

2. 진실이 숨겨져 있다 (경합하는 진실 - Contested Ground Truth):

   • 비유: 다른 플레이어들이 자신의 카드를 속이고 있고, 당신은 그들의 얼굴을 볼 수 없는 포커 게임을 한다고 상상해 보세요. 외교 정책에서 국가들은 종종 자신들의 진정한 의도를 숨기거나 거짓을 말합니다.
   • 문제점: AI가 학습하려면 "진실"이 필요합니다. 하지만 외교의 세계에서 "진실"은 종종 비밀이거나 거짓입니다. 만약 AI가 거짓으로부터 배운다면, 잘못된 결정을 내리게 될 것입니다.

3. 단일한 점수판이 없다 (다차원적 목표 - Multidimensional Objectives):

   • 비유: 경주에서의 목표는 단순합니다. 결승선에 가장 먼저 도착하는 것입니다. 하지만 외교 정책에서 국가는 무역 협상을 따내는 동시에, 동맹국을 만족시키고, 전쟁을 피하며, 자국 유권자들을 화나게 하지 않아야 합니다. 이러한 목표들은 서로 충돌하곤 합니다.
   • 문제점: AI를 어떻게 채점할 수 있을까요? 무역 협상은 따냈지만 전쟁에서 졌다면? 평화를 가져왔지만 유권자들을 분노하게 했다면? 성공을 측정할 수 있는 단 하나의 "A+" 점수는 존재하지 않습니다.

연구의 "사각지대"

저자들은 AI 안전 및 거버넌스에 관한 수천 편의 연구 논문을 검토했습니다. 그 결과 거대한 격차를 발견했습니다.

• 우리가 가진 것: AI를 일반적인 방식으로 테스트하는 방법(예: 시를 쓸 수 있는지, 수학 문제를 풀 수 있는지 확인하는 것)에 대한 많은 연구.
• 우리가 부족한 것: 외교 정책에 특화된 AI를 테스트하는 방법에 대한 연구는 거의 없음.

저자들은 관련 논문의 99.98%가 평가(Assessment)(모델의 기술을 단순히 테스트하는 것)에만 집중하고 있으며, 나머지 필수적인 요소들인 접근성(Access)(테스트를 위한 데이터 확보), 검증(Verification)(작동 여부 증명), 보안(Security)(해킹으로부터의 안전), 운용화(Operationalization)(인간이 실제로 사용하는 방식), 그리고 생태계 모니터링(Ecosystem Monitoring)(전체 시스템을 지속적으로 관찰하는 것)은 간과하고 있다는 사실을 발견했습니다.

이는 엔진 오일을 체크하는 데는 능숙하지만, 보닛 아래를 들여다보거나 브레이크를 점검하거나, 혹은 운전자와 도로 위에서의 차량 느낌에 대해 대화하기를 거부하는 정비사와 같습니다.

제안된 해결책: "리더보드" 대신 "태스크 카드(Task Cards)"

논문은 어떤 AI가 최고의 "외교관"인지 순위를 매기는 거대한 "리더보드"를 만들려고 하지 말고, 복잡한 요리를 다지기, 볶기, 접시에 담기로 나누듯 외교 정책을 작고 관리 가능한 작업 단위로 쪼개야 한다고 제안합니다.

이들은 **수요 측면의 평가(Demand-Side Evaluation)**를 제안합니다.

• 묻지 마십시오: "이 AI는 외교에 능숙한가?"
• 대신 이렇게 물으십시오: "이 AI가 인간 분석가가 특정 조약 조항에 대한 적절한 근거를 찾는 것을 도울 수 있는가?" 또는 "이 AI가 갈등이 고조될 징후를 포착할 수 있는가?"

작동 방식:

1. 세분화: 큰 외교 정책 워크플로우를 작고 경계가 명확한 작업들로 나눕니다.
2. 인간 참여(Human in the loop): AI는 작은 작업(문장 초안 작성이나 사실 관계 찾기 등)을 수행하지만, 최종 결정을 내리고 책임을 지는 것은 항상 인간 전문가입니다.
3. 특정 직무 테스트: AI의 전체적인 성격(Personality)을 판단하려 하기보다, AI가 그 특정 작은 작업을 잘 수행했는지를 테스트합니다.

"영향 보고서" (이것이 중요한 이유)

저자들은 매우 분명하게 밝히고 있습니다. 그들은 이러한 AI 시스템을 직접 만드는 사람들이 아닙니다. 그들은 이 시스템을 위한 안전 매뉴얼을 만들고 있는 것입니다.

그들은 만약 우리가 이러한 시스템을 테스트하는 방식을 고치지 않는다면, 우리가 단순히 단순하고 가짜인 시나리오로만 테스트한 AI를 정부에 제공함으로써, 결과적으로 거짓말, 조작, 또는 갈등을 유발하는 데 매우 능숙한 도구를 실수로 쥐여주게 될 수도 있다고 경고합니다.

핵심 요약:
우리는 세상에서 가장 위험한 문제들(전쟁과 평화)을 다루는 사람들에게 강력하고 위험한 도구(AI)를 건네주고 있지만, 아직 안전 장치를 만들지는 않았습니다. 이 논문은 다음과 같이 말합니다. "전체 하네스를 한꺼번에 테스트하려고 하지 마십시오. 대신 각 작업에 맞는 작고 안전한 클립을 만들고, 사람이 항상 줄을 잡고 있도록 만드십시오."