Estimating the Geopolitical Preferences of Large Language Models from United Nations Voting Data

기술 요약: 유엔 투표 데이터를 활용한 대규모 언어 모델(LLM)의 지정학적 선호도 추정

문제 정의
본 논문은 대규모 언어 모델(LLM)이 표현하는 지정학적 선호도를 측정하는 문제에 대해 다룬다. 기존의 감사(audit) 방식은 설문조사나 단순 테스트에 의존하는 경우가 많으나, 저자들은 이러한 방법들이 복잡한 지정학적 정렬(alignment)을 포착하기에는 불충분하다고 주장한다. 국제 관계(IR) 연구는 지정학적 선호도를 측정하는 것이 어렵다는 점을 오래전부터 확립해 왔으며, 이를 위해서는 개발자의 출신 국가나 소수의 논쟁적인 질문에 대한 응답에 의존하기보다 관찰된 선택으로부터 잠재적 위치를 복원하는 방법이 필요하다. 핵심 문제는 LLM의 지정학적 지향점이 개발자의 본국으로부터 유추될 수 있는지, 아니면 특히 국가의 행동이 훈련 텍스트에 널리 퍼져 있는 원칙과 상충할 수 있는 국제 정치의 맥락에서 모델의 표현된 선호도가 국가 행위자와 유의미하게 갈라지는지를 결정하는 것이다.

방법론
본 연구는 국제 관계 분야, 특히 Bailey 등(2017)의 BSV에서 개발된 방법론인 **동적 서수적 이상점 접근법(dynamic ordinal ideal-point approach)**을 정렬 문제에 적용한다.

• 데이터 유니버스: 분석에는 유엔 디지털 라이브러리의 동결된 아카이브(버전 5, 2026년 2월)를 활용하며, 이는 제180차 유엔 총회(UNGA) 세션(19462025년)을 포괄한다. 데이터셋에는 5,555개의 분열적이고 기록된 채 채택된 결의안이 포함되어 있으며, 여기에는 841,403개의 관찰된 국가 선택과 22,220개의 모델 선택이 포함된다.
• 실험 설계: 네 가지 현대적 LLM인 GPT-5 (OpenAI), Claude Sonnet (Anthropic), Gemini (Google), DeepSeek (DeepSeek)를 UNGA 투표 매트릭스에 추가 응답자로 삽입하였다.
  • 프롬프팅: 각 모델은 모든 결의안의 실질적인 전문과 함께 메타데이터(기호, 제목, 날짜, 의제)를 전달받았다.
  • 제약 조건: 모델은 "내용의 실질적인 내용에만 기반하여" 제안을 평가하도록 지시받았으며, 어떠한 국가적 역할도 명시적으로 거부당했고, 정확히 한 단어("SUPPORT", "ABSTAIN", "OPPOSE")만을 출력하도록 요구받았다.
• 추정 전략:
  1. 직접 유사도 (S-score): 반대, 기권, 찬성을 각각 -1, 0, 1로 매핑하는 삼항 합의 통계량(Signorino and Ritter, 1999)이다. 이는 관찰된 범주적 합의를 측정하지만, 주변부 응답 빈도에 크게 영향을 받는다.
  2. 동적 이상점 추정: 잠재적 효용 $Z_{itv} = \beta_v \theta_{it} + \epsilon_{itv}$가 투표를 결정하는 잠재적 공간 모델이다.
     • $\theta_{it}$는 행위자-세션의 이상점(ideal point)을 나타낸다.
     • $\beta_v$는 결의안의 변별 파라미터이다.
     • 모델은 인접한 행위자-세션과 반복되는 결의안을 연결하여 시간을 가로지르고 궤적을 매끄럽게 하기 위해 동적 사전 확률(dynamic prior)을 사용한다.
     • 척도는 미국의 평균 위치가 러시아의 평균 위치보다 높도록 설정된다.
  • 강건성: 발견된 결과가 업데이트된 아카이브나 현대적 샘플링 기법에 의해 유도된 것이 아님을 검증하기 위해, 원래의 BSV 국가 유니버스 및 샘플러(세션 1~67)를 사용한 재현 실험을 수행하였다.

주요 결과
분석은 모델 행동 및 정렬에 관한 네 가지 주요 경험적 사실을 도출한다:

1. 발산하는 응답 임계값: 모델들은 응답 범주를 서로 다르게 활용한다.

   • GPT-5: 97.3% 찬성, 1.5% 기권, 1.2% 반대.
   • Gemini: 88.5% 찬성.
   • Claude Sonnet: 77.8% 찬성, 18.7% 기론.
   • DeepSeek: 37.8% 찬성, 17.4% 기권, 44.8% 반대 (반대가 최빈값인 유일한 모델).
   • 참고: 높은 찬성률은 모델에만 국한된 것이 아니다. 멕시코(92.6%)와 인도네시아(91.4%) 같은 국가들도 이 의제에서 유사한 패턴을 보인다.

2. 잠재적 공간 위치 (2001–2025):

   • GPT-5, Claude Sonnet, Gemini: 이들의 이상점은 P5(상임이사국) 범위의 중간 부분에 집중되어 있으나, P5 중 러시아와 가장 가깝다. GPT-5의 경우 러시아/소련과의 평균 거리는 0.248인 반면, 미국과의 거리는 2.411이다.
   • DeepSeek: 독특하고 더 친미적인 위치를 차지하며, 중국 기업이 개발했음에도 불구하고 중국보다는 프랑스와 가장 가깝다 (0.408).
   • 미국: 네 모델 모두 현대 기간 동안 미국으로부터 가장 멀리 떨어져 있다.

3. 특정 정책적 발산:

   • 미국은 "반대"를 표했으나 중국과 러시아/소련은 "찬성"을 표한 2,104개의 결의안 하위 집단에서, 모델들은 미국과 상당한 격차를 보였다:
     • GPT-5는 이들 중 96.1%를 지지했다.
     • Gemini는 83.4%를 지지했다.
     • Claude Sonnet은 65.2%를 지지했다.
     • DeepSeek은 36.1%를 지지했다 (47.4%를 반대함).
   • 이 격차는 경제적/사회적 권리, 팔레스타인의 자결권, 탈식민지화, 그리고 다자간 군비 통제와 관련된 결의안들에 의해 발생한다.

4. 측정 불일치:

   • 원시 합의도(S-score)와 잠재적 이상점 근접도는 모델을 다르게 순위 매긴다. S-score는 GPT-5, Claude, Gemini에 대해 중국을 가장 가까운 P5 구성원으로 순위 매기지만 (높은 전체 찬성률 때문), 이상점 추정치는 러시아를 가장 가깝다고 순위 매긴다. 이는 이상점 모델이 지정학적 위치를 변별하는 결의안에 가중치를 부여하는 반면, 원시 합의도는 모델과 중국 모두에게 흔히 나타나는 높은 찬성률에 의해 기계적으로 부풀려지기 때문이다.

의의 및 주장
본 논문은 방법론적 및 실질적 기여를 한다:

• 방법론적: 국제 관계 및 사회 과학에서 개발된 지정학적 선호도 추정 방법(특히 동적 이상점 모델)이 LLM의 정렬 문제를 규명할 수 있음을 입증한다. 저자들은 정렬 점수가 측정 이론을 필요로 한다고 주장하며, 찬성률이나 원시 합의만을 보고하는 것은 잠재적인 지정학적 위치에 대해 오해를 불러일일 수 있다고 경고한다.
• 실질적: 본 연구는 채택된 분열적인 UNGA 의제에 대한 현대적 모델의 선택과 미국의 투표 행위 사이의 견고한 격차를 기록한다.
  • 개발자 출신 vs. 정렬: 결과는 모델의 개발자 국가로부터 모델의 국제적 정렬을 유추하는 것에 주의를 요한다. 미국 모델(GPT-5, Claude)은 잠재 공간에서 미국으로부터 가장 멀리 떨어져 있으며, 중국 모델(DeepSeek)은 프랑스와 가장 가깝다.
  • 정렬의 성격: 저자들은 모델이 국가 전략보다는 훈련 데이터에 널리 퍼져 있는 규범적 언어(인도주의적, 발전적, 다자주의적 원칙)를 집계할 수 있다고 제안한다. 국가적 역할을 부여하지 않고 프롬프트를 입력했을 때, 모델들은 미국이 더 큰 외교적 패키지의 일부로서 종종 거부하는 광범위하게 틀 지어진 원칙들(예: 식량권, 자결권)을 지지하는 경향이 있다.
• 거버넌스 및 연구에 대한 시사점:
  • 연구: LLM을 코더나 시뮬레이션된 응답자로 사용하는 연구자들은 모델 특유의 태도를 감사해야 한다. 한 모델을 다른 모델로 교체하는 것만으로도 지지율이 거의 60퍼센트 포인트 변화할 수 있으며, 어떤 P5 구성원이 가장 가까운지를 바꿀 수 있기 때문이다.
  • 정책: "주권 AI" 전략은 국내에 호스팅된 모델이 해당 국가의 드러난 국제적 입장을 반영한다고 가정할 수 없다. 민감한 워크플로우에 모델을 통합하려는 정부는 일반적인 안전 테스트가 아닌, 실제 정책 코퍼스에 대한 작업별 평가가 필요하다.

본 논문은 지정학적 정렬이 모델, 프롬프트, 코퍼스, 기간 및 측정 전략의 경험적 속성임을 결론지으며, LLM에 IR 측정 기술을 적용하는 것이 정렬 문제를 더 어렵게 만들지만 동시에 더 정밀하게 만든다고 밝힌다.