Mapping the Narrow Corridor with Large Language Models

기술 요약: 대규모 언어 모델을 통한 좁은 회랑(Narrow Corridor)의 매핑

문제 제lemnt (Problem Statement)
아세모글루(Acemoglu)와 로빈슨(Robinson)의 좁은 회랑(The Narrow Corridor) 프레임워크는 자유가 국가 권력과 시민 사회 권력 사이의 경합하는 균형으로부터 발생한다고 상정하며, 이를 2차원 공간 속의 경로로 시각화한다. 이 프레임워크는 이론적으로는 풍부하지만, 수 세기에 걸친 역사를 구체적인 $(사회, 국가)$ 좌표로 코딩하는 작업에는 막대한 노동력과 주관적 판단이 필요하기 때문에 여전히 질적인 수준에 머물러 있다. 저자들은 이를 측정의 문제로 규정한다. 즉, 서사적 역사를 일련의 정량적 좌표로 변환하는 과정은 인간의 편향, 선택적 읽기, 재현성 결여에 취약하다는 것이다. 본 논문은 대규모 언어 모델(LLM)이 이 프레임워크를 운용하여 여러 국가에 대해 재현 가능하고 검증 가능하며 유용한 궤적을 생성할 수 있는지 묻는다.

방법론 (Methodology)
저자들은 특정 프롬프트 전략을 사용하여 국가별로 기간별(통상 10년 단위) 점수를 산출하는, 제공자 중립적(provider-agnostic)이고 재현 가능한 파이프라인을 제안한다:

1. 고정된 루브릭 (Anchored Rubric): 자유 형식의 요청 대신, 시스템은 국가 권력(무력한/존재하지 않는 상태에서 압도적인 침투력까지)과 사회 권력(원자화된 상태에서 국가를 철저히 견제하는 상태까지)에 대한 0–10 척도의 고정된 루브릭을 사용한다. 이 루브릭에는 현재주의(presentism)를 피하고 두 축을 독립적으로 취급하기 위한 명시적인 중립성 가이드라인이 포함되어 있다.
2. 사고의 사슬(Chain-of-Thought, CoT) 유도: 각 기간에 대해, 모델은 먼저 권력 역학에 영향을 미치는 주요 역사적 사건과 추세를 느린 변화(slow trends)와 개별 사건(discrete events)으로 구분하여 나열하도록 유도된다. 이 서사는 이후 점수를 생성하는 두 번째 프롬프트에 입력되며, 이를 통해 숫자가 명시적인 추론에 근거하도록 보장한다.
3. 맥락 내 시간적 앵커링 (In-Context Temporal Anchoring): 시간적 일관성을 확보하기 위해, 파이프라인은 이전 모든 기간의 $(사회, 국가)$ 쌍을 누적하여 현재 기간의 프롬프트에 입력한다. 이는 궤적이 이탈하는 것을 방지하고, 모델이 이전 상태와 비교하여 변화를 추론할 수 있게 한다.
4. 구조화된 출력 (Structured Output): 응답은 점수, 변화, 주요 사건 및 근거를 포함하는 고정된 JSON 스키마에 따라 검증된다. 형식이 잘못된 응답은 재시도하거나 수치적 폴백(fallback)을 실행한다.
5. 제공자 중립성 (Provider Agnosticism): 단일 문자열 변경만으로 모델 제공자(Google, Anthropic, OpenAI, Alibaba)를 교체할 수 있는 통합 인터페이스를 통해, 프롬프트 효과와 모델 효과를 분리한다.

실험 설정 (Experimental Setup)

• 범위: 책에서 언급된 네 가지 "리바이던(Leviathan)" 유형(전제적, 구속된, 종이, 부재하는 리바던)을 대표하도록 선정된 12개국(이란, 프랑스, 영국, 미국, 중국, 칠레, 콜롬비아, 콩고민주공화국, 레바논, 잠비아, 소말리아, 인도)을 다루는 개념 증명형 아틀라스를 구축했다.
• 모델: 네 가지 모델을 비교했다: 폐쇄형 가중치 모델 3종(gemini-2.5-pro, claude-opus-4-8, gpt-5.5)과 개방형 가중치 모델 1종(qwen-2.5-72b-instruct).
• 검증:
  • 일관성 (Consistency): 점수를 V-Dem(Varieties of Democracy) 전문가 지수(특히 시민 사회 지수와 영토에 대한 국가 권위)와 비교했다. 저자들은 V-Dem이 모델의 학습 데이터에 포함되어 있을 가능성이 높으므로, 이는 외부적 정확성이 아닌 "동시적 일관성(concurrent consistency)" 즉, 전문가 합의와의 일치도를 측정하는 것이라고 명시했다.
  • 신뢰도 (Reliability): 모델 간 합의도는 기간별 변화에 대해 Krippendorff의 $\alpha$를 사용하여 측정되었다.
  • 언어 민감도 (Language Sensitivity): 프롬프트가 영어 중심의 학습 데이터 편향을 유발하는지 테스트하기 위해 5개국의 언어로 번le(번역)하여 실험했다.

주요 결과 (Key Results)

1. 궤적 아틀라스 (Trajectory Atlas): 모델들은 책의 이론적 기대치와 대체로 일치하는 궤적을 성공적으로 생성했다.
   • 구속된 리바이던 (Shackled Leviathans): 영국, 미국, 프랑스, 인도는 국가와 사회의 공동 성장을 보여주는 '회랑 내부'에 배치되었다.
   • 전제적 리바이던 (Despotic Leviathans): 이란과 중국은 국가 주도 영역에 배치되었으며, 주요 혁명(1979년 이란, 1949년 중국) 이후 국가 지배력이 강화되는 궤적을 보였다.
   • 약한 국가 (Weak States): 콩고민주공화국과 소말리아는 저(低)국가 영역(부재하는 리바던)에 머물렀고, 레바논과 콜롬비아는 약한 국가 영역(종이 리바던)을 차지했다. 다만, 모델들은 잠비아를 회랑 아래가 아닌 회랑 내부로 배치했는데, 이는 1991년 이후의 안정을 진정한 균형 성장으로 해석했기 때문이다.
2. 앙상블 강건성 (Ensemble Robustness): 네 모델의 평균 앙상블은 단일 모델보다 더 매끄럽고 강건한 해석을 생성했다. 모델들은 성장 정도(예: 미국의 국가 역량)에 대해서는 이견이 있었으나, 범주적 배치(예: 모두 미국을 회랑 내부에 배치함)에 대해서는 대체로 일치했다.
3. V-Dem과의 일치성:
   • 사회 권력: LLM의 사회 점수와 V-Dem의 시민 사회 지수 사이에 강한 양의 상관관계가 발견되었다 (예: 중국의 경우 $\rho = 0.89$).
   • 국가 권력: 상관관계가 낮거나 존재하지 않았다. 저자들은 이를 운영 방식의 차이로 설명한다. V-Dem의 "영토에 대한 권위" 대리 지표는 공고화된 국가의 경우 포화 상태에 가깝지만, LLM은 더 넓은 의미의 국가 역량과 역사적 형성 단계를 포착하기 때문이다.
4. 신뢰도: 모델 간 신뢰도(Krippendorff's $\alpha$)는 일반적으로 보통에서 강한 수준이었다 (사회 $\alpha \approx 0.66$, 국가 $\alpha \approx 0.68$). 명확한 역사적 궤적을 가진 국가(이란, 칠레)에서 합의도가 높았고, 미국과 같이 복잡한 사례에서는 합의도가 낮았다.
5. 언어 민감도: 프롬프트를 모국어로 번역했을 때 궤적의 이동이 미미했다(평균 0.33 포인트 이동). 이는 학습 데이터의 편향은 존재할지라도, 프롬프트 언어 자체가 점수의 주요 결정 요인은 아님을 시사한다.

의의 및 주장 (Significance and Claims)
본 논문은 확정적인 역사 분석이라기보다 **개념 증명(proof of concept)**으로서 자리매김한다. 주요 기여는 다음과 같다:

• 운용화 (Operationalization): LLM이 질적이고 서사 중심적인 프레즘을 재현 가능한 정량적 궤적 아틀라스로 변환할 수 있음을 입증했다.
• 확장성 및 비용: 저자들은 전문가 패널과 비교했을 때의 극적인 비용 및 시간 절감을 강조한다 (1,600회의 호출에 약 15달러와 몇 시간 소요 vs. 인간 코딩의 수십 배 이상의 비용과 시간).
• 투명성 (Transparency): 편향이 불투명한 인간 전문가 패널과 달리, LLM 파이프라인은 검사, 버전 관리 및 재실행이 가능한 명시적인 산출물(프롬프트, 루브릭, 사고의 사슬)을 제공한다.
• 역할 정의: 저자들은 LLM이 후보 궤적을 생성하고 이견이 발생하는 지점을 찾아내는 "확장 가능한 1차 단계"로서 가장 적합하며, 이를 통해 인간 전문가가 책임과 미묘한 판단이 필수적인 논쟁적 사례에 집중할 수 있도록 해준다고 주장한다.

인정된 한계 (Limitations Acknowledged)
저자들은 다음과 같은 사항을 명시적으로 경고한다:

• 순환성 (Circularity): V-Dem과의 일치가 정확성을 증명하는 것은 아니다. V-Dem 역시 모델의 학습 데이터에 포함되어 있을 가능성이 있기 때문이다.
• 편향 (Bias): 모델은 영어 중심의 서구 편향적 학습 코퍼스의 편향을 물려받으며, 이는 논쟁적이거나 기록이 부족한 에피소드를 단순화할 수 있다.
• 경로 의존성 (Path Dependence): 맥락 내 앵커링 방식은 초기 오차가 전체 궤적에 전파될 수 있음을 의미한다.
• 일반화 가능성 (Generalizability): 12개국만을 대상으로 하므로, 본 연구가 국가 간 일반화를 위한 기초가 될 수는 없다.

결론적으로, 본 논문은 LLM이 높은 책임감이 요구되는 상황에서의 전문가 코딩을 대체할 수는 없지만, 이전에 도달할 수 없었던 규모로 '좁은 회랑'과 같은 이론적 프레임워크를 시각화하고 탐구할 수 있는 강력하고 재현 가능한 도구를 제공한다고 밝히고 있다.