기술 요약: 대규모 언어 모델은 제도적 경험을 인코딩하는가?

문제 제기

대규모 언어 모델(LLM)은 도덕적 추론에서 체계적인 교차 언어적 변이를 보이지만, 이러한 차이를 유발하는 구조적 메커니즘은 명시되지 않은 상태로 남아 있다. 선행 연구들은 서로 다른 언어로 프롬프트를 입력했을 때 LLM이 이질적인 윤리적 판단을 내린다는 점(흔히 서구의 개신교 유럽 가치와 일치함)을 입증했으나, 왜 이런 현상이 발생하는지에 대한 의문은 해결되지 않았다. '문화'는 흔가히 원인으로 인용되지만, 이는 메커니즘이라기보다는 하나의 레이블(label)로서 기능한다.

본 논문은 구체적인 후보 메커니즘으로 **제도적 사전 인코딩(institutional prior encoding)**에 주목한다. 더글러스 노스(Douglass North)의 비공식 제도 이론과 리프시-랜캐스터(Lipsey-Lancaster)의 차선 이론(second-best theorem)을 바탕으로, 저자들은 언어가 화자의 제도적 환경(예: 부패, 법치, 집행 신뢰도에 대한 경험)을 인코딩한다고 가설을 세운다. 결과적으로, 이러한 코퍼스로 학습된 LLM은 제도적 맥락이 도덕적 수용성에 영향을 미치는 딜레마(예: 뇌물, 탈세, 내부 고발)를 추론할 때 제도 특유의 도덕적 사전 지식(priors)을 상속받게 된다.

기존 연구의 결정적 공백은 명시적 제도 프레이밍(explicit institutional framing)(예: '뇌물'과 같이 제도적 맥락을 직접 언급하는 것)에 대한 의존이다. 저자들은 이러한 프레이밍이 언어별 사전 지식을 억제하는 정렬(alignment) 훈련 반응을 유발하여, 설령 제도적 인코딩이 존재하더라도 이를 탐지할 수 없도록 구조적으로 불가능하게 만든다고 주장한다.

방법론

본 연구는 6개의 프런티어 LLM(Claude, GPT-4o, Gemini, Llama 3.3, DeepSeek, Grok)과 다양한 제도적 질적 수준(CPI 89인 덴마크부터 CPI 23인 벵골어까지)을 아우르는 9개 언어를 대상으로 두 가지 사전 등록 실험(연구 1 및 연구 2)을 수행한다.

실험 설계:
연구 2의 핵심 혁신은 제도적 단서를 격리하기 위한 세 가지 조건 설계이다:

1. 명시적 조건(Explicit Condition): 제도적 실패를 직접적으로 명시한다(예: "부패한 관료에게 뇌물을 주는 것"). 이는 연구 1 및 기존 문헌의 방식을 재현한다.
2. 모호한 조건(Ambiguous Condition): 동일한 제도적 시나리오를 제시하되, 제도적 키워드는 제외하고 결과를 불확실하게 프레이밍한다(예: "관료적 문제를 해결하기 위해 결제를 하는 것"이라고 하되, 해당 관료가 부패했다고 명시하지 않음). 제도적 이해관계는 구조적으로 존재하지만 어휘적으로는 부재한다.
3. 통제 조건(Control Condition): 제도적 기능에 따라 도덕적 가치가 결정되지 않는 제도적으로 중립적인 대인 관계 딜레마(예: 사적인 기만, 분배적 공정성)를 제시한다.

지표 및 분석:

• 교차 언어적 발산(Cross-linguistic Divergence): 9개 언어의 평균 수용도 점수 간 표준 편차로 정의한다.
• 제도적 거리(Institutional Distance): 세 가지 거버넌스 지표(부패인식지수(CPI), WJP 법치 지수, RSF 언론 자유 지수)를 기반으로 언어 쌍 간의 유클리드 거리를 계산한다.
• 통계 검정:
  • H1: 조건 간(모호 vs 명시 vs 통제) 발산 정도를 비교하는 대응 표본 t-검정 및 맨-휘트니 U 검정.
  • H2/H3: 언어 쌍 간의 도덕적 발산과 언어 쌍 간의 제도적 거리 사이의 상관관계를 분석하는 맨텔 순열 검정(Mantel permutation tests).
  • H4: "추론 구조"(자유주의 철학적 관점에서 제도 진단적 관점까지)에 대한 질적 코딩의 카이제곱 검정.
  • H5: 서구 훈련 모델과 대비되는 DeepSeek(중국 기원 모델)의 콘텐츠 모더레이션 효과 탐지.

주요 결과

연구 1: 널 베이스라인(Null Baseline)
명시적 제도 프레이밍 하에서는 사전 등록된 5가지 가설이 모두 무효(null) 결과를 보였다. 제도적 시나리오에서의 교차 언어적 발산은 통제 조건에 비해 증가하지 않았으며, 제도적 거리와도 일치하지 않았다. 이는 명시적 단서가 언어별 사전 지식을 억제하는 균일한 정렬 반응을 유발함을 시사한다.

연구 2: 조건 의존적 해리(Condition-Dependent Dissociation)
연구 2는 프레이밍과 발산 사이의 결정적 상호작용을 드러냈다:

• 모호성이 발산을 증폭시킨다: 교차 언어적 도덕적 발산은 통제 조건보다 모호한 조건에서 유의미하게 높았다 ($d = 1.108, p = .007$). 반면, 명시적 조건은 통제 조건에 비해 유의미한 증폭을 보이지 않았다 ($p = .142$).
• 정렬 억제(Alignment Suppression): 데이터는 "억제 계정(suppression account)"을 지지한다. 즉, 제도적 이해관계가 어휘적으로 해결되지 않았을 때(모호할 때) 인코딩된 제도적 사전 지식이 표면화되어 서로 다른 제도적 환경의 언어들이 발산하게 된다. 반면, 단서가 명시적일 때는 정렬 훈련이 이러한 사전 지식을 덮어씌워 발산을 붕괴시킨다.
• 제도적 거리 추적: 전체 9개 언어 샘플에서 모호한 조건의 도덕적 발산과 제도적 거리 사이의 상관관계는 양수였으나 통계적으로 유의미하지 않았다 ($r = 0.158, p = .206$). 그러나 중국어(구조적 이상을 보임)를 제외한 탐색적 민감도 분석 결과, 이 상관관계가 유의미하게 강화되었다 ($r = 0.517, p = .033$). 이는 중국을 제외할 경우 도덕적 발산이 실제 세계의 제도적 거리를 추적한다는 강력한 증거를 제공한다.
• 추론 구조: 질적 코딩(비록 사전 등록된 신뢰도 임계값에는 미치지 못했으나)은 평점 결과와 일치했다. 추론 스타일은 명시적 조건($V = 0.059$, 모델들이 균일한 "자유주의 철학적" 스타일로 회귀)보다 모호한 조건($V = 0.105$)에서 언어 간에 더 다양하게 나타났다.

중국의 예외성(The Chinese Anomaly)
본 연구는 중국의 제도적 환경으로부터 중국어 출력을 분리하는 두 가지 메커니즘을 식별했다:

1. 정렬 우세(Alignment Dominance): 모든 프런티어 LLM은 중국어로 프롬프트를 입력하더라도 서구적 기준에 정렬된 도덕적 출력을 생성하여, 로컬 제도적 인코딩을 억제한다(덴마크어와 중국어 사이의 발산이 거의 없는 이유).
2. 콘텐츠 모더레이션(Content Moderation): DeepSeek은 특히 시나리오 타겟형 모더레이션을 보여주었다. 이 모델은 서구 모델에 비해 중국 제도 관련 내용에 대해 유의미하게 더 엄격했으며, 통제 내용에 대해서는 그렇지 않았다. 이는 특정 시나리오에서 중국어와 힌디어(저-CPI) 사이의 이례적인 높은 발산을 초래했다.

주요 기여

1. 메커니즘적 설명: 본 논문은 교차 언어적 차이를 기록하는 것을 넘어, 제도적 사전 인코딩이라는 구체적인 메커니즘을 제안하고 테스트한다. 이는 언어가 제도적 환경에 대한 적응(예: 약한 법치 체계 내에서의 탐색)을 인코딩함을 입증한다.
2. 방법론적 통찰 (정렬 억제): 본 연구는 명시적 제도 프레이밍이 교차 언어 LLM 연구의 혼란 변수임을 식별한다. 명시적으로 제도적 실패를 언급하는 것이 연구자가 측정하고자 하는 문화적, 제도적 변이를 가리는 정렬 오버라이드를 트리거한다고 주장한다. '모호한' 조건이 인코딩된 사전 지식을 탐지하기 위한 필수적인 설계 요소임을 제안한다.
3. 실제 제도와의 구조적 연결: 사전 등록된 맨텔 테스트를 통해 독립적인 거버넌스 지수를 활용함으로써, 본 연구는 도덕적 발산이 (중국 예외를 제외하고) 실제 제도적 질과 연관되어 있음을 공식적으로 연결한다.
4. 메커니즘의 차별화: 본 논문은 정렬 우세(글로벌한 서구 규범으로의 이동)와 콘텐츠 모더레이션(시나리오 특화된 억제)을 구분함으로써, 다국어 AI가 로컬 제도적 현실을 어떻게 제대로 반영하지 못하는지에 대한 미묘한 시각을 제공한다.

의의 및 주장

저자들은 제도적 경험이 언어에 탐지 가능한 흔적을 남겨 LLM의 도덕적 추론을 형성하지만, 이러한 흔적은 취약하며 명시적 단서에 의해 쉽게 억제될 수 있다고 주장한다.

• AI 거버넌스 측면: 본 연구의 결과는 언어별 캘리브레이션에 의존하는 다국어 배포 정책이 문화적 도덕적 다양성의 보존을 과장할 수 있음을 시사한다. 명시적 프레이밍 하에서의 '평탄화(flattening)'는 정렬 훈련의 설계 특징이지 실패가 아니지만, 이는 로컬의 정당성을 감소시키는 하방 효과를 가져온다.
• 사회과학 측-면: LLM을 문화적 인지 모델의 대리물로 사용하는 연구자들은 프롬프트 구성에 주의해야 한다. 관찰된 변이는 제도적 환경의 실제 차이라기보다 정렬 억제의 결과일 수 있다. 모호한 프레이밍과 명시적 프레이밍을 모두 조작하지 않는 설계는 제도적 인코딩과 정렬 억제를 구분할 수 없다.
• 겸손한 태도: 저자들은 중간 정도의 효과 크기, 전체 샘플에서의 비유의미한 주 맨텔 상관관계, 그리고 중국 제외 분석의 탐색적 성격 등 한계점을 인정한다. 그들은 중국 제외 결과가 가설 생성적(hypothesis-generating)임을 명시하며, 향로 중국 제외를 사전 지정한 설계에서의 재현을 기다린다고 밝힌다. 추론 구조 코딩 또한 신뢰도 문제로 인해 명시적으로 탐색적이라고 라벨링되었다.

요약하자면, 본 논문은 LLM이 제도적 경험을 인코딩하고 있지만, 이 인코딩은 프롬프트가 교차 문화적 일관성을 강제하기 위해 설계된 정렬 메커니즘을 명시적으로 트리거하지 않을 때만 드러난다고 주장한다.