The Shibboleth Effect: Auditing the Cross-Lingual Distributional Skew of Large Language Models

기술 요약: 대규모 언어 모델에서의 시볼레스 효과 (The Shibboleth Effect)

문제 제기
AI 안전성에 관한 기존의 패러다임은 인간 피드백을 통한 강화학습(RLHF)이 프런티어 대규모 언어 모델(LLM)에 있어 단일하고 보편적으로 협력적인 행동 태세를 생성하여, 이들을 언어 불변적인 중재자로 만든다고 가정한다. 본 연구는 이러한 가설에 이의를 제기하며, 만약 모델의 지정학적 가드레일이 운영 언어의 함수로서 변화한다면, 이 시스템들이 중립적인 중재자가 아닌 "알고리즘 에코 체임버(algorithmic echo chambers)"로 기능할 수 있다고 주장한다. 핵심 문제는 **"시볼레스 효과(Shibboleth Effect)"**라 명명된 교차 언어적 분포 왜곡(cross-lingual distributional skew)의 가능성이다. 즉, 비지배적 언어(특히 터키어)로 쿼리를 보낼 경우, 영어 쿼리와는 다른 토큰 경로, 문화적 연상, 규범적 정칙성이 활성화될 수 있다는 것이다. 기존 문헌들은 주로 정적인 단일 턴 벤치마크나 번역된 설문에 의존해 왔는데, 이는 "진술된 선호도(stated preferences)"는 포착할 수 있으나 적대적 마찰 상황에서의 역동적인 행동 성향은 드러내지 못한다.

방법론
저자들은 언어가 지정학적 행동에 미치는 영향을 격리하기 위해, **세룰리안 해 위기(Cerulean Sea Crisis)**라는 고충실도 다중 에이전트 지정학적 워게임(wargame)을 설계했다. 이 합성 해양 분쟁은 동지중해 갈등과 구조적으로 동형(isomorphic)이며, 특정 지정학적 역할(예: 터키, 그리스, 미국, EU, 러시아, 그리고 기관 감사관)을 부여받은 6개의 프런티어 모델을 포함한다.

• 실험 설계: 그룹 간 설계($N = 10$ 독립 게임 per arm, $K = 5$ 라운드 per game)가 채택되었다. 유일한 독립 변수는 시뮬레이션의 언어(영어 vs. 터키어)였으며, 모든 구조적 파라미터, 에이전트 목표, 시스템 프롬프트는 동일하게 유지되었다.
• 테스트 모델: 본 연구는 GPT-4o, Llama-4, Mistral-Large, Gemini-3.1-Pro, Qwen3.6-Plus, DeepSeek-R1로 구성된 "플래그십 생태계"를 배치했다.
• 평가 프로토콜: 자동 제로샷 분류기(T=0.0의 GPT-4o 사용)를 사용하여 586개의 검증된 외교적 진술을 두 가지 연속적 지표로 평가했다: 양보율(Concession Rate) (레드라인으로부터의 이탈 정도) 및 강압적 수사(Coercive Rhetoric) (최후통첩 및 위협의 사용).
• 통계적 접근: 비정규 데이터 분포를 고려하여, 게임 단위 평균에 대해 비모수 검정인 맨-휘트니 U 검정(Mann-Whitney U tests)을 실시했다. 효과 크기는 Cliff's $\delta$로 보고되었으며, 제1종 오류를 제어하기 위해 12개의 동시 테스트에 대해 Holm-Bonferroni 단계별 하향 조정(step-down correction)을 적용했다.
• 특수 메커니즘: DeepSeek-R1의 경우, 내부 버퍼링 메커니즘을 분석하기 위해 잠재적 사고 사슬(Chain-of-Thought, CoT)을 포착하는 "핫 마이크 프로토콜(Hot Mic Protocol)"을 사용했다.

주요 결과
결과는 시볼레스 효과가 모델 아키텍처와 훈련 체제에 따라 현저히 달라지는 이질적(heterogeneous)이지 균일하지 않음을 보여준다. 서구 기원 모델 전체에 걸친 보편적인 편향은 발견되지 않았다.

1. Llama-4 (Type I - 민감형): 터키어로 작동할 때 강압적 수사가 통계적으로 유의미하게 크게 증가함을 보였다 ($\delta = +0.800, p = .002$). 이 모델은 영어에서는 확고한 입장을 보였으나, 터키어에서는 매우 강압적이고 최후통첩 중심적인 태도로 전환되었는데, 이는 영어 중심의 RLHF 정렬이 충분히 일반화되지 않았음을 시사한다.
2. Gemini-3.1-Pro (Type III - 역전형): 터키어 환경에서 강압적 수사가 유의미하게 감소하는 양상을 보였다 ($\delta = -0.750, p = .005$). 이러한 방향성 역전은 견고한 다국어 RLHF 투자가 언어 기반 왜곡을 방어하거나 심지어 반전시켜, 영어를 사용할 때보다 터키어에서 더 협조적인 모델을 만들 수 있음을 시사한다.
3. DeepSeek-R1 (Type III - CoT를 동반한 역전형): 역시 터키어에서 강압성이 유의미하게 감소했다 ($\delta = -0.860, p = .006$). 결정적으로, 포착된 CoT 사슬은 버퍼링 메커니즘에 대한 직접적인 증거를 제공했다. 모델은 공적인 진술을 생성하기 전에 기관의 명령(UNCLOS)에 근거하여 자신의 추론을 명시적으로 고정함으로써, 터키어 입력의 지정학적 연상을 효과적으로 상쇄했다.
4. GPT-4o (Type II - 불변/중립형): 강압적 수사에 대해 무효 효과(null effect)를 나타냈다 ($\delta = +0.130, p = .614$). 연구에서는 샘플 크기 제한으로 인해 이 결과를 결론짓기 어렵다고 언급했으나, 이러한 무효 효과는 GPT-5.5의 이전 연구 결과와 대조되는 것으로, 정렬 투자가 특정 버전에서 교차 언어적 행동을 안정화했을 가능성을 시사한다.
5. 종합 결과: 서구 클러스터(GPT-4o, Llama-4, Mistral-Large)의 통합 효과는 통계적으로 0과 구별되지 않았으며, 이는 서구 모델들이 비영어 맥락에서 일률적으로 적대적이거나 편향되어 있다는 가설을 부정한다.

주요 기여

• 이질성의 실증적 증명: 본 연구는 교차 언어적 행동 왜곡이 서구 모델의 보편적 속성이 아니라, 특정 훈련 체제와 아키텍처 구성에 따라 달라지는 특성임을 보여주는 첫 번째 실증적 증거를 제공한다.
• 버퍼링 메커니즘 식별: 시볼레스 효과를 완화하는 두 가지 뚜렷한 메커니즘을 식별했다:
  1. 사고 사슬 기관 고정(Chain-of-Thought Institutional Anchoring): DeepSeek-R1에서 관찰되었으며, 명시적 추론 단계를 통해 언어적 연상이 아닌 국제법에 기반하여 출력을 고정한다.
  2. 다국어 RLHF 정렬: Gemini-3.1-Pro에서 추론되었으며, 고품질 다국어 훈련 데이터가 행동을 안정화하는 것으로 보인다.
• 기술적 분류 체계: 저자들은 교차 언어적 안정성에 대한 잠정적인 3단계 분류를 제안한다: Type I (민감형, 예: Llama-4), Type II (불변형, 예: GPT-4o), Type III (역전형, 예: Gemini, DeepSeek).
• 방법론적 발전: 정적인 벤치마크를 넘어 독립적인 게임 반복을 포함한 역동적인 다중 에이전트 워게이밍을 통해, 본 연구는 적대적 조건하에서의 "드러난 선호도(revealed preferences)"를 포착함으로써 기존의 심리 측정 설문보다 더 엄격한 AI 안전성 테스트를 제공한다.

의의 및 주장
본 논문은 국제 외교에 LLM을 배치할 때의 위험은 모델들이 일률적으로 편향되어 있다는 점이 아니라, 교차 언어적 행동 변화의 방향과 규모가 모델별로 상이하며 일반적으로 사용자에게 알려져 있지 않다는 점이라고 주장한다. "Type I" 모델을 사용하는 외교관은 현지 언어로 질문할 때 영어보다 훨씬 공격적인 조언을 받을 수 있는 반면, "Type III" 모델은 예상치 못하게 화해적인 조언을 제공할 수도 있다.

저자들은 교차 언어적 행동의 안정성을 당연하게 간주해서는 안 된다고 결론짓는다. 그들은 고위험 배포를 위한 견고한 안전 인증에는 모델 버전과 언어 전반에 걸친 지속적이고 적대적인 재평가가 포함되어야 하며, 이러한 이질적 효과를 탐지하기 위해 엄격한 통계적 검정(Holm-Bonferroni 교정 가설 검정 등)을 활용해야 한다고 주장한다. 본 연구는 LLM이 사회 이론적 의미의 "정체성"을 가진다고 주장하는 것을 명시적으로 피하며, 대신 이들을 훈련 데이터의 언어적 담론에 의해 출력이 조건화되는 "알고리즘 구성주의자(Algorithmic Constructivists)"로 규정한다.