Language as a Hidden Variable: Measuring Behavioral Divergence in Multilingual Large Language Models

기술 요약: 숨겨진 변수로서의 언어: 다국어 거대 언어 모델(LLM)의 행동적 발산 측정

문제 제기
다국어 거대 언어 모델(LLM)은 서로 다른 언어(예: 영어, 힌디어, 프랑스어)로 동일한 질문을 하는 사용자가 동등한 품질, 사실적 내용 및 규범적 입장의 응답을 받을 것이라는 암묵적인 가설 하에 작동한다. 그러나 기존 문헌은 언어 간 성능 격차, 환각률의 차이, 문화적으로 유도된 편향의 비대칭성을 지적하고 있다. 결정적으로, 기존 연구들은 자유 형식의 생성 응답(사실적, 규범적, 안전 민감형)을 조사하면서 언어를 유일하게 통제된 독립 변수로 고립시키지 못했다. 본 연구는 모든 기타 변수가 엄격히 통제된 상태에서 구조화된 교차 언어적 행동 차이가 발생하는지 이해하고자 하는 공백을 다룬다.

연구 방법론
본 연구는 언어를 독립 변수로 고립시키기 위해 통제된 소표본 실험 설계($3 \times 3 \times 2$)를 채택하였다.

• 실험 설정: 연구진은 3가지 범주(사실적(대조군), 규범적(가치 함축적), 안전 민감형(거부 행동))에 균형 있게 배분된 30개의 의미론적으로 동등한 프롬프트를 활용하였다. 이 프롬프트들은 영어에서 힌디어와 프랑스어로 번역되었으며, 역번역 검증을 거쳤다(BLEU 점수가 계산되었으나, 안전 관련 프롬프트에 대해서는 한계점으로 명시됨).
• 모델: 연구진은 Groq API를 통해 두 가지 최첨단 지시 조정(instruction-tuned) 모델인 Llama-3.3-70B와 GPT-OSS-20B를 호출하였다.
• 절차: 각 프롬프트는 두 모델에 대해 영어(앵커), 힌디어, 프랑스어로 테스트되었다. 언어가 유일한 체계적 변이가 되도록 추론 파라미터($T=0.1$, max tokens=512)를 고정하였다. 추가로 영어 프로ンプ트를 반복 생성하여 언어 내 확률적 노이즈 기저선(baseline)을 구축하기 위해 180개의 응답을 추가 생성하였다.
• 지표 (행동적 발산 점수 - BDS): 발산을 정량화하기 위해 사전 등록된 복합 지표를 사용하였다:
  • BDS-1 (의미론적): 영어와 대상 언어 응답 간의 SBERT 임베딩 코사인 거리.
  • 감성 발산 ($S_{sent}$): 복합 감성 점수의 절대 차이.
  • 거부 불일치 ($S_{ref}$): 거부 클래스(전체 답변, 부분 답변, 명시적 거부)가 언어 간에 달라지는지 여부를 나타내는 이진 지표.
  • BDS-full: 가중 합계 ($0.5 \times \text{의미론적} + 0.3 \times \text{감성} + 0.2 \times \text{거부}$).
• 가설: 세 가지 방향성 가설를 사전 등록하였다: (H1) 안전 프롬프트가 사실적 프롬프트보다 더 많이 발산한다; (H2) 유형론적 거리로 인해 힌디어(EN-HI)가 프랑스어(EN-FR)보다 더 많이 발산한다; (H3) 발산 패턴은 모델 간에 일관적이다.

주요 결과

• 발산 vs 노이즈: 교차 언어적 발산은 언어 내 노이즈 기저선보다 지속적으로 1.1배에서 2.5배 높게 나타났으며, 이는 행동적 차이가 단순히 모델의 확률적 특성에서 기인한 것이 아님을 확인시켜 준다.
• 가설 결과: 엄밀히 말해, 사전 등록된 세 가지 방향성 가설 중 통계적으로 지지된 것은 없었다.
  • H1 (안전 > 사실): 통합 데이터에서 지지되지 않았다. Llama-3.3-70B는 높은 안전 발산을 보였으나, GPT-OSS-20B가 비정상적으로 높은 사실적 발산을 보여 이 경향성을 상쇄했다.
  • H2 (힌디어 > 프랑스어): 전역적으로 지지되지 않았다. 규범적 범주에서는 EN-HI > EN-FR의 경향이 유의미성에 근접했으나, 사실적 및 안전 범주에서는 GPT-OSS-20B에 의해 주도된 반대 경향(EN-FR > EN-HI)이 나타났다.
  • H3 (모델 간 일관성): 지지되지 않았다. 두 모델 간의 상관관계는 거의 0 또는 음수($r \approx -0.1$)였으며, 이는 두 모델이 체계적으로 서로 다른 프롬프트에서 발산함을 나타낸다.
• 범주별 발견:
  • 규범적 프롬프트: 가장 높은 감성 발산($S_{sent} \approx 0.28$)과 가장 높은 거부 불일치율(EN-HI 30%, EN-FR 25%)을 보였다. 비영어 응답은 영어 앵커에 비해 어조가 변화(더 긍정적으로 변함)하거나 거부 클래스가 변하는 경향이 있었다.
  • 안전 프롬프트: 힌디어 응답이 영어 앵커(55%)보다 더 순응적(60% 전체 답변)이라는 역설적인 결과가 나타났다. 이는 비영어권의 안전 정렬(alignment)이 일률적으로 약할 것이라는 가정에 반하는 것이다.
  • 모델 특이성: 발산은 프롬프트의 보편적 속성이 아니라 모델-프롬프트 간의 상호작용이다. GPT-OSS-20B는 Llama-3.3-70B에 비해 현저히 높은 분산과 서로 다른 발산 패턴을 보였다.

의의 및 주장
본 논문은 주요 기여가 관찰된 발산의 크기가 아니라, 혼란 요인을 제거하도록 설계된 조건 하에서도 발산이 지속된다는 것을 입증한 것이라고 주장한다. 본 연구는 교차 언어적 행동 불일치를 통제되지 않은 변동의 부산물이 아닌, 다국어 LLM의 "1차적 속성(first-order property)"으로 확립한다.

저자들이 강조한 주요 시사점은 다음과 같다:

1. 지표의 재평가: 집계된 정확도 지표만으로는 다국어 평가에 불충분하며, 행동적 일관성을 명시적으로 측정해야 한다.
2. 안전 및 공정성: 거부 행동의 불일치(규범적 프롬프트에서 최대 30% 불일치)와 힌디어의 역설적인 안전 준수 능력은 영어 중심의 정렬 파이프라인이 구조적 격차를 만든다는 점을 시사한다. 서로 다른 언어적 배경을 가진 사용자들은 실질적으로 서로 다른 모델 행동과 상호작용하게 될 수 있다.
3. 배포 가이드라인: 글로벌 배포 전 표준 평가 파이프라인에 언어-패리티 감사(language-parity audits), 거부 일관성 체크, 프롬프트-언어 스트레스 테스트를 포함할 것을 권고한다.
4. 언어적 거리의 한계: "힌디어가 프랑스어보다 더 많이 발산한다"는 가설의 실패는 모델 아키텍처와 미세 조정(fine-tuning) 선택이 발산 패턴을 결정하는 데 있어 순수한 유형론적 거리보다 더 중요할 수 있음을 시사한다.

저자들은 연구 결과가 연구된 특정 모델(Llama-3.3-70B, GPT-OSS-20B), 언어(영어, 힌디어, 프랑스어), 프롬프트 세트에 국한되어 있으며, 추가 조사 없이 모든 LLM이나 언어로 일반화될 수 없음을 인정하며 신중한 범위를 유지한다.