기술 요약: 합의 기반 선호도 최적화를 통한 LLM 의 교차 언어 문화적 불일치 완화

1. 문제 정의: 교차 언어 문화적 불일치 (CCI)

다국어 대규모 언어 모델 (MLLM) 은 프롬프트의 언어가 변경될 때, 사용자의 신원이 명시적으로 정의되어 있더라도 일관되지 않은 행동을 자주 보입니다. MLLM 은 일반적으로 입력 언어에 맞춰 문화적으로 적응하도록 설계되지만, 특정 사용자 페르소나 (예: "사용자는 영국인입니다") 가 제공되는 제한된 컨텍스트에서는 치명적인 실패로 이어집니다.

이러한 시나리오에서 모델은 명시적인 페르소나 지시를 무시하고 프롬프트의 언어와 관련된 문화적 고정관념을 기본값으로 삼는 경우가 많습니다. 예를 들어, 고정된 영국인 페르소나와 문학에 대한 모호한 질문이 주어졌을 때, 영어 프롬프트는 "셰익스피어"를, 스페인어 프롬프트는 "세르반테스"를 유도할 수 있습니다. **교차 언어 문화적 불일치 (Cross-lingual Cultural Inconsistency, CCI)**라고 명명된 이 현상은 암묵적인 언어 기반 개인화가 명시적인 사용자 기반 제약을 대체하는 지시 따르기 실패를 나타냅니다. 본 논문은 이러한 불일치가 단순한 성능 격차가 아니라, 모델 내 표현에서 언어와 문화가 긴밀하게 얽혀 있어 발생하는 의미적 분열이라고 주장합니다.

2. 방법론

2.1 데이터셋 구축

CCI 를 체계적으로 평가하기 위해 저자들은 BLEnD 벤치마크(Myung et al., 2024) 에서 파생된 병렬 다국어 데이터셋을 구축했습니다.

• 출처: 합의 지표를 용이하게 하기 위해 이산적인 답 공간이 있는 BLEnD 의 객관식 질문 (MCQ) 하위 집합을 선택했습니다.
• 언어: 다양한 자원 수준과 언어 계열을 포괄하기 위해 영어, 스페인어, 중국어, 아랍어, 인도네시아어, 한국어, 그리스어, 페르시아어 등 여덟 가지 언어를 선정했습니다.
• 중립화: 암묵적인 언어 기반 편향을 격리하기 위해 GPT-5.2 를 사용하여 원본 프롬프트의 명시적인 국가 참조를 제거했습니다 (예: "멕시코의 인기 스포츠?"를 "인기 스포츠?"로 변경).
• 번역: 답변 옵션을 여덟 가지 목표 언어로 번역하여 데이터셋이 미국, 멕시코, 중국, 알제리, 인도네시아, 대한민국, 그리스, 이란 등 여덟 가지 특정 국가에 대한 유효한 매핑을 포함하도록 했습니다.
• 분할: 데이터를 70% 학습, 10% 검증, 20% 테스트로 분할했으며, 분할 간 데이터 누출을 방지하기 위한 엄격한 조치를 취했습니다.

2.2 측정: Singleton Fleiss's $\kappa_S$

표준 일관성 지표는 모델이 환각을 일으키거나 잘못된 형식을 생성할 때 종종 실패합니다. 이러한 오류를 제거하면 생존 편향이 발생하기 때문입니다. 저자들은 환각에 강건함이 수학적으로 증명된 새로운 지표인 Singleton Fleiss's $\kappa_S$를 도입했습니다.

• 메커니즘: 모든 응답이 사전 정의된 유효 집합에 매핑된다고 가정하는 표준 Fleiss's $\kappa$와 달리, $\kappa_S$는 동적으로 생성된 싱글톤 (유효하지 않은) 답변 집합 $U$를 유효 답변 집합 $V$에 확장합니다.
• 페널티: 모든 유효하지 않은 응답은 고유한 싱글톤에 매핑됩니다. 이는 환각을 별도의 범주로 처리하여, 샘플의 임의적 제거 없이도 일관성 부재를 수학적으로 페널티화합니다.
• 수렴: 저자들은 데이터셋 크기가 증가함에 따라 $\kappa_S$가 표준 유효 범주 $\kappa$로 점근적으로 수렴함을 증명했습니다.

2.3 완화: 교차 언어 문화적 일관성 선호도 최적화 (C-3PO)

본 논문은 비용이 많이 드는 인간 주석이나 주관적인 정답에 의존하지 않고 CCI 를 완화하도록 설계된 자기지도식 합의 기반 정렬 프레임워크인 C-3PO를 제안합니다.

• 합의 추출: 기본 모델이 모든 $N$개 언어에 대해 문화적으로 중립적인 쿼리에 대한 응답을 생성합니다. 교차 언어 합의는 엄격한 다수 언어가 선택한 답변으로 정의됩니다.
• 선호도 쌍 구성:
  • 선택된 ($y_w$): 합의 답변은 보편적으로 선호되는 응답으로 할당됩니다.
  • 거부된 ($y_l$):
    • 모델이 초기에 합의에 동의하지 않았던 언어의 경우, 실제 다른 출력 (divergent output) 을 거부된 응답으로 사용합니다.
    • 이미 동의했던 언어의 경우, 무작위 비합의 옵션을 거부된 응답으로 샘플링합니다.
• 균형 조정: 합의를 주도하는 언어가 학습 데이터를 불균형하게 편향하지 않도록 언더샘플링 전략을 적용하여 합의 언어와 이견 언어의 표현을 균형 있게 유지합니다.
• 최적화: 모델은 저랭크 적응 (LoRA) 을 사용한 **직접 선호도 최적화 (DPO)**로 미세 조정됩니다. 데이터는 모든 언어로 번역된 동일한 쿼리로 구성된 병렬 배치로 구조화되어, 그래디언트 업데이트가 동시에 다양한 언어 표현을 통합된 의미적 앵커 쪽으로 끌어당기도록 합니다.

2.4 베이스라인

C-3PO 는 세 가지 확립된 행동 유도 (behavioral steering) 베이스라인과 비교 평가되었습니다:

1. 페르소나 프롬프팅: 시스템 프롬프트를 통해 특정 국적에 대한 모델을 명시적으로 조건화합니다.
2. 퓨샷 프롬프팅: 일관된 교차 언어 답변의 인-컨텍스트 예시를 제공합니다.
3. 페르소나 벡터 유도: 페르소나 지시가 있는 프롬프트와 없는 프롬프트 간의 잔류 스트림 활성화 차이에서 파생된 개입 벡터를 사용하여 모델의 잠재 공간을 유도합니다.

3. 주요 결과

3.1 일관성 개선

세 가지 오픈 가중치 모델 (Gemma-2-27b-it, Llama-3.1-8B-Instruct, Qwen2.5-3B-Instruct) 에 대한 실증적 평가는 C-3PO 가 거의 모든 모델과 언어 그룹에서 모든 베이스라인 완화 전략보다 일관되게 우세함을 보여줍니다.

• C-3PO 는 정렬되지 않은 모델 대비 Singleton Fleiss's $\kappa_S$에서 최대 0.10 포인트의 절대적 증가를 달성합니다.
• 페르소나 벡터 유도 (Persona Vector Steering) 와 같은 베이스라인은 특정 구성 (예: 특정 페르소나 - 국가 쌍) 에서 높은 점수를 달성하기도 하지만, 이러한 결과는 "체리픽된 오라클 시나리오"로 설명됩니다. C-3PO 는 최적 구성의 수동 선택 없이도 견고한 정렬을 제공합니다.
• 퓨샷 프롬프팅은 단일 모드 (답변을 무분별하게 반복) 로 수렴함으로써 소프트 및 하드 일관성 점수를 인위적으로 부풀리는 것으로 나타났으며, $\kappa_S$는 이러한 퇴행적 행동을 강하게 페널티화합니다.

3.2 언어 자원의 영향

이 연구는 CCI 가 저자원 언어(인도네시아어, 페르시아어, 한국어, 아랍어, 그리스어) 에 불균형적으로 영향을 미친다는 사실을 밝혀냈습니다.

• 저자원 그룹은 고자원 그룹 (영어, 중국어, 스페인어) 에 비해 모든 모델과 완화 전략에서 훨씬 낮은 $\kappa_S$ 점수를 보입니다.
• 점진적 추가 실험은 평가 풀에 저자원 언어가 추가됨에 따라 일관성이 엄격하게 저하됨을 보여주며, 자원 부족이 불일치의 주요 동인임을 확인했습니다.

3.3 해석 가능성 분석

Llama-3.1-8B 에 대한 레이어별 해석 가능성 분석은 CCI 의 근본적인 메커니즘을 드러냈습니다:

• 등장 지점: 교차 언어 일관성은 점진적으로 나타나지 않습니다. 순방향 통과 (forward-pass) 표현이 안정화됨에 따라 후기 레이어 (약 22 레이어) 에서 갑자기 나타납니다.
• 암묵적 개인화: 표현이 안정화됨에 따라 모델은 프롬프트 언어와 관련된 고정관념 문화에 출력을 암묵적으로 고정시킵니다. 예를 들어, 스페인어 프롬프트는 멕시코에 대한 예측을 increasingly 유발하고, 아랍어 프롬프트는 알제리나 미국에 대한 예측을 유발합니다.
• 기울기 분석: 레이어 전반에 걸친 예측 빈도의 선형 회귀는 특정 국가에 대한 예측이 해당 국가의 고정관념 언어로 쿼리가 작성되었을 때 훨씬 더 가파르게 증가함을 확인시켜 주며, 모델이 프롬프트 언어에 기반하여 답변을 암묵적으로 개인화한다는 가설을 뒷받침합니다.

4. 중요성과 주장

본 논문은 네 가지 주요 기여를 주장합니다:

1. CCI 의 형식화: 모델이 암묵적인 언어 단서보다 명시적인 사용자 신원을 활용하지 못하는 고유한 실패 모드로 교차 언어 문화적 불일치를 격리하고 형식화합니다.
2. 강건한 지표: 환각에 수학적으로 강건한 지표인 Singleton Fleiss's $\kappa_S$를 도입하여 유효하지 않은 데이터를 제거하지 않고도 일관성을 정량화할 수 있게 합니다.
3. 효과적인 완화: 인간이 주석한 정답을 요구하지 않고도 다양한 베이스라인과 모델 아키텍처 전반에 걸쳐 문화적 일관성을 크게 향상시키는 자기지도식 프레임워크인 C-3PO 를 제안합니다.
4. 메커니즘적 통찰: 내부 표현이 안정화됨에 따라 MLLM 이 프롬프트 언어의 고정관념 문화로 출력을 암묵적으로 개인화하며, 이 효과가 저자원 언어에서 더욱 악화됨을 초기 디코딩 증거를 통해 제공합니다.

저자들은 겸손한 입장을 견지하며, 그들의 프레임워크가 국가를 문화와 동일시한다는 점 (환원적인 대리 변수) 과 생성된 "합의"가 새로운 형태의 편향을 도입할 수 있음을 인정합니다. 그들은 자신의 작업이 제한된 설정에서의 지시 따르기를 다루지만, 교차 언어 일관성이 바람직한 시점과 문화적 적응력이 선호되는 시점에 대한 광범위한 논쟁은 향후 조사를 위해 열려 있다고 주장합니다.