Cross-Lingual Consensus: Aligning Multilingual Cultural Knowledge via Multilingual Self-Consistency

기술 요약: 교차 언어적 합의

문제 제기
대규모 언어 모델 (LLM) 은 언어 간에 상당한 성능 격차를 보이며, 종종 영어로 프롬프트를 입력했을 때 가장 강력한 결과를 달성합니다. 이러한 영어 중심의 라우팅은 서구 중심적 편향을 초래하여 모델이 다양한 문화적 지식을 정확하게 반영하는 능력을 저해합니다. LLM 이 지역 언어 표현 내에 풍부한 문화적 지식을 내재하고 있을지라도, 영어로 프롬프트를 입력할 때 이 지식을 검색하거나 전이하는 데 자주 실패합니다. 프롬프트 기반 주입이나 선별된 문화 데이터셋으로의 학습과 같은 기존 완화 접근법들은 종종 피상적인 이해, 높은 비용, 또는 데이터 합성을 위한 더 강력한 외부 모델에 대한 의존성으로 고통받습니다.

방법론
저자들은 인간 주석이나 더 강력한 교사 모델 없이 다국어 자기 일관성을 활용하여 언어 간 문화적 지식을 정렬하는 자기 지도식 프레임워크를 제안합니다. 파이프라인은 두 가지 주요 단계로 구성됩니다:

1. 이중 언어 질문 생성:

   • 기존 데이터셋 (CANDLE, CultureAtlas) 의 단정적 진술을 지식 단락으로 변환합니다.
   • 모델이 지역 언어로 문화적으로 기반을 둔 질문을 생성합니다.
   • 이러한 질문을 영어로 번역하고 (그 반대의 경우도 마찬가지) 번역 도구로 지원되는 비영어 질문을 필터링하여 이중 언어 쌍을 형성합니다.

2. 자기 지도식 정답 생성:

   • 응답 샘플링: 각 이중 언어 질문에 대해 모델이 영어와 지역 언어 모두에서 $N$개의 독립적인 응답을 생성합니다.
   • 언어 내 일관성: 모델은 임베딩의 쌍별 코사인 유사성 (Qwen3-Embedding-0.6B 를 통해) 을 사용하여 각 언어 내 응답들의 내부 합의를 평가합니다.
   • 언어 선택: 더 높은 일관성을 보이는 언어가 "더 강력한" 언어 ($\lambda^+$) 로 지정되고, 다른 언어는 "더 약한" 언어 ($\lambda^-$) 로 지정됩니다.
   • 정답 구성: 더 강력한 언어에서 가장 일관된 응답이 정답으로 선택됩니다. 이는 훈련의 대상으로서 약한 언어로 번역됩니다.
   • 비평 증강 훈련: 프레임워크는 모델이 번역된 정답에 대해 약한 언어로 샘플링된 응답을 비판하는 자기 비판 메커니즘을 활용합니다. 최종 훈련 데이터는 질문, 샘플링된 답변, 비판, 그리고 정답을 포함하는 튜플로 구성됩니다.
   • 파인튜닝: 기본 모델 (Llama 3.1 8B Instruct) 은 이 합성 데이터셋을 사용하여 LoRA 로 파인튜닝되며, 파국적 망각을 방지하기 위해 Aya 데이터셋이 증강되어 문화적 예시와 일반 예시의 비율을 3:1 로 유지합니다.

주요 기여

• 자기 지도식 프레임워크: 저자들은 외부 인간 주석 없이 모델의 자체 응답에서 문화적 정렬을 위한 신뢰할 수 있는 훈련 신호를 생성하는 방법을 도입합니다.
• 교차 언어 지식 전이: "더 강력한"(더 일관된) 언어 표현에서 "더 약한" 표현으로 지식을 식별하고 전이하는 메커니즘이 제안되어 잠재된 문화적 지식을 효과적으로 표면화합니다.
• 자기 비판 통합: 이 접근법은 더 강력한 외부 모델에 의존하지 않고 개방형 생성에서의 정렬 품질을 향상시키기 위해 자기 일관성과 자기 비판을 결합합니다.

결과
BLEnD 벤치마크(16 개 지역과 13 개 언어를 포괄) 에 대한 평가는 다음과 같은 결과를 보여줍니다:

• 문화적 정렬: 이 방법은 16 개 지역 전체에서 영어 쿼리에 대한 성능을 크게 향상시켜 평균 **5.03%**의 향상을 달성했습니다.
• 지역 언어 성능: 영어 성능은 향상되었으나, 이 방법은 심각한 데이터 부족 (<전체 문화 데이터의 1% 미만) 으로 인해 하우사어, 아삼어, 순다어와 같은 저자원 언어에서는 어려움을 겪었으며, 이로 인해 이러한 특정 지역에서 파국적 망각이 발생했습니다.
• 일반 추론 보존: 일반 능력은 대부분 유지되었으며, Multilingual HellaSwag(-0.85%) 와 Global MMLU(-1.42%) 에서만 미미한 감소가 관찰되었습니다.
• 어블레이션 연구: 자기 일관성 모듈을 제거하고 (무작위 선택으로 대체) 실행한 결과 성능이 크게 저하되어 일관성 기반 선택이 결정적임을 확인했습니다. 그러나 비판 증강 형식만으로도 정렬되지 않은 기본 모델 대비 향상을 제공했습니다.

의의 및 주장
이 논문은 잠재된 문화적 지식이 LLM 내에 존재하지만 지배적인 언어로 프롬프트를 입력할 때 종종 접근할 수 없다고 주장합니다. 다국어 자기 일관성을 활용함으로써 저자들은 이러한 지식을 성공적으로 표면화하고 언어 간에 전파할 수 있음을 입증합니다. 이 작업은 자기 지도식 수단을 통해 더 문화적으로 공정하고 일관된 LLM 을 달성할 수 있는 잠재력을 강조합니다. 그러나 저자들은 효과적이지만 이 접근법이 다국어 데이터의 가용성과 균형, 특히 데이터 부족으로 인해 성능 저하를 초래할 수 있는 저자원 언어의 경우 민감하게 반응한다는 점을 겸손하게 인정합니다.