기술 요약: 다국어 RAG에서의 언어적 네포티즘(Linguistic Nepotism)

문제 정의

다국어 검색 증강 생성(mRAG) 시스템은 다양한 언어에 걸쳐 지식 집약적인 질의에 대해 인용이 뒷받지된 응답을 제공하도록 설계되었습니다. 그러나 문서 언어의 혼합이 모델의 생성 및 인용 동작에 의도치 않은 편향을 유발하는가라는 중요한 미해결 질문이 남아 있습니다.

언어 선호도를 측정하는 기존 방법들은 두 가지 주요 한계점을 가집니다:

1. 정확성 제어의 부재: 단문 형태의 mRAG 연구는 정보 중첩이나 임베딩 유사성을 통해 선호도를 추정하곤 하는데, 이는 인용된 출처가 실제로 생성된 주장을 뒷받침하는지 직접적으로 검증하지 못합니다.
2. 교란 요인: 인용 빈도를 문서 분포에 따라 측정하는 장문 형태의 mRAG 연구는 소스의 가변적인 관련성 및 정보성으로 인해 결과가 왜곡될 수 있습니다. 또한, 인라인 인용은 환각(hallucination)에 취약하여, 진정한 속성 부여와 허위 인용을 구분하기 어렵게 만듭니다.

결과적으로, 모델이 특정 언어를 인용하는 것이 진정한 정보성 때문인지, 아니면 문서의 관련성을 언어 선호도와 맞바꾸는 "언어적 네포티즘(linguistic nepotism)"이라는 체계적인 편향 때문인지는 불분명한 상태입니다.

방법론

저자들은 변수를 격리하기 위해 모델 내부 구조를 사용하는 통제된 방법론을 제안하며, 이는 논문의 그림 1에 설명되어 있습니다. 이 접근 방식은 다음 네 단계로 구성됩니다:

1. 합성 데이터 생성 (단계 1–2):

   • 번역: 영어 질의와 그에 해당하는 관련 근거 문서($D_{en}$)에서 시작하여, 저자들은 기계 번역(Google Translate API)을 사용하여 8개의 대상 언어로 된 병렬 문서 세트($D_{fr}, D_{ar}, D_{ko}, \dots$)를 생성합니다.
   • 참조 생성: 강력한 LLM(OpenAI o3)을 사용하여 영어 문서를 바탕으로 각 질의에 대한 참조 인용 보고서를 생성합니다. 이 보고서는 문장 단위의 진술로 분할되며, 각 진술은 특정 인용 ID와 쌍을 이룹니다.

2. 검증 필터링 (단계 3):

   • 평가의 정확성을 보장하기 위해, 저자들은 진술-인용 쌍에 대해 2단계 필터를 적용합니다:
     • LLM-as-Judge: 여러 판사 모델(OpenAI o4 mini, QWEN-3 32B, Gemini 2.5 Pro)이 각 진술에 대한 문서의 관련성을 순위 매깁니다. 다수의 판사가 인용된 문서에 동의하는 진술만을 유지합니다.
     • NLI 함의(Entailment): 자연어 추론(NLI) 분류기가 인용된 문서가 해당 진술을 논리적으로 함의하는지 검증합니다.
   • 이 과정을 통해 인용의 정확성이 보장된 792개의 진술 풀(pool)이 확보됩니다.

3. Next Token Prediction을 통한 측정 (단계 4):

   • 핵심 메트릭은 올바른 인용 ID 토큰을 다음 토큰으로 예측하는 정확도입니다.
   • 대조적 컨텍스트: 각 검증된 진술에 대해, 모델에게 해당 진술과 함께, 인용될 특정 문서($d_{ci}$)만이 타겟 언어 $\ell$로 제시되고 나머지 모든 근거 문서들은 영어로 남아 있는 컨텍스트를 프롬프트로 제공합니다.
   • 메트릭: 소스가 언어 $\ell$에 있을 때 모델이 인용 ID를 올바르게 예측하는 빈도인 인용 정확도($Acc(\ell)$)를 계산합니다.
   • 선호도 격차: 언어 선호도는 $\Delta(\ell_{target}) = Acc(\ell_{target}) - Acc(en)$으로 정량화됩니다. 음수 값은 영어에 비해 타겟 언어에 대한 선호도가 낮음을 나타냅니다.

실험 설정

• 데이터셋: 주요 데이터셋은 ELI5(Explain Like I'm Five) 장문 QA 데이터셋(WebGPT 테스트 세트의 270개 질의)입니다. 관련성 대 언어 실험을 위해 MIRACL 데이터셋을 사용하여 무관한 방해 요소(distractors)를 도입합니다.
• 언어: 다양한 자원 수준을 나타내는 8개의 타겟 언어: 아랍어, 벵골어, 프랑스어, 한국어, 러시아어, 스페인어, 스와힐리어, 중국어.
• 모델: 다양한 크기와 아키텍처를 가진 6개의 오픈 웨이트 LLM: LLAMA-3.1 8B, LLAMA-3.3 70B, QWEN-3 8B/14B, GEMMA-3 27B, AYA23 8B.

주요 결과

1. 강력한 영어 선호

6개 모델과 8개 언어 전체에서, 모델들은 질의가 영어일 때 영어 문서를 인용하는 뚜렷한 경향을 보입니다.

• 규모: 인용되는 문서가 비영어권 언어일 때 영어와 비교하여 인용 정확도가 크게 떨어집니다.
• 자원 상관관계: 이러한 편향은 저자원 언어에서 더욱 증폭됩니다. 예를 들어, 스와힐리어와 벵골어는 가장 큰 정확도 하락(AYA23 8B에서 최대 -37.6%)을 보이는 반면, 프랑스어나 스페인어와 같은 고자원 언어는 감소 폭이 작습니다.
• 위치 편향: "Lost in the middle" 현상이 이 편향을 악화시킵니다. 인용 정확도는 문서가 컨텍스트의 중간에 위치할 때 가장 낮으며, 영어와 타겟 언어 간의 정확도 격차도 이 위치에서 가장 넓게 나타납니다.

2. 질의 언어 선호

질의 자체가 타겟 언어로 번역되면, 모델은 비록 그 언어가 영어가 아닐지라도 질의 언어에 맞춰 문서를 인용하는 방향으로 선호도를 전환합니다.

• 모델은 다른 컨텍스트 문서들이 영어일지라도, 인용되는 문서가 질의 언어와 일치할 때 가장 높은 성능을 보입니다.
• 이는 모델이 과학적 인용에서의 인간적 "자기 언어 선호(own-language preference)"를 모방하여, 질의와 근거 사이의 언어적 정렬을 선호하는 "질의 언어 선호"가 존재함을 시사합니다.

3. 언어를 압도하는 관련성

무관한 방해 요소를 도입한 실험에서, 저자들은 모델이 문서의 관련성을 언어 선호도와 맞바꾸는 경우가 빈번하다는 것을 발견했습니다.

• 무관한 영어 vs 관련 있는 비영어: 관련 있는 문서가 타겟 언어로 되어 있고 무관한 문서가 영어로 되어 있을 때, 인용 정확도는 베이스라인보다 크게 떨어집니다. 모델은 무관한 영어 소스에 의해 현혹됩니다.
• 관련 있는 영어 vs 무관한 비영어: 반대로, 관련 있는 문서가 영어이고 방해 요소가 타겟 언어일 때, 정확도는 베이스라인보다 상승합니다. 모델은 무관한 비영어 방해 요소를 더 쉽게 무시합니다.
• 이는 장문 mRAG에서 언어 선호도가 사실적 관련성보다 인용 동작의 더 강력한 동인이 될 수 있음을 나타냅니다.

4. 모델 내부 분석

LLAMA-3.1 8B에 대한 Logit Lens 시각화를 통해 저자들은 다음을 관찰했습니다:

• 모델은 처음에 영어를 선호했다가 나중에 수정하는 것이 아닙니다.
• 대신, 인용 예측이 결정화되는 특정 전이 영역(레이어 18–22)이 존재합니다. 모델이 인용(정답 또는 오답)을 결정하고 나면, 이후 레이어에서 이 선택을 대부분 유지합니다.
• 저자원 언어의 경우 정답과 오답 예측 사이의 격차가 좁아지는데, 이는 이러한 경우 영어 편향이 더 강함을 확인시켜 줍니다.

의의 및 주장

본 논문은 모델 내부 구조를 사용하여 관련성을 일정하게 유지함으로써 언어 선호도를 통제하여 측정한 최초의 장문 mRAG 연구라고 주장합니다. 이 연구 결과의 의의는 다음과 같습니다:

1. 체계적 편향의 폭로: 본 연구는 인용 선택이 단순히 정보성에 의해서만 결정되지 않음을 보여줍니다. 모델은 "언어적 네포티즘"을 보이며, 관련성을 희생하더라도 영어(또는 질의 언어)를 체계적으로 선호합니다.
2. 신뢰와 형평성에 미치는 영향: 이러한 편향은 비영어권 소스를 소외시키고, 기존의 언어 계층 구조를 강화하며, 특히 의료나 저널리즘과 같은 고위험 분야에서 다국어 사용자를 위한 AI 지원 도구에 대한 신뢰를 떨어뜨릴 위험이 있습니다.
3. 방법론적 기여: 제안된 프레임십은 언어 효과를 콘텐츠 관련성으로부터 격리함으로써 인용 동작을 평가하는 강력한 방법을 제공하며, 이는 거친 빈도수 계산이나 검증되지 않은 중첩 메트릭에 의존했던 이전 연구들의 한계를 해결합니다.

저자들은 현재의 모델에서 언어 자체가 문서의 관련성보다 더 강력한 영향력을 행사한다는 점을 인정하는 것이 더 견고하고 포용적인 mRAG 시스템을 구축하는 데 필요하며, 이를 위해 투명하고 언어 인지적인 평가 관행이 필요하다고 결론짓습니다.