기술 요약: 언어 모델은 언어와 문화를 얽히게 한다

문제 정의

다국어 맥락에서 대규모 언어 모델(LLM)을 평가하는 현재의 벤치마크는 주로 일반 지식, 지시 이행, 수학적 추론 또는 프로그래밍 능력에 집중되어 있습니다. 이러한 벤치마크는 주로 객관식 질문(MCQ)이나 단답형 답변에 의존하며, 사용자가 서로 다른 언어로 모델과 상호작용할 때 발생하는 스타일 및 문화적 변이를 포착하지 못합니다. 또한, 기존의 편향 연구는 프롬프트 내의 명시적인 문화적 단서(예: 이름, 국적)에 의존하는 경우가 많으며, 이는 사용자가 자연스럽게 던지는 일반적이고 개방적인 질의를 반영하지 못합니다.

본 연구가 다루는 핵심 문제는 사용자가 사용하는 언어에 의해 체계적으로 불이익을 받는지 여부입니다. 구체적으로, 저자들은 질의 언어에 따라 답변의 품질과 응답에 내재된 문화적 맥락이 유의미하게 달라지는지, 그리고 이것이 저자원 언어 사용자들의 의사결정에 잠재적으로 영향을 미치는지 조사합니다.

방법론

1. 데이터셋 구축 (WildChat 분석)

일반적인 조언 요청 질의에 대한 평가 격차를 해소하기 위해, 저자들은 WildChat 데이터셋(Zhao et al. [2024])을 분석했습니다.

• 필터링: 영어 질의만을 유지하고, 프로그래밍/오류 수정 질의를 제거하여(특정 분야로의 왜곡 방지) 길이를 40~400자로 제한하여 필터링했습니다.
• 클러스터링: 중복 제거를 위해 fuzzywuzzy 라이库를 사용하고, 임베딩을 위해 Qwen3-0.6b를 사용하여 HDBSCAN 알고리즘으로 질의를 클러스터링했습니다.
• 선택: 이 클러스터들로부터 의료, 비즈니스, 교육, 직업 면접 등의 도메인을 아우르는 20개의 문화 중립적이고 개방적인 조언 요청 질문을 선별했습니다.
• 번역: 이 질의들을 Gemini-2.5-Flash 모델(temperature 0)을 사용하여 중국어, 힌디어, 브라질 포르투갈어, 스와힐리어, 히브리어로 번역했습니다.

2. 평가 대상 모델

제공자 다양성을 확보하기 위해 다섯 가지의 서로 다른 모델 제품군을 평가했습니다:

• Qwen3-14B (중국 제공자)
• Cohere-Aya-32B 및 Cohere-Aya-8B (캐나다 제공자, 다국어 특화)
• Magistral-small (프랑스 제공자, Mistral-AI)
• Sarvam-m (인도 제공자, Mistral-Small 미세 조정 모델)

3. 평가 프레임워크 (LLM-as-a-Judge)

저자들은 1~5점 척도로 응답을 점수화하기 위해 LLM-as-a-Judge 접근 방식을 채택했습니다.

• 판단 모델(Judge Model): 고급 다국어 능력을 갖춘 Cohere Command-A를 선택했습니다.
• 판단 모델의 강건성 검증(Ablation for Judge Robustness): 판단 모델 자체의 편향을 방지하기 위해 6가지 구성을 테스트했습니다. 최적의 구성은 원래의 질의와 응답을 8개의 무작위 참조 응답(평가 없이)과 함께 제공하는 것이었으며, 이는 정답 점수와 가장 높은 일치도(Pearson 상관계수 및 Cohen's Kappa)를 보였습니다.
• 채점 루브릭: 응답은 상세도/완전성, 언어적 품질, 사실적 정확성, 실행 가능성, 관련성을 기준으로 평가되었습니다.

4. 문화적 얽힘 분석

언어와 문화가 얽혀 있는지 확인하기 위해 다음을 수행했습니다:

• 문화적 분류: 모든 비영어 응답을 영어로 번역한 후, LLM-as-a-Judge를 통해 톤, 가치관, 세계관을 바탕으로 특정 문화적 맥락(영어/서구, 인도, 중국, 아프리카, 라틴 아메리카, 유대)으로 분류했습니다.
• CulturalBench 평가: 언어 간의 문화적 사실 지식을 테스트하기 위해 CulturalBench(Chiu et al. [2025]) 벤치마크의 번역된 하위 집합(29개 지역에 걸친 750개 이상의 질문)을 사용했습니다.
• 통제 실험: 질의에 무작위 문자열을 추가하여 무작위 섭동(perturbation)을 테스트하고, 이를 언어 기반 변동성과 비교하여 단순 노이즈인지 확인했습니다.

주요 결과

1. 언어 간 품질 격차

평가 결과, LLMM은 영어에 비해 저자원 언어에서 일관되게 낮은 품질의 답변을 제공함이 드러났습니다.

• 통계적 유의성: Kruskal–Wallis 검정을 통해 모든 모델에서 언어 간 응답 품질의 통계적으로 유의미한 차이를 확인했습니다 ($p < 0.05$).
• 구체적 결과: 힌디어, 스와힐리어, 히브리어 응답은 영어, 중국어, 브라질 포르투갈어보다 일관되게 낮은 품질을 보였습니다. 다국어 사용을 위해 특별히 훈련된 모델(Cohere-Aya)조차 스와힐리어에서는 성능 저하를 보였습니다.
• 모델 크기의 영향: 더 큰 모델(Aya-32B)은 작은 변체(Aya-8B)에 비해 언어 간 성능 격차가 작게 나타났으며, 이는 모델 규모가 교차 언어적 일관성을 개선함을 시사합니다.

2. 언어-문화 얽힘

본 연구는 언어 선택이 응답의 문화적 맥락을 근본적으로 변화시킨다는 것을 발견했습니다. 즉, 일반적인 질의일지라도 언어 선택에 따라 결과가 달라집니다.

• 문화적 분류: 비영어 응답을 영어로 번역했을 때, LLM-as-a-Judge는 원래 질의 언어의 문화적 맥락(예: 힌디어 질의는 인도적 문화 표지를 생성하고, 히브리어 질의는 유대교적 문화 표지를 생성함)에 따라 이를 분류할 수 있었습니다.
• CulturalBench 성능: 동일한 모델에 대해 언어별로 문화적 사실 질문에 대한 정확도가 크게 달랐습니다(Qwen3-14B 기준). CulturalBench 데이터에 대한 Kruskal-Wallis 검정 결과 $H = 45.5158$, $p = 1.1395 \times 10^{-8}$로 나타났으며, 이는 성능 차이가 무작위가 아니라 언어-문화 쌍과 결합되어 있음을 확인해 줍니다.
• 통제 실험: 질의에 무작위 문자열을 추가하면 성능은 감소하지만, 언어를 변경했을 때 나타나는 특정한 구조적 변동은 재현되지 않았습니다. 이는 단순한 노이즈가 원인이 아님을 입증합니다.

주요 기여

1. 일반 조언 데이터셋: 실제 WildChat 데이터에서 추출한 20개의 문화 중립적이고 개방적인 조언 요청 질의 세트를 구축했습니다.
2. 질적 평가: 객관식 문제나 특정 분야를 넘어, 일반적인 조언 요청 질의에 대한 LLM의 다국어 응답을 질적으로 평가한 첫 사례입니다.
3. 번역된 CulturalBench: 교차 언어적 문화 평가를 용이하게 하기 위해 번역된 버전의 CulturalBench 데이터셋을 제작 및 공개했습니다.
4. 얽힘 증명: 언어와 문화가 LLM 내에서 얽혀 있다는 실증적 증거를 제시했습니다. 즉, 질의 언어의 선택이 응답에 사용되는 문화적 맥락을 결정하며, 이것이 답변의 품질에 영향을 미친다는 점을 보여주었습니다.

의의 및 주장

본 논문은 저자원 언어로 LLM과 상호작용하는 사용자들이 낮은 답변 품질뿐만 아니라, 자신의 필요나 기대와 일치하지 않을 수 있는 다른 문화적 맥락의 강요로 인해 체계적으로 불이익을 받고 있다고 주장합니다.

저자들은 현재의 다국어 벤치마크가 이러한 뉘앙스를 포착하지 못한다고 지적합니다. 결론적으로 언어와 문화의 관계는 단순한 번역 문제가 아니라 근본적인 구조적 및 학습 데이터 현상이라고 주장하며, 다음과 같은 사항을 촉구합니다:

• 응답 품질의 균일성을 높이기 위한 개선된 다국어 학습 데이터 및 학습 방법.
• 언어를 기반으로 집단에 부정적인 영향을 미치는 편향을 식별하고 완화하기 위한 추가 연구.
• 사실적 정확성뿐만 아니라 문화적 맥락을 고려하는 평가 방법의 개발.

본 연구는 오픈 소스 모델과 LLM 기반 평가를 활용한 비교적 제한적인 범위의 작업이지만, 언어 선택이 AI 어시스턴트의 유용성과 문화적 정렬에 어떻게 영향을 미치는지 이해하기 위한 중요한 기준점을 마련했습니다.