기술 요약: P3B3 – LLM의 유럽 및 브라질 포르투갈어 변이 편향 측정을 위한 멀티 턴 대화 벤치마크

문제 정의

대규모 언어 모델(LLM)이 일상적인 의사소통의 핵심 요소가 됨에 따라, 지역적 언어 변이를 포착하는 능력은 공평한 언어 사용과 문화 보존을 위해 매우 중요해졌다. 포르투갈어는 2억 5천만 명 이상의 화자를 보유한 다중 중심적 언어이지만, 유럽 포르투갈어(pt-PT)와 브라질 포르투갈어(pt-BR) 사이의 차이는 어휘 선택(예: autocarro vs. ônibus), 호칭 방식(tu vs. você), 그리고 구문(예: 클리틱 위치)을 아우르며 상당한 격차를 보인다.

이러한 차이에도 불구하고, 대부분의 훈련 및 평가 프레임워크는 포르투갈어를 단일한 언어로 취급한다. 대규모 데이터셋에서 브라질 데이터가 압도적으로 우세하기 때문에, 모델들은 문맥이 pt-PT를 시사하더라도 pt-BR을 기본값으로 사용하는 "침묵하는 편향(silent bias)"을 보이는 경우가 많다. 이러한 동작은 사용자 경험을 저하시키고 지역적 변이가 과소 대표되는 언어적 평준화(linguistic leveling)를 초래할 위험이 있다. 본 논문은 두 가지 주요 질문을 다룬다: (i) 현재의 LLM들이 특정 변이에 대해 어느 정도의 선호도를 보이는가, 그리고 (ii) 모델을 목표 변이로 효과적으로 유도(steering)할 수 있는가?

방법론

P3B3 벤치마크

저자들은 명시적인 프라이밍(priming) 없이도 변이 특유의 언어적 표지를 이끌어내도록 설계된 74개의 멀티 턴 대화(총 203개 턴)로 구성된 전문가 큐레이션 벤치마크인 P3B3를 소개한다. 이 벤치마크는 세 가지 핵심 가이드라인을 준수한다:

1. 변이 불가지론(Variety-Agnostic): 프롬프트는 프라이밍 효과를 방지하기 위해 특정 변이에 대한 명시적인 언급을 포함하지 않는다.
2. 변이 민감성(Variety Sensitivity): 프롬프트는 pt-PT와 pt-BR의 고유한 어휘 및 문법적 차이를 자연스럽게 유도하도록 설계되었다.
3. 대화형(Conversational): 멀티 턴 구조는 단일 턴 입력에 의존하는 대신, 대화 이력을 누적하여 문맥에 따라 편향이 어떻게 진화하는지 관찰한다.

대화는 다양한 일상 영역(예: 교통, 미용 제품)을 다루며, 변이 단서의 타당성과 미묘함을 보장하기 위해 두 명의 언어학 전문가에 의해 수동으로 구축되었다.

실험 설정

본 연구는 다양한 다국어 지시어 튜닝된 LLM(Llama, Gemma, Qwen과 같은 오픈 웨이트 모델 및 AMALIA, Sabiá와 같은 특화 모델 포함)을 세 가지 프롬프트 설정 하에서 평가한다:

1. No-Prompt: 명시적인 변이 지정 없이 내재된 편향을 측정한다.
2. pt-BR Prompt: 브라질 포르투갈어로 응답하도록 명시적 지시를 내린다.
3. pt-PT Prompt: 유럽 포르투갈어로 응답하도록 명시적 지시를 내린다.

평가 프레임워크

변이 정렬(alignment)과 제어 가능성(controllability)을 평가하기 위해, 저자들은 이중 방법론적 평가 전략을 채택한다:

• 인코더 분류기(Encoder Classifiers): 확률 척도로 출력을 점수화하기 위해 미세 조정된 BERT 기반 모델(PeroVaz 및 PtBrVId)을 사용한다.
• LLM-as-Judge: Gemini-3-Flash를 활용하여 사고 사슬(chain-of-thought) 추론과 함께 0(pt-BR)에서 10(pt-PT) 사이의 점수를 부여한다. 이 방법은 언어학 전문가의 휴먼 어노테이션과 강력한 일치도(최적의 구성에서 가중 $\kappa$ 0.81)를 보이며 검증되었다.

주요 결과

내재된 편향 (No-Prompt 설정)

평가된 대부분의 모델은 훈련 데이터의 불균형을 반영하여 pt-BR에 대한 강한 내재적 편향을 보인다.

• AMALIA-9B는 pt-PT를 위해 특별히 사전 훈련 및 미세 조정된 모델로, 일관되게 pt-PT 편향을 보이는 유일한 모델이다(점수: 91.2).
• pt-PT를 위해 미세 조정된 LLaMA 기반 모델인 Gervásio조차 여전히 pt-BR 편향을 보이는데, 이는 사전 훈련 데이터와 규모가 변이 특유의 행동을 포착하는 데 결정적인 역할을 함을 시사한다.
• 더 크고 최신인 모델들(예: Qwen-3.5 27B, Gemma-4-31B, Gemini-3-Flash)은 44.5에서 63.7 사이의 점수를 기록하며 더 균형 잡힌 모습을 보이지만, 여전히 pt-BR 쪽으로 기울어져 있다.

제어 가능성 (Controllability)

• pt-BR 유도(Steering): pt-BR을 위해 명시적으로 프롬프트를 제공했을 때, 대부분의 모델은 해당 변이의 사용을 유지하거나 증가시키며, 특히 대규모 모델에서 강력한 지시 이행 능력을 보여준다.
• pt-PT 유도: 결과는 더 가변적이다. EuroLLM, Apertus-70B, AMALIA와 같은 모델은 강한 정렬(≥86)을 보이는 반면, LLaMA 기반 모델들은 일관된 pt-PT 출력을 생성하는 데 어려움을 겪는다. 특히 Qwen-3.5는 Qwen-3(32.7에서 86.1로)에 비해 상당한 개선을 보여, 훈련의 변화가 pt-PT 처리 능력을 크게 향상시켰음을 시사한다.
• 턴 단위 분석: pt-PT 설정에서 초기 정렬도가 낮은 모델들은 후속 턴이 진행됨에 따라 pt-BR로 표류하는 경향이 있다. 이는 단일 초기 지시만으로는 긴 문맥에서 언어 변이 준수를 지속하기에 불충분할 수 있음을 나타내며, 문맥이 길어질수록 제어 가능성이 저하될 수 있음을 시사한다.

평가 지표

본 연구는 분류기가 저비용의 보완적 신호를 제공하는 반면, LLM-as-Judge 방법론이 카테고리 기반 프롬프트와 전체 대화 이력을 사용할 때 가장 잘 작동하며, 더 정렬되고 해석 가능한 결과를 도출한다는 것을 검증한다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장한다:

1. P3B3 벤치마크: 포르투갈어 변이 편향과 제어 가능성을 체계적으로 평가하기 위해 설계된, 전문가가 큐레이션한 새로운 변이 불가지론적 멀티 턴 대화 벤치마크를 제시한다.
2. 평가 프레임워크: 분류기와 LLM-as-Judge를 결합하여 변이 정렬을 평가하는 인간 검증 방법론을 제시하며, LLM 판독기가 미묘한 언어적 차이를 신뢰성 있게 측정할 수 있음을 입증한다.
3. 실증적 증거: 다양한 모델 전반에 걸쳐 만연한 pt-BR 편향을 드러내고, 특히 멀티 턴 문맥에서 pt-PT 생성을 유도하는 데 따르는 어려움을 강조하는 광범-한 평가를 수행한다.

저자들은 더 크고 새로운 모델들이 개선된 제어 가능성을 보여주지만, pt-PT 성능은 여전히 일관성이 부족하다고 결론짓는다. 이들은 공평한 다국어 시스템 개발을 지원하기 위해 훈련 데이터와 평가 프레임워크에서 더 균형 잡힌 다국어 표현이 필요함을 강조한다. 또한, 일상적인 도메인에 집중했다는 한계를 언급하며, 다른 포르투갈어 변이(예: 앙골라, 모잠비크, 카보베르데)로 벤치마크를 확장하는 후속 연구를 제안한다.