기술 요약: 다국어 LLM 작업 실행에서 언어 역할의 분리

1. 문제 제기

다국어 대규모 언어 모델 (LLM) 은 지시 언어, 소스 콘텐츠 언어, 그리고 필요한 응답 언어가 일치하지 않는 워크플로우에서 점점 더 많이 배포되고 있습니다. 기존 벤치마크는 언어 범위와 지시 따르기 평가를 확장해 왔지만, 언어를 단일 통합 변수로 취급하거나 단일 평가 설계 내에서 지시, 콘텐츠, 응답의 특정 역할을 분리하지 못하는 경우가 많습니다. 그 결과, 모델이 실패할 때 오류가 작업 오해, 콘텐츠 처리, 목표 언어 구현, 제약 조건 준수, 또는 이러한 요소들 간의 상호작용 중 어디에서 비롯되었는지 명확하지 않습니다. 본 논문은 세 가지 서로 다른 언어 역할 $(L_{instr}, L_{content}, L_{resp})$ 간의 구조화된 상호작용으로서 다국어 작업 실행을 평가하기 위한 통제된 진단 프레임워크의 필요성에 대응합니다.

2. 방법론: MTM-Bench

저자들은 이러한 역할을 분리하기 위해 설계된 통제된 벤치마크인 MTM-Bench(Multilingual Triplet Mismatch Benchmark, 다국어 삼중 불일치 벤치마크) 를 소개합니다.

벤치마크 구성

• 설계: 이 벤치마크는 영어 (EN), 스페인어 (ES), 중국어 (ZH) 를 사용하여 완전히 교차된 설계를 적용합니다. 이는 가능한 모든 $3^3 = 27$ 개의 언어 삼중항을 열거합니다.
• 작업 계열: 벤치마크는 각기 다른 실행 과제를 목표로 하는 세 가지 고유한 작업 계열에 걸쳐 모델당 2,430 개의 인스턴스로 구성됩니다.
  1. 의미 반전 (Family A): 표면적인 문구와 모순되는 근본적인 입장 (예: 아이러니, 풍자) 을 식별해야 하는 작업.
  2. 최종 상태 추출 (Family B): 업데이트가 포함된 짧은 행정 문서를 다루며, 엄격한 출력 형식을 준수하면서 최종 유효 값 (예: 재조정된 시간 또는 연락처) 을 추출해야 하는 작업.
  3. 업데이트 구현을 통한 언어 순수성 (Family C): 목표 언어로 상태 업데이트 (예: 방 변경) 를 설명하되, 구조적 프레임은 엄격하게 현지화하고 특정 허용된 고유 명사 (예: "Zoom", "Teams") 만 허용해야 하는 작업.
• 통제 변수: 모든 27 개의 삼중항 변형에서 의미적 안정성을 보장하기 위해 기본 항목은 번역이 아닌 재작성됩니다. 메타데이터, 이름, 그리고 작업의 정의를 결정하는 답변 형식은 고정되며, 어휘 자료는 특정 언어 슬롯에 따라 현지화됩니다.

평가 프로토콜

평가에는 다양한 실패 모드를 분리하기 위해 분해된 지표를 사용합니다.

• 의미 정확도 (SC): 출력이 목표 의미를 포착하는지 측정합니다 (예: 반전의 경우 올바른 양극성, 추출의 경우 올바른 최종 값).
• 언어 정확도 (LC): 응답이 요구된 응답 언어 ($L_{resp}$) 를 준수하는지에 대한 이진 판단으로, 숫자와 허용된 고유 명사는 언어 중립적으로 간주합니다.
• 제약 조건 정확도 (CC): 명시적인 출력 제약 조건 (예: "출력만", "단일 문장") 을 확인합니다.
• 오염 비율 (CTR): 출력 내 비목표 언어 자료의 연속적 측정치입니다.
• 공동 성공 (JS): 세 가지 요구 사항을 모두 공동으로 필요로 하는 것으로 정의된 집계 지표인 $JS = SC \times LC \times CC$입니다.

점수화는 경계 사례와 일상적인 출력을 대상으로 한 인간 감사를 통해 검증되었으며, 대상 사례에 대한 구성 요소 수준의 재조정률은 18.2% 로, 자동 파이프라인이 대부분의 일상적인 사례를 일관되게 처리함을 시사합니다.

3. 주요 기여

1. 다국어 실행의 재정의: 본 논문은 다국어 작업 실행을 지시, 콘텐츠, 응답 언어를 독립적으로 변화시키는 삼중항 기반 평가 문제로 재정의하며, 이를 단일 구분되지 않은 변수로 취급하지 않습니다.
2. 완전 교차 벤치마크: 27 개의 언어 삼중항과 세 가지 작업 계열을 아우르는 통제된 벤치마크를 제공하며, 의미 정확도, 언어 준수, 제약 조건 충족을 분리하여 평가하는 분해된 프로토콜로 점수가 매겨집니다.
3. 역할별 진단: 완전 교차 설계는 집계 벤치마크가 분리할 수 없는 주변 비교를 가능하게 하여, 저하가 단순히 불일치 수에 의해 결정되는 것이 아니라 언어가 차지하는 역할에 따라 조직됨을 보여줍니다.

4. 결과

저자들은 전체 벤치마크에서 Claude, GPT, Gemini, DeepSeek, Qwen, LLaMA 계열을 포함한 20 개의 최첨단 및 오픈 가중치 LLM 을 평가했습니다.

전반적 성능

• 공동 성공: 모델 간 0.537 에서 0.840 사이 (평균 0.745) 로 나타났습니다.
• 구성 요소 지표: 개별 지표는 더 높았습니다 (평균 LC: 0.905, SC: 0.893, CC: 0.880). 이는 세 가지 요구 사항을 동시에 충족하는 것이 개별적으로 충족하는 것보다 훨씬 어렵다는 것을 나타냅니다.
• 모델 분산: 전체 순위는 단일 구성 요소 지표로 환원되지 않았습니다. 의미 정확도에서 뛰어난 모델은 때로 제약 조건 충족에서 실패했고, 그 반대도 마찬가지였습니다.

언어 역할에 대한 주요 발견

• 응답 언어의 지배성: 응답 언어는 변화의 지배적인 축입니다. 응답 언어가 영어에 비해 스페인어 ($\Delta = -0.108$) 나 중국어 ($\Delta = -0.113$) 일 때 공동 성공이 크게 감소했습니다. 반면, 지시나 콘텐츠 언어의 변화는 미미한 영향 ($\Delta < 0.03$) 을 미쳤습니다.
• 불일치 수 대 역할 위치: 본 논문은 불일치 수가 난이도의 단조 예측 변수라는 가설에 도전합니다. "응답 전용" 불일치 (한 번의 불일치) 와 "완전 불일치" (세 번의 불일치) 는 유사한 성능 수준 (0.694 대 0.705) 을 보였습니다. 이는 응답 언어가 이전 문맥과 다를 경우, 지시나 콘텐츠의 추가 불일치는 난이도에 대한 설명력을 거의 더하지 못함을 시사합니다.
• 작업별 병목 현상:
  • 의미 반전: 높은 의미 정확도지만, 특히 중국어 응답의 경우 응답 언어 구현에 의해 제한받습니다.
  • 최종 상태 추출: 높은 언어 정확도지만 "출력만" 규칙 위반과 같은 제약 조건 충족에서의 빈번한 실패가 발생합니다.
  • 언어 순수성: 높은 제약 조건 충족이지만, 정보를 생략하거나 왜곡하지 않고 업데이트를 구현하는 데 어려움이 있어 의미 정확도가 낮습니다.

5. 중요성과 주장

본 논문은 다국어 평가가 각 언어가 수행하는 역할을 추적해야 하며, 서로 다른 구성을 하나의 집계 점수로 축소해서는 안 된다고 주장합니다.

• 진단적 가치: 완전 교차 설계는 저하가 언어가 차지하는 역할에 따라 조직됨을 보여줍니다. 응답 언어 역할이 주요 변화 원인인 반면, 지시 및 콘텐츠 역할은 작고 덜 일관된 역할을 합니다.
• 비단조적 난이도: 불일치 수가 난이도의 단조 예측 변수가 아니라는 발견은 다국어 실행의 인지적 또는 구조적 부담이 단순히 가산적이지 않음을 시사합니다. 단일 언어 문맥에서 불일치 응답 언어로의 전환이 주요 장애물을 구성합니다.
• 한계: 저자들은 겸손하게 이러한 발견이 EN/ES/ZH 설정과 특정 작업 계열 (짧은, 행정적, 반전 시나리오) 내에서 통제되었음을 지적합니다. 결과는 모든 다국어 작업 실행이나 광범위한 도메인 수준의 성능에 대한 보편적 주장보다는 통제된 진단 탐침으로 해석되어야 합니다. 이 벤치마크는 광범위한 도메인 수준의 성능을 추정하기보다는 역할별 진단을 위해 설계되었습니다.

결론적으로, MTM-Bench 는 성공적인 다국어 작업 실행이 일반적인 유창함 이상을 요구함을 보여줍니다. 즉, 지시와 소스 콘텐츠 모두와 다를 수 있는 목표 언어로 답변을 구현할 수 있는 특정 능력이 필요하며, 현재 모델들은 다른 언어 역할을 이해하거나 처리하는 능력에 비해 이 능력에서 불균형적으로 어려움을 겪고 있습니다.