The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks

기술 요약: 번역 세는 스칼라가 아니다

문제 제기
다국어 환경에서 대규모 언어 모델 (LLM) 의 평가는 종종 번역된 벤치마크 (예: MMMLU, Belebele, XCOPA) 에 의존합니다. '번역 세 (Translation Tax)'라고 명명된 지배적인 가정은, 번역된 벤치마크가 모델이 진정한 언어 이해를 보여주는 것이 아니라 번역을 통해 보존된 잔여 영어 소스 단서를 악용함으로써 모델 점수를 인위적으로 부풀린다고 주장합니다. 그러나 문헌에는 이러한 효과에 대한 엄격한 정량화가 부재합니다. 번역 아티팩트 (예: Artetxe et al., 2020) 와 대표성 격차 (예: Sitaram, 2025; Wu et al., 2025) 에 대한 기존 우려는 번역으로 인한 점수 변화가 복잡함을 시사하지만, 어떤 단일 연구도 이러한 변화를 여러 추정 전략에 걸쳐 단서 주도적 인플레이션 대 의미적 저하로 체계적으로 분해한 바 없습니다.

방법론
본 논문은 '번역 세 (TT)'를 분리하기 위해 네 가지 서로 다른 추정기를 사용한 삼각측량 접근법으로 영어 - 중국어 벤치마크에 대한 반사실적 감사를 수행합니다. 연구는 MMMLU 의 228 개 항목과 Belebele 의 100 개 항목으로 구성된 계층화된 하위 집합을 사용하며, 아홉 개의 모델 (A 그룹: 영어 중심 최첨단; B 그룹: 중국어 최적화; C 그룹: 오픈소스 다국어) 에서 평가됩니다.

1. 추정기 E1 (역번역): 원본 영어 항목과 중국어를 거쳐 다시 영어로 역번역된 항목 간의 점수 격차를 측정합니다. 이는 구조적 단서 잔여물에 대한 대리 지표로 기능하지만, 역번역 노이즈와 자연스러움 손실로 인해 노이즈가 많은 상한선으로 인정됩니다.
2. 추정기 E2 (이중 모국어 주석): 단서 식별성, 문화적 잔여물, 구문적 잔여물에 대해 주석자가 항목을 점수화하는 보정 시도입니다. 본 연구에서는 이 과정을 LLM 을 사용하여 30 개 항목 단일 주석자 루브릭 보정으로 수행하여, 완전한 인간 추정기라기보다는 루브릭 범위를 점검하는 수단으로 활용했습니다.
3. 추정기 E3 (INCLUDE 비번역 통제): 번역된 MMMLU 중국어와 지역 시험에서 자연스럽게 수집된 데이터셋인 INCLUDE 중국어 간의 성능을 비교합니다. 이는 항목 수준의 매칭이 부재하지만 외부 타당성 비교를 제공합니다.
4. 추정기 E4 (정합된 LLM 자연화 스트레스 테스트): 항목 내용 (정답, 선택지, 의미) 은 고정된 채 중국어 표면 형식을 LLM 이 더 '자연스러운' 형태로 다시 작성하는 반사실적 실험입니다. 이는 내용을 고정하면서 표면 자연스러움만 변형하는 유일한 추정기입니다. 중요한 방법론적 단계로, 초기 실행 시 중복된 선택지 레이블이 포함된 프롬프트 구성 버그를 수정했는데, 이는 결과를 크게 변화시켰습니다.

주요 결과
본 연구는 번역 세가 균일한 스칼라 보정이 아니라 추정기 및 항목 의존적 타당성 위험의 집합임을 발견합니다.

• E1 (역번역): 점 추정치는 작습니다 (0.000 에서 +0.047 범위). 여섯 개의 모델 - 벤치마크 셀 중 다섯 개가 양의 추정을 보였으나, 대부분의 신뢰구간은 0 을 포함했습니다. 0 을 간신히 배제한 유일한 셀 (MMMLU/gpt-5.4-mini) 은 파서 취약성으로 확인되었습니다. 항목 클러스터 부트스트래핑은 작은 양의 평균 효과 (+0.022, 95% CI [0.001, 0.044]) 를 산출하여 소규모 번역 세가 존재하지만 파서 타당성에 매우 민감함을 시사합니다.
• E2 (주석): 보정 실행은 단서 점수와 항목 수준 성능 향상 간에 상관관계가 없음을 발견했습니다. gpt-4o 모델은 음의 상관관계를 보였으며, 데이터는 동점 점수로 지배되어 이 추정기는 현재 규모에서 단서 악용에 대해 결론적이지 않았습니다.
• E3 (INCLUDE 통제): 영어 중심 모델 (A 그룹) 은 번역된 MMMLU 와 원본 INCLUDE 간에 거의 0 에 가까운 격차를 보였습니다. 중국어 최적화 모델 (B 그룹) 은 혼합된 결과를 보였습니다: 두 모델 (deepseek-chat, qwen-max) 은 원본 INCLUDE 보다 번역된 MMMLU 에서 현저히 낮은 성능을 보인 반면, 세 번째 모델 (glm-4.5) 은 양의 격차를 보였습니다. 이는 모델 패밀리 상호작용이 존재할 수 있으나 학문 대 지역 시험과 같은 도메인 차이로 인해 교란됨을 시사합니다.
• E4 (자연화): 프롬프트 버그를 수정한 후, 연구는 통계적으로 유의한 모델 패밀리 상호작용이 없음을 발견했습니다. 이전 초안의 강력한 상호작용에 대한 주장은 버그와 glm-4.5 의 파서 취약성이 결합된 아티팩트였습니다. 그러나 용량 - 반응 효과는 지속되었습니다: 높은 '번역 잔여물'을 가진 항목 (모델이 이전에 중국어에서는 실패했으나 영어에서는 성공했던 경우) 은 자연화되었을 때 성능 향상 (+0.103) 을 보인 반면, 낮은 잔여물 항목은 향상 (-0.015) 을 보이지 않았습니다.

의의 및 주장
본 논문은 '번역 세'가 벤치마크 점수에서 공제되어야 할 단일 스칼라 값으로 취급될 수 없다고 주장합니다. 대신 타당성 위험은 이질적입니다:

1. 추정기 의존성: 서로 다른 대리 지표는 효과의 크기와 방향을 다르게 산출합니다.
2. 항목 의존성: 번역 세는 벤치마크 전체에 균일하게 분포된 것이 아니라 높은 번역 잔여물을 가진 특정 항목에 집중되어 있습니다.
3. 모델 의존성: 집계된 모델 패밀리 효과는 대부분 부재하거나 도메인 적합성으로 교란되었으나, 파서 취약성과 프롬프트 민감성은 관찰된 점수에서 결정적인 역할을 합니다.

저자들은 번역된 벤치마크가 고정된 패널티가 아니라 일련의 조건으로 이해되어야 하는 타당성 위험을 도입한다고 결론지었습니다. 그들은 향후 번역된 벤치마크 논문들을 위한 보고 체크리스트를 공개하며, 추정기 범위, 파서 취약성, 하위 집단 대비를 공개할 필요성을 강조합니다. 본 연구는 '잠재적' 번역 세를 직접 측정했다고 주장하지는 않지만, 언제 어디서 번역 단서가 점수를 인위적으로 부풀릴 수 있는지를 식별하기 위한 프레임워크를 제공합니다.