The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks

技術的サマリー：翻訳税はスカラーではない

問題定義
多言語環境における大規模言語モデル（LLM）の評価は、頻繁に翻訳ベンチマーク（例：MMMLU、Belebele、XCOPA）に依存している。「翻訳税」と呼ばれる支配的な仮説は、翻訳されたベンチマークが、モデルが真の言語理解を示すのではなく、翻訳を通じて保持された残存する英語源の手がかりを利用することで、モデルのスコアを人為的に過大評価していると主張する。しかし、この効果の厳密な定量化に関する文献は欠如している。翻訳アーティファクト（例：Artetxe ら、2020）や代表性のギャップ（例：Sitaram、2025；Wu ら、2025）に関する既存の懸念は、翻訳によって引き起こされるスコアの変動が複雑であることを示唆しているが、これらの変動を複数の推定戦略にわたって、手がかり駆動型の過大評価対意味的劣化へと体系的に分解した単一の研究は存在しない。

方法論
本論文は、4 つの異なる推定子を用いた三角測量アプローチにより、「翻訳税（TT）」を分離するための、英語から中国語へのベンチマークに対する反事実的監査を実施した。本研究では、MMMLU から層化された 228 項目と Belebele から 100 項目のサブセットを利用し、9 つのモデル（グループ A：英語中心の最先端モデル；グループ B：中国語最適化モデル；グループ C：オープンソースの多言語モデル）で評価を行った。

1. 推定子 E1（逆翻訳）: 元の英語項目と、中国語を経由して英語へ戻された（ラウンドトリップされた）項目とのスコア差を測定する。これは構造的な手がかりの残存に対する代理指標として機能するが、逆翻訳ノイズと自然さの喪失により、ノイズの多い上限値であることが認められている。
2. 推定子 E2（バイリンガルネイティブ注釈）: 注釈者が手がかりの識別性、文化的残存、構文残存に基づいて項目を評価する較正の試みである。本研究では、これを LLM を用いた 30 項目の単一注釈者によるルブリック較正として実行し、完全な人間による推定子というよりもルブリックのカバレッジのチェックとして機能させた。
3. 推定子 E3（INCLUDE 非翻訳対照）: 翻訳された MMMLU 中国語版と、地域試験からネイティブに収集されたデータセットである INCLUDE 中国語版との性能を比較する。これは項目レベルの一致を欠くものの、外部妥当性の比較を提供する。
4. 推定子 E4（一致した LLM 自然化ストレステスト）: 項目の内容（答え、選択肢、意味）を固定したまま、中国語の表面形式を LLM によってより「自然」に書き換えるという反事実的アプローチである。これは内容を固定したまま表面の自然さを変化させる唯一の推定子である。重要な方法論的ステップとして、初期の実行におけるプロンプト構築のバグ（重複した選択肢ラベル）を修正したところ、結果が大幅に変化した。

主要な結果
本研究は、翻訳税が均一なスカラー補正ではなく、推定子および項目に依存する妥当性リスクのセットであることを発見した。

• E1（逆翻訳）: 点推定値は小さく（0.000 から +0.047 の範囲）、6 つのモデル - ベンチマークセルのうち 5 つが正の推定値を示したが、大半の信頼区間にはゼロが含まれていた。ゼロをわずかに除外した唯一のセル（MMMLU/gpt-5.4-mini）は、パーサーに脆弱であると特定された。項目クラスター化ブートストラップは、小さな正の平均効果（+0.022、95% CI [0.001, 0.044]）をもたらしたが、これは翻訳税がわずかに存在することを示唆しつつも、パーサーの妥当性に極めて敏感であることを示している。
• E2（注釈）: 較正実行では、手がかりスコアと項目レベルの性能向上との間に相関は見られなかった。gpt-4o モデルは負の相関を示し、データは同点スコアで支配されていたため、この規模における手がかりの搾取についてはこの推定子は決定的な結論を出し得なかった。
• E3（INCLUDE 対照）: 英語中心のモデル（グループ A）は、翻訳された MMMLU とネイティブの INCLUDE の間でほぼゼロの差を示した。中国語最適化モデル（グループ B）は混合した結果を示した。2 つのモデル（deepseek-chat、qwen-max）は、ネイティブの INCLUDE よりも翻訳された MMMLU で著しく悪いパフォーマンスを示したが、3 つ目のモデル（glm-4.5）は正の差を示した。これはモデルファミリー間の相互作用が存在する可能性を示唆するが、ドメインの違い（学術対地域試験）によって交絡されている。
• E4（自然化）: プロンプトのバグを修正した後、本研究は統計的に有意なモデルファミリー間の相互作用は見つからなかったと結論づけた。以前の草稿で主張された強い相互作用は、バグと glm-4.5 のパーサーの脆弱性が組み合わさった結果のアーティファクトであった。しかし、用量反応効果は持続した。高い「翻訳残存」（モデルが以前に中国語では失敗したが英語では成功した項目）を持つ項目は、自然化された際に性能向上（+0.103）を示したが、低残存の項目は向上を示さなかった（-0.015）。

意義と主張
本論文は、「翻訳税」をベンチマークスコアから差し引くべき単一のスカラー値として扱うことはできないと主張する。代わりに、妥当性リスクは不均質である：

1. 推定子依存性: 異なる代理指標は、効果の大きさや方向性において異なる結果をもたらす。
2. 項目依存性: 税は、ベンチマーク全体に均等に分布するのではなく、高い翻訳残存を持つ特定の項目に集中している。
3. モデル依存性: 集計されたモデルファミリー効果は、ドメイン適合性によって交絡されていたか、ほとんど存在しなかったが、パーサーの脆弱性とプロンプトの感度が観測されたスコアにおいて決定的な役割を果たす。

著者らは、翻訳されたベンチマークが導入する妥当性リスクは、固定されたペナルティではなく、条件のセットとして理解するのが最善であると結論づけている。彼らは将来の翻訳ベンチマーク論文のための報告チェックリストを公開し、推定子の範囲、パーサーの脆弱性、およびサブグループの対比の開示の必要性を強調している。本研究は「潜在的な」翻訳税を直接測定したと主張するものではないが、翻訳手がかりがスコアを人為的に過大評価する可能性がある時期と場所を特定するための枠組みを提供する。