💬 NLP

Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation

本論文は、広く用いられているクロスリンガル言語モデル評価のための正規化された指標が、トークン化や正書法の違いに起因するバイアスを導入していることを示し、意味的に等価なシーケンスに対する文レベルの負の対数尤度が、言語間でモデルを比較するためのより一貫性があり公平な代替案であることを提案する。

原著者： Xiulin Yang, Ethan Gotlieb Wilcox, Catherine Arnett

公開日 2026-08-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiulin Yang, Ethan Gotlieb Wilcox, Catherine Arnett

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

急速に進化する人工知能の世界において、コンピュータは数十の人間言語で話し、書くことを学びつつあります。言語モデルとして知られるこれらのデジタルな精神は、文の中で次にどの単語が来るかを予測するために、膨大なテキストのライブラリを用いて訓練されています。これらのシステムがより強力になるにつれ、研究者たちは重大な課題に直面しています。それは、あるモデルが特定の言語に真に長けているのか、それとも単にその言語がコンピュータ上に書き記されている方法に長けているだけなのかを、どうすれば判断できるのかという問題です。これに答えるために、科学者たちは、モデルがいかに効率的に生の文字や記号を処理できるかではなく、テキストの意味をいかに理解しているかを測定しなければなりません。問題は、この理解を測定するために現在使用されているツールが、しばしば隠れた罠を含んでいることです。それらは、単語に含まれる文字数、使用される特定のスクリプト（文字体系）、あるいはコンピュータが文章を処理するために文章を小さな断片へと分解する方法によって、偏ってしまう可能性があるのです。もしこれらのツールにバイアスがあれば、モデルの実際の知能によるのではなく、データの取り扱いにおける技術的な癖によって、ある言語では非常に優秀に見え、別の言語では不器用に見えてしまうかもしれません。これは、世界中の多様な言語に対して、人工知能がいかに優れた性能を発揮しているかを公平に比較することを、ほぼ不可能にしています。

ジョージタウン大学とEleutherAIの研究チームは、これらのモデルを判定するために使用されるツールそのものをテストすることで、この謎を解こうと試みました。彼らは、10の異なる言語のうち、それぞれ1つの言語のみで訓練された50の独立したコンピュータモデルを用いた制御実験を構築しました。公平なテストを確実にするため、彼らはパラレルデータ（異なる言語で全く同じ意味を表すテキスト）を用いてこれらのモデルを訓練しました。そして、この分野で一般的に用いられている6つの異なる測定方法を用いて、これらのモデルをテストしました。これらの手法の中には、モデルが文章を理解するために使用する微細な構成要素、すなわち「トークン」の総数を数えるものもあります。また、デジタルストレージの単位である「バイト」の数や、画面上の個々の「文字」の数を数えるものもあります。研究者たちはまた、テキストの長さによってその困難さを割り算することなく、モデルが文全体を予測する際にかける総体的な困難さを単純に合算する手法についてもテストを行いました。

結果は、これらの測定方法がどのように機能しているかについて、驚くべき事実を明らかにしました。モデルのパフォーマンスをトークン、バイト、または文字数で割る手法は、異なる言語を比較する際に極めて欠陥があることが判明しました。これらの指標は、同じ概念を表現するために自然に少ない文字数やバイト数を使用する言語（中国語など）を有利にし、一方で、より長い記号のシーケンスを必要とする言語を不利にする傾向がありました。一つの顕著な例として、英語のみで訓練されたモデルが、これらの欠陥のある手法で測定された際、ロシア語において英語よりも「優れた」パフォーマンスを示すことが示されました。これは、単にコンピュータがロシア語のテキストをより多くの断片に分解したために、人工的にスコアを下げてしまったことが原因でした。この現象は、モデルがロシア語を一度も見たことがなく、実際にはロシア語に対して低い性能しか発揮していなかったにもかかわらず発生しました。この研究は、これらの普及している指標が、モデルの実際の知能や理解を測定しているのではなく、単にコンピュータがテキストを読み取る際に設定されたエンジニアリング上の選択を反映しているに過ぎないことを示しました。

対照的に、文全体の困難さを長さで割ることなく合算した手法が、唯一の公平なアプローチであることが証明されました。研究者が「文レベルの負の対数尤度（sentence-level negative log-likelihood）」と呼ぶこの測定法は、モデルがテキスト全体の意味を理解するために注ぐ全エネルギーに着目しました。この手法は、文字やデジタルストレージの観点からのテキストの長さに基づいてスコアを正規化しようとしなかったため、スクリプトやコンピュータの語彙サイズに関わらず安定していました。研究者がこの手法を大規模な実世界の多言語モデルに対してテストしたところ、モデルがどの言語を最もよく学習したかを正しく特定できたのは、この指標のみであり、既知の訓練データの構成と一致していました。他の手法は、引き続き、テキストが保存され処理される際の技術的な詳細によって歪められたランキングを生み出し続けました。

研究者たちはまた、同じ意味が異なる方法で表現された場合に、これらの測定値が一貫性を保つかどうかも調査しました。その結果、一部の指標は、どの翻訳や言い換えが使用されるかによって激しく変動する一方で、文レベルの手法は安定していることが分かりました。これは、他の手法の見た目上の安定性が、真の信頼性の兆候ではなく、表面的な詳細に対する感度によって作られた錯覚であることを示唆しています。本研究は、人工知能が異なる文化や言語においてどのように機能しているかを真に理解するためには、トークン、バイト、または文字を数える指標に依存することをやめなければならないと結論付けています。代わりに、テキストの総体的な意味を尊重する尺度を用いるべきであり、それによって評価が、デジタル表現の癖ではなく、モデルの実際の学習を反映するようにしなければなりません。この転換は、人々がどのような言語を話すかにかかわらず、真に公平で効果的なシステムを構築するために不可欠です。

技術要約：「Apples to Apples? 向けての比較可能なクロスリンガル言語モデル評価」

問題提起

多様な類型論的特性を持つ言語間での言語モデル（LM）の公平な評価は、マルチリンガル自然言語処理（NLP）における根本的な課題であり続けている。多くの言語へ言語技術を拡張する上で大きな進展が見られる一方で、大幅な性能差も依然として存在している。これらの格差を正確に測定する上での決定的な障壁は、評価指標に関するコンセンサスの欠如である。既存の研究では、様々なダウンストリームタスクや、異なる理論的根拠を持つ内在的指標（例：Perplexity、Bits-per-Byte、Bits-per-Character）が用いられている。しかし、これらのアプローチが意味のあるクロスリンガルな結論をもたらすかどうかについての経験的な調査は限られている。中心となる問題は、異なる指標がしばしば実質的に異なり、時には相反するモデル性能のランキングを生み出すことであり、「公平な」比較とは何かという問いを投げかけている。

手法

著者らは、マルチリンガルモデルに固有の混乱要因から指標の挙動を分離するために、体系的な経験的研究を提案している。彼らの手法は、主に3つの実験で構成されている：

制御されたモノリンガル評価： 著者らは、異なる語彙サイズ（8kから82kトークン）とモデルスケール（GPT2-smallおよびGPT2-medium）を持つパラレルコーパス（PARALLEL-10およびPARALLEL-3）で訓練された50のモノリンガル言語モデルを利用している。この設計により、観察される差異が共有パラメータや訓練データの不均衡ではなく、言語および指標自体に起因することを保証している。
指標の比較： 6つの内在的指標を体系的に比較している：
- Bits-per-Byte (BPB)
- Bits-per-Character (BPC)
- Mean Reciprocal Rank (MRR)
- Perplexity (PPL)
- Token-level Negative Log-Likelihood (Token-NLL)
- Sentence-level Negative Log-Likelihood (Sent-NLL)
堅牢性と汎用性のテスト：
- 翻訳の代替案： WMT2019の複数の参照翻訳を持つ英独翻訳ペアを用いて、パラフレーズや翻訳のバリエーションに対する指標の安定性をテストしている。
- マルチリンガルの汎用性： 9つの大規模マルチリンガルLLM（BLOOM, mGPT, XGLM, Llama, Qwen, Teukenを含む）を用い、4つの言語（アラビア語、英語、ロシア語、中国語）において知見を検証している。著者らは、指標のランキングを訓練データの構成から導き出される期待されるランキングと比較している。

主な貢献と結果

1. 正規化された指標における系統的なバイアスの特定

本研究は、5つの広く使用されている指標が、言語モデリングの真の質ではなく、エンジニアリング上の選択（トークナイゼーション、エンコーディング、および字形）に根ざした系統的なバイアスを導入していることを示している：

表面レベルの正規化： トークン（PPL, Token-NLL）、文字（BPC）、またはバイト（BPB）によって正規化された指標は、表現のアーティファクトに対して非常に敏感である。
- BPBおよびBPC： これらは字形エンコーディングによってバイアスを受ける。例えば、ロゴグラフ（表意文字）スクリプト（例：中国語）や、より多くのUTF-8バイトを1文字あたりに必要とするスクリプト（例：クメール語）は、モデルの性能に関わらず、指標に応じて人工的に有利または不利なスコアを受け取る。
- PPLおよびToken-NLL： これらはトークナイゼーションの粒度にバイアスを受ける。未知のスクリプトを持つ言語は、しばしばより小さな単位（例：バイト）へと過剰にセグメント化される。これによりトークン数が増加する。これらの指標はトークンあたりの尤度を平均するため、高いトークン数は、モデルがその言語に対して真の知識を持っていない場合でも、スコアを人工的に下げ（見かけ上の性能を向上させ）、性能を良く見せてしまう。
- MRR： この指標は語彙サイズに敏感であり、小さな語彙は人工的にランクの上限を下げ、モデルがより優れた性能を発揮しているように見せる。
混乱要因との相関： スピアマンの順位相関係数分析により、これらの指標と潜在的な混乱要因（トークン数、文字数、バイト数）との間に強い相関（ $\rho > 0.8$ ）があることが明らかになった。

2. 文レベルNLL (Sent-NLL) の優位性

正規化された指標とは対照的に、文レベルNLL (Sent-NLL) ——表面単位による正規化を行わずに、意味的に等価なシーケンスにわたって負の対数尤度を合計するもの—— は、公平な指標としての3つの基準を満たしている：

エンジニアリングの選択に対する堅牢性： Sent-NLLは、トークン数、文字数、またはバイト数との有意な相関を示さない。これは、トークナイゼーションやエンコーディングの選択に対して大幅に鈍感である。
翻訳間の安定性： 他の指標は、同一のソーステキストの異なる翻訳が使用されると一貫性のないランキングを示すが、Sent-NLLは翻訳の代替案に対しても一貫した言語ランキングを生み出す。
汎用性： Sent-NLLのランキングは、マルチリンガルLLMにおける訓練データの構成に基づく期待される性能と一致している。例えば、BLOOMモデルにおいて、Sent-NLLは訓練データの割合に従って言語を正しくランク付けするが、PPLやToken-NLLはトークナイゼーションのアーティファクト（例：過剰なセグメント化によりロシア語を高くランク付けする等）によって歪められている。

3. ダウンストリーム評価への示唆

論文ではダウンストリームタスクの評価における課題についても議論しており、翻訳の質が変化する場合に翻訳されたベンチマークがノイズを導入する可能性があることや、文化特有または言語特有のタスク（BLiMPなど）には並列データや一貫したアノテーションスキーマが欠けていることが多く、クロスリンガルな比較を困難にしていることを指摘している。

意義と主張

本論文は、複数の指標、言語、およびトークナイザーの設定にわたる、正規化された指標はクロスリンガルな比較には信頼できないことを示す最初の体系的な経験的証拠を提供していると主張している。

直感の否定： 著者らは、BPB（トークナイザーに依存しないと主張されている）やPPLのような指標に対する従来の直感や理論的根拠への依存が不十分であったと論じている。彼らの結果は、これらの指標が、長いシーケンスやより多くのトークンを持つ言語を優遇する大幅なバイアスを導入していることを示している。
先行研究の検証： 本研究は、文レベルのNLLを利用する先行研究（例：Mielke et al., 2019; Cotterell et al., 2018）の基礎となる理論的仮定を経験的に検証し、これまで証拠を欠いていた主張に対して直接的な証拠を提供している。
バイアスの性質： 著者らは、Sent-NLLが完全に混乱要因から自由であるわけではないものの、残存する感性は固有の言語的複雑性（例：情報密度）を反映していることを明確にしている。彼らは、Sent-Nлоは表現レベルの単位ではなく意味によって正規化されるため、一般的に使用される内在的指標の中で最もバイアスの少ない選択肢であると断定している。
変動性の解釈： 論文は、Sent-NLLのランキングが正規化された指標よりもデータセット間で変動が大きいことに言及している。著者らは、これが「強み」であり、モデルが各言語をどの程度学習したかという実質的な違いを反映していると主張している。一方で、他の指標の「安定性」は、エンジニアリングのアーティファクトによって駆動された人工的なものである。

著者らは、クロスリンガルな評価において比較可能であることを達成するには、表面レベルで正規化された指標から、Sent-NLLのような意味的な等価性を考慮したアプローチへと移行する必要があり、それによって言語のランキングが表現レベルの要因ではなく、モデリングの質を反映するようにしなければならないと結論付けている。