Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap
本論文は、固定された出力トークン上限が、測定される多言語間の推論ギャップを人工的に膨張させたり逆転させたりする隠れた実験変数として機能していることを示し、評価においては、真の推論能力の欠如と切り捨てによるアーティファクトを区別するために、単一の上限ではなく、出力予算のスペクトラム全体にわたる正確性を報告すべきであると論じている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、2人の異なるランナーがどれくらいの速さでレースを完走できるかを測定しようとしていると想像してみてください。一人のランナーは、言葉が短く力強い言語を話し、もう一人のランナーは、言葉が長く流麗な言語を話します。もしあなたが両方のランナーに、「ちょうど100歩進んだところで走るのを止めてください」と言ったとしたら、あなたは単に彼らのスピードをテストしているのではなく、同じことを言うためにそれぞれの言語がどれだけの歩数を必要とするのかを、密かにテストしていることになります。言葉の長いランナーは、足取りが遅いからではなく、彼ら特有の歩幅に対してゴールラインが早すぎたために、文章の途中で打ち切られてしまうかもしれません。これが現代の人工知能における核心的なパズルです。AIモデルに異なる言語で数学の問題を解かせる際、英語に翻訳してから解かせた場合よりも、その母国語で解かせた場合の方がパフォーマンスが低下することがよくあります。科学者たちはこれを「多言語推論ギャップ（multilingual reasoning gap）」と呼んでいます。しかし、このギャップはAIがその母国語において実際に「馬鹿」であることを示しているのでしょうか、それとも単にゲームのルール設定によって引き起こされた測定エラーなのでしょうか？
「Mind the Cap」という題名のこの論文は、その有名なギャップが、実は測定テープによる仕掛け（トリック）ではないかを調査しています。研究者たちは、ドイツ語、タイ語、スワヒリ語で数学の問題を解くために、2つの人気のあるAIモデル（QwenとLlama）を使ってレースを設定しました。彼らは2つの戦略を比較しました。それは、AIに母国語で考え、回答させる戦略（NATIVE）と、問題を英語に翻訳し、英語で考え、その後に母国語で回答させる戦略（TRANSLATE-ACT）です。ひねりは、単に最終スコアを見るだけでなく、彼らが答えを書くために許されるデジタルな構成要素（トークン）の最大数である「トークン・キャップ（token cap）」を変更しながら、レースが進行する様子をステップバイステップで観察したことです。
著者らは、「ギャップ」は固定された真実ではなく、それがどれほど厳しい「手綱」にかかっているかに完全に依存する、動く標的であることを発見しました。キャップが非常に厳しい場合（例えば128トークンの場合）、母国語はしばレクト負けることがよくありますが、それはAIが推論できないからではなく、単に文章を書き終えるためのスペースが足りなくなるからです。しかし、キャップを緩めていくと、ギャップは縮まり、時には消失することさえありました。実際、ある特定の予算である1,024トークンの時点では、一方のモデル（Qwen）のギャップはほぼ完全に消滅しました。これは、AIに推論能力が欠けていたのではなく、単に呼吸するための余白が必要だっただけであることを示唆しています。
また、この研究では、制限が始まる前にAIにその制限を伝えることが、その振る舞いを変える可能性があるという驚くべき発見もありました。タイ語ネイティブのAIに対し、「あなたは128トークンしか使えません」と伝えた場合、ハードリミット（絶対的な制限）はどちらの場合も同じであったにもかかわらず、「あなたは2,048トークン使えます」と伝えた場合よりも、実際には高いパフォーマンスを発揮しました。AIは、自分が急いでいると考えているとき、より効率的になろうとするようです。
結局のところ、この論文は「推論ギャップ」とは、しばしば「予算によるアーティファクト（人工的な現象）」であることを主張しています。もしAIに思考を完結させるための十分なスペースを与えれば、母国語はしばしば追いつきます。研究者たちは、実験を事前に凍結し、数千件の新しい独立したテストを実行することで、これを検証しました。その結果、タイトな予算においてはギャップは存在するものの、AIが完全な回答を書くことが許されれば、そのギャップはしばしば消失することを見出しました。彼らはまた、「語彙拡張（vocabulary extension）」、つまりAIに新しい、より短い単語を与えるテストも行いましたが、これはAIの文章を遮ってしまうほど予算がタイトな場合にのみ効果があることが分かりました。AIに十分なスペースがあれば、追加の単語は違いを生みませんでした。
大きな教訓は、トークン制限を背景の設定として扱うべきではないということです。それは結果を変えてしまう変数なのです。もし私たちが、AIが真にその言語で推論できるかどうかを知りたいのであれば、単一の制限を用いた単一のスコアを見るだけでは不十分です。私たちは、スタートの合図からゴールラインまで、レースの全体を観察しなければなりません。そして、時にはAIが思考に失敗しているのではなく、単に思考を完結させることに失敗しているだけなのだということを理解しなければならないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。