Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand

想像してみてください。あなたは、文章を読み、質問に答えることができる超スマートなロボットをテストしています。あなたは英語で物語を与え、質問をし、ロボットは正解を出しました。次に、全く同じ物語を、今度はスペイン語、フランス語、あるいはインターネット上に本がほとんどない言語で与えます。そのロボットは、依然として同じくらい上手くその物語を理解しているでしょうか？これは、人工知能（AI）、特に「自然言語処理」と呼ばれる分野における大きな疑問です。科学者たちは以前から、これらのAIモデルが他の言語よりも英語に長けていることが多いと知ってきましたが、その「理由」を突き止めるのは困難でした。それは、ロボットがその言語の書物を十分に読んでいないからでしょうか？それとも、翻訳が悪いのでしょうか？あるいは、単に言葉が変わると、ロボットが「意味」を理解できなくなるからでしょうか？これを解決するために、研究者たちは、他の要素を変えることなく——新しい質問も、異なる物語もなしに——ただ異なる言語を用いて、ロボットの脳をテストする方法を必要としています。

「Cross-Lingual Comprehension Gap（言語横断的理解の差）」と題されたこの論文は、ついにその特定の問題を特定した科学的な探偵物語のようなものです。研究者たちは、559の記事を18の異なる言語（ポルトガル語のような広く話されている言語から、フォン語やアヤクチョ・ケチュア語のような非常に珍しいものまで）に翻訳し、完璧に一致させた大規模なテストセットを構築しました。彼らは5つの異なるAIモデルに対し、これらの記事に関する全く同じ質問をしました。コツは、質問と「正解」が常に英語であることでした。これにより、ロボットは新しい言語で文章を書くことに苦労する必要はなく、新しい言語を「読み」、そして「理解する」ことだけに集中できました。こうすることで、言語が変わっただけでAIの理解力がどれほど低下したのかを正確に測定することができたのです。彼らは明確に測定可能なギャップを発見しました。物語が英語でない場合、AIの理解力は著しく低下し、特にデジタルリソースが少ない言語においてその傾向が顕著でした。この研究は、AIが英語に優れているからといって、他のあらゆる言語においても同様に賢いわけではないことを証明しており、これらのAIが他の言語を話す人々に対して、実際よりも高い能力を持っていると私たちが過大評価している可能性があることを示唆しています。

言語の大きな罠

言語モデルを、学校の図書室にあるすべての本を読んだことのある優秀な学生だと考えてみてください。ただし、その本のほとんどは英語です。もしあなたがこの学生に英語で書かれた歴史のテストを渡せば、彼らは満点を取るでしょう。しかし、もし全く同じテストを、物語の部分だけが、小さなコミュニティで話されている珍しい方言などに翻訳された状態で渡したらどうなるでしょうか？あなたの「脳」が賢ければ、それを理解できるはずだと期待するかもしれません。しかし、この論文は、その学生の脳が実際に霧に包まれてしまうことを示しています。

研究者たちは、この霧のことをCross-Lingual Comprehension Gap (CLCG：言語横断的理解の差) と呼んでいます。それは、英語で物語を理解する場合と、その「全く同じ物語」を別の言語で理解する場合の差のことです。これを測定するために、彼らはインターネットからランダムにテストを集めたのではありません。代わりに、彼らは「パラレル・ユニバース（並行世界）」のデータを作り上げました。559の記事（主に多言語出版ソースから）を取り、それらを18の異なる言語で完璧に並べたのです。それは、18の同一のミステリー小説があり、それぞれが異なる言語で書かれているような状態です。

次に、彼らは厳格な実験を設定しました。5つの異なる研究所の5つの異なるAIモデルに対し、これらの物語を読み、質問に答えるよう求めました。ここが魔法のような部分です。質問と「ゴールドスタンダード（正解）」となる回答は、常に英語でした。AIはスペイン語やスワヒリ語で答えを書く必要はなく、単にスペイン語やスワヒリ語の物語を読み、その答えを英語で伝えるだけでよかったのです。これは極めて重要です。なぜなら、これによりAIが新しい言語で「書くのが下手である」という問題を排除できるからです。もしAIが間違った答えを出したとしても、それは言葉を組み立てられないからではなく、物語を理解できなかったからなのです。

結果：明らかな理解力の低下

結果は、ランナーが滑らかなトラックから泥だらけのフィールドに切り替えたときに速度が落ちる様子を見ているかのようでした。AIが英語で物語を読んだとき、スコアは高かったのです。しかし、同じ物語が16の対象言語で提示されると、スコアは低下しました。

研究によると、英語から他の言語に切り替えると、AIのパフォーマンスは平均して約**17%**低下しました。論文の言葉で言えば、これは（数値が高いほど良いとされるスケールにおいて）0.078のギャップに相当します。これは単なる小さな不具合ではありません。重大な理解力の喪失です。

研究者たちはまた、「言語の豊かさ」が影響するかどうかについても調査しました。彼らは、その言語に関するデジタルリソース（本やウェブサイトなど）がどれだけ存在するかに基づいて言語をランク付けするシステムを使用しました。その結果、明確なパターンが見つかりました。言語のリソースが少なければ少ないほど、ギャップは大きくなるのです。

• 高リソース言語（ベースラインとして使用されたポルトガル語など）は、英語と比較して依然として小さなギャップしかありませんでした。
• 低リソース言語（フォン語やアヤクチョ・ケチュア語など）は、はるかに大きなギャップがありました。

例えば、テキストが低リソース言語である場合、物語の「目的」や複雑な推論に関する質問に対して、AIのパフォーマンスは著しく低下しました。論文は、AIが単に言葉を「忘れている」のではなく、デジタルな「補助輪」がないとき、物語全体の意味を組み立てることに苦労しているのだと示唆しています。

これによって否定されたこと（そして否定されなかったこと）

研究者たちは、スコア低下の他の理由を排除するために非常に慎重に行動しました。

• 翻訳の質の問題ではない： 彼らはプロフェッショナルなソースから得られた高品質な人間による翻訳テキストを使用したため、物語自体は優れたものでした。ギャップは翻訳が壊れていたからではなく、AIが意味を把握できなかったために生じたものです。
• 単なる暗記ではない： 彼らは、AIが英語バージョンの物語を単に「記憶」しているだけではないかを確認しました。AIの学習データのカットオフ日よりも後に公開された記事を用いてテストを行ったため、AIはそれらを事前に見ていなかったはずです。それでもギャップが存在したことは、AIが単に記憶した事実を復唱しているのではなく、実際に読み、理解しようとしていたことを証明しています。
• 質問の種類による違いではない： 彼らは、単純な「単語を探す」タスクから、複雑な「著者の目的は何か？」といった質問まで、さまざまな種類の質問をテストしました。ギャップは全般的に現れましたが、特定の思考タイプにおいてはより大きくなることもありました。

しかし、この論文は、これが「解決された」問題であるとか、AIが「壊れている」と言っているわけではありません。単にギャップを測定しているのです。また、人間の判定者も一般的な傾向には同意しましたが（人間は英語ベースの回答を好む傾向がありました）、特定の回答がなぜ間違っているのかという点については、人間同士でも意見が分かれることがあり、人間の判断にも限界があることを示しています。

なぜこれが重要なのか

この研究は、警鐘を鳴らすものです。長い間、私たちは「英語で賢ければ、あらゆる場所で賢い」と想定してきました。この論文は、それが真実ではないことを示しています。もしあなたが、低リソース言語が話されている国で、医師、教師、または弁護士を助けるためのツールを作っているとしたら、英語で訓練されたAIが完璧に機能すると想定することはできません。「理解のギャップ」があるということは、AIが重要な詳細を見逃したり、複雑な指示を誤解したり、不完全な回答を出したりする可能性があることを意味します。

著者たちは単に問題を見つけただけでなく、それを測定するための新しいツールを構築しました。彼らは、他の科学者が新しいAIモデルをチェックするために、同じ「パラレル・ユニバース」のテストを使用できるように、データと手法を公開しました。それは、AIがどれほど世界を真に理解しているかを測るための、科学界への新しい「定規」を与えるようなものです。教訓はシンプルです。英語の流暢さが普遍的な理解を意味するのではないと理解し、どの言語を話していてもAIが公平かつ正確であるように、そのギャップを測定し始める必要があるのです。