Hidden Language Consistency Phenomena in Reasoning LLMs

ある教室で、先生が生徒に非常にトリッキーな数学の問題を解くよう指示している場面を想像してみてください。ただし、非常に特殊なルールがあります。「思考プロセスを声に出して（書き出しながら）考え、答えはすべてスペイン語で書きなさい」というものです。人工知能の世界において、これらの「生徒」とは、大規模言語モデル（LLM）のことです。これらはインターネット上のほぼすべての情報を読み込んだ、非常に賢いコンピュータプログラムです。私たちが彼らに難しい問題を解くよう求めると、彼らはしばしば「思考の連鎖（Chain-of-Thought）」というテクニックを使います。これは、最終的な答えを出す前に、ステップ・バイ・ステップの思考プロセスを書き留める生徒のメモのようなものです。長い間、科学者たちは最終的な答えが正しいかどうかだけを重視してきました。彼らは思考プロセスを「ブラックボックス」として扱い、答えが正しければ、生徒はすべてを正しく行っているのだと想定してきました。しかし、人間の生徒がスペイン語で問題を解こうとしている最中に、誤ってフランス語や英語を話し始めてしまうことがあるように、これらのAIモデルも、たとえ明示的に指示されていたとしても、思考の途中で言語を「滑らせて」切り替えてしまうことがあるのです。この論文は、まさにそのことを調査しています。難しい数学の問題を解くよう求めたとき、彼らは言語の約束を守り続けるのか、それとも混乱して全く別の言語を話し始めてしまうのか、ということを。

研究者たちは、これらのAI「生徒」をテストするために、「PolyMath」という特別な数学試験を用いて試練を与えました。これは8つの異なる言語と、初等数学から最も難しいオリンピックレベルのパズルまで、4つの難易度レベルをカバーしています。彼らは、5つの異なる「推論型」モデル（深く考えるように設計されたAI）と、3つの「非推論型」モデル（標準的なAI）を使い、彼らがどのようにタスクを処理するかを調べました。そこで彼らが発見したのは、まるでプレッシャーの下でパニックに陥った生徒を見ているような現象でした。数学の問題が難しくなるにつれて、モデルは単に数学の能力が低下するだけでなく、指定された言語を使い続けるという約束についても、守れなくなることが頻繁にあることが分かったのです。

この研究では、このような言語の「滑り（slip-up）」が起こる4つの明確なパターンを明らかにしました。あるモデルは、問題がいかに難しくなっても、正しい言語を維持する「ロックスター」のような存在です。また別のモデルは、最初から要求された言語を使うことを拒否し、何があっても自分の得意な内部言語（通常は英語）に固執する「反逆者」です。3つ目のグループは、最初は調子が良くスタートしますが、問題が難しくなるにつれて徐々に集中力を失い、別の言語へと漂流していきます。そして最も驚くべき発見は、4つ目のグループです。これらのモデルは、簡単または中程度の問題については全く問題ないのですが、難易度が「中程度（medium）」に達した瞬間に、突然完全に崩壊し、言語を唐突に切り替えてしまうのです。著者たちはこれを「言語一貫性の崩壊効果（language consistency breakdown effect）」と呼んでいます。

ここからが、非常に興味深い展開です。この論文は、この言語の切り替えが必ずしもスコアにとって悪いことではないことを発見しました。あるケースでは、モデルが要求された言語（テルグ語やスワヒリ語など）で考えるのをやめて、自分の「コンフォートゾーン（快適な領域）」の言語（英語など）に切り替えたとき、問題がより難しくなっているにもかかわらず、実際にはより多くの問題を正解していたのです。それはまるで、生徒がスペイン語で問題を解くのを諦め、英語に切り替えた途端、突然正解に辿り着いたかのようです。これは、もし最終的なスコアだけを見ていたら、AIが賢くなっていると考えてしまうかもしれませんが、実際には、AIがあなたの言語指示に従うことを諦めただけである可能性があることを意味しています。

研究者たちはまた、モデルを圧縮して、より小さなデバイスで高速に動作させるプロセス（量子化と呼ばれるプロセス）を行った場合に何が起こるかもテストしました。彼らは、この圧縮が一種のギャンブルであることを発見しました。圧縮によってモデルが正しい言語を維持しやすくなることもあれば、逆に言語を切り替えるスピードを早めてしまうこともあり、これは数学の答えが良くなるか悪くなるかとは無関係に起こります。例えば、「GPTQ」と呼ばれる手法は、「AutoRound」という別の手法よりも、数学の答えを正しく保つことには優れていましたが、言語の一貫性を保つという点ではGPTQの方がモデルを助けることが多かったのです。

要約すると、この論文は、AIが多言語対応において優れているかどうかを判断するために、単に「正解を得られたか」だけを見るべきではないと主張しています。私たちは、AIがどのように考え、思考中にどの言語を使用しているのかを見守らなければなりません。さもなければ、AIが問題を解くために密かに別の言語を話していることや、困難に直面した瞬間にあなたの言語を完全に放棄していることに気づかないままになってしまうかもしれません。この研究は、AIが多言語の世界で真に信頼されるためには、最終的な成績だけでなく、生徒が試験の言語ルールを実際に遵守したかどうかも測定する必要があることを示唆しています。