Quantifying Logical Consistency in Transformers via Query-Key Alignment

大規模言語モデルは、人間のような会話、詩の執筆、複雑なテキストの要約において、驚くほど熟達してきました。これらのモデルは、膨大な学習データに基づいて、文中の次の単語を予測することによってこれらを実現しています。しかし、多段階の論理パズルを解かせようとすると、これらのシステムはしばしばつまずきます。彼らは説得力のある推論の連鎖を生成しながら、最終的には全く間違った結論に至ったり、プロンプト内の無関係な詳細に気を取られたりすることがあります。研究者たちは、モデルに「ステップ・バイ・ステップで考える」よう促すことで性能を向上させる方法を見出してきましたが、根本的な問題が残っています。それは、モデル自体には、自身の推論が実際に一貫しているかどうかをチェックする組み込みの手段がないということです。モデルは論理的に聞こえる経路を生成することはできても、そのステップ同士が正しくつながっているかどうかを真に理解しているわけではないのです。

この不確実性は、人工知能における盲点を作り出しています。私たちはモデルが出力する最終的な答えを見ることはできますが、モデルが実際に論理の規則に従っているのか、それとも単に推測しているだけなのかを示す内部信号を容易に確認することはできません。これに対処するため、スカルコボ科学技術研究所およびその他の機関の研究チームは、推論プロセス中にモデルの「思考」の中を覗き見る新しい方法を開発しました。モデルが答えを出し終えるのを待ってから正誤を確認するのではなく、彼らはモデルが考えている最中に作られる特定の内部的な接続に着目しました。彼らは、モデルのアーキテクチャの特定の部分が信頼できるチェックポイントとして機能し、最終的な答えが発せられるずっと前に、論理的なステップが妥当であるかどうかをシグナルとして送っていることを発見しました。

研究者たちは、これらのモデルが内部でどのように情報を処理しているかに焦点を当てました。大規模言語モデルの内部では、情報は数学的な演算の層を通じて流れていきます。このプロセスの中心にあるのは「アテンション・ヘッド（注意機構のヘッド）」であり、これらは入力のどの部分にどの瞬間に注目すべきかを決定する小さなスイッチのような役割を果たします。チームは、これら2つの特定の信号間の整合性を測定できることを発見しました。一つはテストされている命題を表す信号であり、もう一つは潜在的な答えを表す信号です。これら2つの信号がどれほどよく一致しているかに基づいて単純なスコアを算出することで、モデルが前提と結論の間の論理的なつながりを認識しているかどうかを判断することができました。

このアイデアを検証するために、研究者たちは多種多様な論理推論タスクに対して実験を行いました。彼らは、ロンプスやジョンプスに関する架空のルールに基づき、ポリーというキャラクターが不透明であるかどうかを判定する場合のように、ルールが明確で答えが決定的に真または偽となる合成データセットを使用しました。また、現実世界の言語や多段階の推論を含む、より複雑なデータセットについてもこの手法をテストしました。これらのテストにおいて、彼らは、単に最も確率の高い選択肢を選ぶというモデルの標準的な回答方法と、彼らの新しい内部スコアリング手法の性能を比較しました。

結果として、内部スコアリング法は、モデル自身の最終的な推測よりも大幅に信頼性が高いことが示されました。モデルが紛らわしい無関係な情報を与えられたシナリオでは、標準的なモデルは混乱して誤った答えを出すことがよくありました。しかし、研究者が追跡していた特定の内部信号は安定しており、モデルの最終的な出力が間違っていたとしても、妥当な論理的経路を正しく識別していました。これは、モデルの内部には正しい推論能力が実際に備わっているものの、その能力が後の処理段階や、紛らわしいコンテキストのノイズによって覆い隠されてしまうことがあることを示唆しています。

チームは、15億パラメータを持つ非常に小さなモデルから、700億パラメータを持つ巨大なモデルに至るまで、幅広いモデルを用いてこのアプローチをテストしました。全体を通して、特定の注意ヘッドが、推論に要するステップ数や存在する妨害要素の数に関わらず、一貫して「検証アンカー」として機能していることを見出しました。これらのヘッドは、高い精度で妥当な推論と不当な推論を区別することができました。いくつかのケースでは、内部スコアが90パーセント以上の正解率を示した一方で、モデルの最終的な答えの正解率は60パーセント未満でした。これは、モデルが内部では正解を「知って」いながら、最終的な出力としてそれを正しく表現できていないことが多いことを示しています。

最も重要な発見の一つは、この手法がモデルを変更したり再学習させたりする必要がないことです。研究者は単にモデルを一度実行し、内部信号を見て、モデル自身の予測よりも正確であることの多いスコアを導き出すことができます。これは、モデルの一部を無効化して何が起こるかを確認するといった従来の、計算コストの高い手法と比較して、軽量かつ効率的な論理的一貫性の評価方法を提供します。この研究は、特定の内部コンポーネントを特定することで、人工知能が複雑な関係をどのように処理しているのかをより明確に理解できる窓を開き、単に言語に流暢であるだけでなく、推論においても信頼できるシステムへと私たちを近づけてくれることを示唆しています。

研究者たちは、特定の見解を信頼するための特定の内部信号を較正するために、十分な量のデータが必要であることを指摘しています。また、このアプローチは、これらの特定のパーツが論理を担う唯一の要素であることを意味するものではなく、人工知能におけるあらゆる推論の問題を解決するものでもないことも認めています。しかし、この研究は、論理がどこで成立し、どこで崩壊するかを可視化する具体的かつ測定可能な方法を提供しており、より透明で信頼できる言語モデルを構築するための新しいツールを提供しています。内部信号の整合性に焦点を当てることで、この研究は、健全な推論の能力がモデルの中に存在し、それが適切に読み取られるのを待っていることを明らかにしています。