A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination
本論文は、インコンテキスト学習とアウトオブコンテキスト・ハルシネーション(文脈外の幻覚)の両方を、役割情報が内部的にどのように表現され集約されるかという結果として説明する統一的なメカニズムの枠組みを提案し、ルールへの遵守の成功かハルシネーションかの成否は、主要な決定点における役割スパンの寄与の大きさと一貫性に依存することを実証するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大規模言語モデルは、プロンプトを読み取り、要求に応じて人間のようなテキストを生成できる、新しい世代の人工知能を支えるエンジンです。彼らの最も称賛される能力の一つは、インコンテクスト学習(in-context learning)であり、これはモデルがプロンプト内に提供された例から特定のルールを推論し、それに忠実に従うことができる能力です。ユーザーがレコードのリストをJSONオブジェクトとして要約するようモデルに求めた場合、モデルはその形式を学習し、それを完璧に適用することができます。しかし、これらと同じシステムは、「ハルシネーション(幻覚)」として知られる、もどかしい欠陥にも悩まされています。提供された証拠に基づいて質問に答えるよう求められた際、モデルは目の前にある事実を無視し、テキストによって裏付けられていない詳細を捏造してしまうことがあります。これは、ある不可解な矛盾を生み出します。なぜ同じ機械が、学習したばかりのルールにはこれほど従順でありながら、与えられた事実に対してはこれほど不注意になり得るのでしょうか?長年、研究者たちはこれら二つの振る舞いを別々の現象として扱い、個別に研究してきました。しかし、この分離によって、モデルがある場合には成功し、別の場合には失敗する理由についての理解に空白が生じていました。
シンガポール国立大学の研究チームは、これらのモデルの内部メカニクス(内部機構)を調査することで、この空白を埋めることに成功しました。彼らは、ルールの遵守と事実への固執の失敗の両方が、同じ基礎的なプロセスに依存していると提唱しています。彼らの発見の鍵は、モデルがプロンプトの異なる部分をどのように処理するかという点にあります。どのようなプロンプトにおいても、一部のテキストは「ルール」として機能し、モデルに回答の構造を指示し、他のテキストは「証拠」として機能し、使用すべき具体的な事実を提供します。研究者たちは、モデルが内部的にこれらの役割の違いを実際に「理解」していることを見出しました。モデルは、自身が見ているものがルールなのか証拠なのかを表すために、ニューラルネットワーク内に特定の組織化された活動パターンを作り出しています。しかし、単にこのような内部表現を持っているだけでは、正しい回答を保証するには不十分です。モデルはテキストの役割を認識していても、その認識を最終的な出力の制御に必ずしも反映させるとは限らないのです。
この仕組みを明らかにするために、研究者たちは、プロンプトの特定の部分がモデルの決定に与える影響を測定する方法を開発しました。彼らは、ルールまたは証拠を含む特定のテキストセクションである「ロール・スパン(role span)」に焦点を当てました。このテキストが存在する場合と、異なる内容に置き換えた場合とでモデルの挙動を比較することで、その特定のテキストがモデルを特定の回答へとどれほど押し進めているのかを正確に分離することができました。彼らは、モデルがルールに従ったり証拠を使用したりするためには、そのテキストからの影響が十分に強く、かつ一貫して正しい方向を向いていなければならないことを発見しました。モデルが単にルールを「見ている」だけでは不十分です。そのルールの数学的な信号は、モデルの脳内における他の競合する信号を克服できるほど大きく、かつ生成プロセスのあらゆるステップにおいて、正しい回答の方向性と一致していなければなりません。
この研究は、モデルがルールに従うのは非常に上手いが、事実については失敗することが多い理由は、この影響が「どこで」「どのように」適用されるかに起因することを明らかにしています。回答をリスト形式にするなどのルールに従っているとき、ルールテキストからの影響は、多くの異なる決定にわたって維持される必要があります。モデルは繰り返し正しい構造を選択しなければならず、各ステップにおいてルールの信号が、モデルを軌道に乗せ続けるのに十分な強さを保たなければなりません。対照的に、モデルが証拠を使用すべきとき、決定的な瞬間はより限定的です。証拠テキストからの影響は、モデルが特定の事実を決定するまさにその瞬間に、強力でなければなりません。もしその精密な瞬間に証拠からの信号が弱すぎたり、あるいは他の信号によって打ち消されたりすると、モデルは逸脱し、提供された事実を使う代わりに事実を捏造してしまいます。
研究者たちは、モデルの計算に直接介入することでこの理論をテストしました。彼らは、ルールテキストからの信号を人工的に弱めると、モデルが従うべきフォーマットを頻繁に忘れてしまうことを見つけました。同様に、証拠テキストの影響を減少させると、モデルは提供された事実を使用しなくなり、ハルシネーションを起こし始めました。おそらく最も示唆に富むのは、この失敗が必ずしも永続的なものではないことを示した点です。モデルが最初に証拠を使用できなかったケースにおいて、研究者たちは証拠からの信号を人工的に増幅させることで、その間違いを逆転させることができました。正しい事実への支持が、モデルの初期の躊躇を克服できるほど十分に強くなると、モデルは正解へと切り替えることに成功しました。これは、モデルが正しい情報を内部的に保持している場合でも、決定の瞬間に信号が十分に強くなかったために、その情報に基づいて行動できなかったことを示唆しています。
この研究は、一見すると相反する二つの振る舞いに対して、統一的な説明を提供しています。それは、モデルが指示を完璧にこなすモデルであるか、あるいは事実について嘘をつくモデルであるかの違いは、プロンプトをどう理解するかという違いではなく、生成プロセス中にそのプロンプトの影響がどのように維持されるかという違いであると示唆しています。ルールの場合、影響はレスポンスの構造を導く、安定的で持続的な力である必要があります。事実の場合、影響は特定の値が選択されるまさにその瞬間の、鋭く決定的な押しである必要があります。本研究は、モデルの信頼性は、プロンプトからの内部信号が、これらの決定的な選択の瞬間において勝利するために、十分に強く、かつ正しく組織化されているかどうかに依存すると結論付けています。このメカニズムを理解することで、なぜこれらの強力なツールが、時には完璧な助手のように働き、他の時には自信満々な嘘つきのように振る舞うのか、そして、どのようにして同じ内部機構が両方の結果に対して責任を負っているのかという、より明確な全体像を得ることができるのです。
自分の分野の論文に埋もれていませんか?
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。