🤖 machine learning

When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning

本論文は、正しいデモンストレーションが常にインコンテキスト学習を支援するという仮説に異議を唱え、タスクを保持する摂動が「文脈的証拠のシフト」を通じて性能を低下させることを明らかにし、例示の有用性は単なる正しさではなく、例が文脈推論にどのように影響するかにかかっていることを示す。

原著者： Chenghao Qiu, Chunli Peng, Yufeng Yang, Kuan-Hao Huang, Yi Zhou

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chenghao Qiu, Chunli Peng, Yufeng Yang, Kuan-Hao Huang, Yi Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「正しいデモンストレーションが害を与えるとき」という論文を、平易な言葉と日常的な比喩を用いて解説します。

大きなアイデア：「正しい」ことが常に「役立つ」とは限らない

あなたがロボットに洗濯物を仕分ける方法を教えようとしていると想像してください。いくつかの例を示します：

例 1： 赤い靴下は「赤」の山に入れます。
例 2： 青いシャツは「青」の山に入れます。

ロボットはすぐに学びます。これを**コンテキスト学習（ICL）**と呼びます。ロボットはあなたが与えた例（「デモンストレーション」）を見て、今渡された新しいアイテムをどう扱えばよいか推測します。

一般的な考え方はこうでした：「私がロボットに見せる例が事実上正しい限り、ロボットはよりよく学習する」。

この論文は、その考え方が誤りであることを証明しています。

著者たちは奇妙な現象を発見しました。ロボットに100% 事実上正しい例を与えても、それらの例の「見た目」や「響き」を変えてしまうと、ロボットは混乱し、例を何も与えなかった場合よりもパフォーマンスが低下する可能性があります。

実験：「タスク保存」トリック

これを検証するために、研究者たちはロボットを間違った答えでだましたわけではありません。代わりに、「同じタスク、異なる物語」というゲームを行いました。彼らはこれを**タスク保存摂動（Task-Preserving Perturbation）**と呼びました。

まるで誰かに運転を教えるようなものです。

標準的な方法： 赤信号で車が止まる動画を見せます。（正しい例）
「摂動された」方法： 赤信号で止まる別の車の動画を見せますが、今回は車が鮮やかな黄色のコンバーチブルで、天気は晴れ、運転手は帽子をかぶっています。行動（赤信号で止まること）は依然として正しいです。ルールは変わっていません。

しかし、研究者たちは、この「見た目こそ異なるが正しい」例をロボットに多すぎるほど見せると、ロボットが本当のルールが何かについて混乱し始めることを発見しました。ロボットは「赤信号で止まること」ではなく、「ああ、もしかしたらルールは晴れた日の黄色いコンバーチブルについてのことなのかもしれない」と考え始めるのです。

核心的な概念：「コンテキスト証拠のシフト」

この混乱のために、論文は**コンテキスト証拠のシフト（Contextual Evidence Shift）**という専門用語を導入しました。

ロボットが謎を解く探偵だと想像してください。あなたが与える例は「手がかり」です。

クリーンな手がかり： すべての手がかりが似ており、明確に同じ容疑者を指し示しています。
摂動された手がかり： 手がかりは技術的には真実ですが、互いに非常に異なって見えます。いくつかは赤インクで書かれ、いくつかは青インクです。いくつかは長い物語で、いくつかは短いメモです。

すべての手がかりが真実であっても、手がかりの混合は変化します。探偵（ロボット）は、主要な犯罪ではなく、インクの色のようないささか間違った詳細に焦点を当て始めるのです。事実が変わったわけではありませんが、ロボットが意思決定に使用する「証拠」はシフトしてしまいました。

彼らが発見したこと

研究者たちはこの現象を 3 種類のタスクでテストしました：

感情分析： 映画レビューが肯定的か否定的かを判断する。
論理的推論： 「A が真であり、A が B を意味するなら、B は真か？」のようなパズルを解く。
数学の文章問題： 簡単な数学の物語を解く。

結果：

小さなロボットほど被害が大きい： 70 億パラメータモデルのような、小さく能力の低いモデルは、例の見た目が異なると非常に混乱しました。その精度は大幅に低下しました。
大きなロボットはタフ： 700 億パラメータモデルのような、大きく賢いモデルは、「ノイズ」を無視して真のルールに固執することに非常に優れていました。彼らはそれほど混乱しませんでした。
混乱が増すほど結果は悪化： 彼らが追加した「見た目こそ異なる」例が多ければ多いほど、小さなロボットのパフォーマンスは悪化しました。場合によっては、ロボットはこれらの「正しい」例を与えられた方が、何も例を与えられなかった場合よりも悪い結果を出しました。

簡単な比喩：音楽プレイリスト

DJ に「アップテンポなポップ」音楽を再生するよう教えるつもりだと想像してください。

標準的な例： 10 曲のアップテンポなポップ曲のプレイリストを与えます。彼らはその雰囲気を完璧に学びます。
摂動された例： 10 曲のアップテンポなポップ曲を与えますが、ジャケットアート、アルバム名、トラックの順序を変更します。音楽は同じジャンルですが、「パッケージ」は奇妙です。

もしあなたが DJ に標準的な曲と奇妙にパッケージされた曲のミックスを与えたら、初心者の DJ は混乱し、奇妙なアルバムジャケットに焦点を当ててビートではなく、ゆっくりとしたジャズを再生し始めるかもしれません。一方、専門家である DJ（大規模モデル）はジャケットを無視し、正しい音楽を再生するでしょう。

結論

この論文は、例を使って AI モデルを教えようとする際、単に「この例は正しいか？」と問うべきではないと結論付けています。

また、「この例は他の例のパターンに合致しているか？」とも問う必要があります。

すべての例が「正しい」ものであっても、互いにあまりにも異なって見える場合、それらは AI の学習能力を実際には害する可能性があります。AI は、事実上真実だが様式的に混沌としたデータの山ではなく、ルールを把握するための一貫した「雰囲気」や「コンテキスト」を必要としています。

要約すると： 正しさは必要ですが、それだけでは不十分です。正しい情報を提示する方法は、情報そのものと同じくらい重要です。

技術的概要：正しいデモンストレーションが害を及ぼす場合：インコンテキスト学習における例示の役割の再考

問題定義
インコンテキスト学習（ICL）は、大規模言語モデル（LLM）がパラメータを更新することなく、少量の入力 - 出力デモンストレーションに条件付けることで、新しいタスクに適応することを可能にする。一般的な直感では、デモンストレーションはターゲットタスクのマッピングの正しい例を提供するため有益であるとされている。しかし、本研究は直感に反する現象を特定している：例示の正しさが、その有用性を保証するわけではない。著者らは、デモンストレーションがタスク定義の下で個別的に有効である（すなわち、入力 - 出力ペアがタスクマッピングを満たす）にもかかわらず、文脈的証拠として使用された際に ICL の性能を低下させることを実証する。この「正しさ - 有用性のギャップ」は、モデルが個々のペアからマッピングを学習するだけでなく、提供されたすべての例示の混合から潜在的なタスク、入力領域、および決定則を推論するため生じる。

手法：タスク保存摂動
正しさと有用性の区別を分離するために、著者らはタスク保存摂動を導入する。このフレームワークは、タスク定義、プロンプト形式、およびデモンストレーションの順序を厳密に維持したまま、インコンテキスト例示の入力側を修正するものである。重要なのは、すべての摂動された例示が、同じタスクマッピング $g_T$ によって誘発されるターゲットとペアリングされており、デモンストレーションが孤立して「正しい」ままであることを保証することである。

このフレームワークは 2 つの領域を含む：

ラベル更新摂動：タスクに関連する意味が変更され、ターゲットがタスクマッピングに従って再計算される（例：感情の文を肯定的から否定的に変更し、ラベルを更新する）。
厳密なターゲット保存摂動：元のターゲットは有効なままであるが、入力に気晴らしを追加したり順序を変更したりするように修正される（例：数学の問題に無関係な数値的事実を追加する、または論理的推論に気晴らしとなる前提を挿入する）。

著者らは、これらのタスク保存バリエーションに置き換えられた例示の割合を摂動率 $\rho$ と定義する。彼らは、その結果生じる失敗モードを文脈的証拠のシフトとして形式化する：摂動はモデルが推論に使用する実質的な証拠の混合を変化させ、基礎となるタスクマッピングが変更されていないにもかかわらず、モデルが推論する決定文脈をシフトさせる。

主要な貢献

正しさ - 有用性ギャップの特定：本論文は、デモンストレーションが正しさの条件（ $y_i = g_T(x_i)$ ）を満たしつつ、より広範な文脈との相互作用により負の有用性（クリーンなクエリにおけるリスクの増加）を持つことを確立する。
手法フレームワーク：制御された介入としてのタスク保存摂動の導入。ラベルやタスクの意味を変更する従来の敵対的研究とは異なり、この手法はタスクマッピングを維持し、入力分布のシフトが ICL にどのように影響するかを具体的にテストする。
理論的定式化：文脈的証拠のシフトの概念を定式化し、摂動が文脈的推論に使用される実質的な証拠の混合（ $m_\theta$ ）をどのように変化させるかを示す。これにより、名目上の摂動率と、摂動された証拠にモデルが割り当てる実効的な重みを分離する。

実験結果
著者らは、3 つのドメイン（感情分類：SST-2、論理的推論：ProverQA、数学の文章題：PROBLEMATHIC）において、オープンウェイトの指示チューニングモデル（Llama-2、Llama-3.1、Qwen2.5/3.5、Gemma-4）を評価した。

性能の低下：すべてのタスクにおいて、摂動率 $\rho$ を増加させることは ICL 性能を大幅に低下させた。いくつかの場合（例えば、小規模モデルを用いた SST-2）では、性能はゼロショットのベースラインを下回った。
モデル規模の感受性：低下は規模に強く依存していた。小規模モデル（例：7B–14B）は顕著な脆弱性を示したが、大規模モデル（例：70B+）は比較的安定していた。例えば、SST-2 において、Llama-2-7B の精度は摂動率 100% で 96.4% から 56.9% に低下したのに対し、Llama-3.1-70B は 100% 付近を維持した。
タスクの難易度：より困難なタスク（複雑な論理的推論や数学の問題など）は、特に小規模モデルにおいて摂動に対してより大きな感受性を示した。
位置効果：クエリに近い位置に配置された摂動（尾部摂動）は、強い最近性感受性を示す小規模モデルに対して不釣り合いに有害であった。注意マップの分析により、大規模モデルは初期のクリーンな例示への注意をよりよく再割り当てでき、証拠のシフトを緩和することが明らかになった。
対照実験：例示をタスク無関係な事実的文に置き換えた場合、軽度の低下しか生じなかった。これは、害がタスク有効だが分布的にシフトした証拠に由来し、一般的なプロンプトの混乱やタスク認識の失敗によるものではないことを確認した。

意義と主張
本論文は、堅牢な ICL には、デモンストレーションが正しいかどうかだけでなく、それらが文脈的推論にどのように影響するかを評価する必要があると主張する。著者らは、デモンストレーションセットの有効性は、個々の例の品質だけでなく、そのグローバルな構成と結果としての証拠の混合に依存すると主張する。

本研究は、例示の「正しさ」は局所的な性質であるのに対し、「有用性」は文脈依存であると結論づける。したがって、正しさや類似性のみに基づいて例示を選択する標準的な ICL パイプラインは、誤って有害な文脈的証拠を導入する可能性がある。著者らは、自らの研究を完全なメカニズム的説明ではなく、説明のための抽象化（文脈的証拠のシフト）として位置づけ、テキストのみの ICL や制御された摂動への焦点といった限界を指摘している。彼らは、将来の研究が正しさだけでなく有用性によってデモンストレーションを選択または重み付ける防御メカニズムを探求すべきであると提案している。