Activation-Based Active Learning for In-Context Learning: Challenges and Insights

あなたは、ある特定の種類のパズルを解く方法を、非常に優秀だが極めて新しい学生（大規模言語モデル）に教えようとしていると想像してください。教科書を丸ごと渡して勉強させる代わりに、テストの直前にいくつかの例題を与えます。これは**インコンテキスト学習（In-Context Learning）**と呼ばれます。

大きな疑問は、**「どの例題を選ぶべきか？」**ということです。もし「最高の」例題を選べば、学生の成績は上がります。しかし、悪いものを選んでしまうと、彼らを混乱させてしまうかもしれません。

大きなアイデア：学生の脳波に耳を傾ける

著者たちは、巧妙な仮説を立てました。「例題を見ている時の学生の脳活動を見ることで、それが良い例題かどうかを判断できるのではないか？」と考えたのです。

コンピュータの言葉では、これらの「脳波」はアクティベーション（活性化）と呼ばれます。モデルがある例題を処理するとき、その内部機構（具体的には、モデルの記憶バンクのような役割を果たすMLPレイヤー）がどのように光るかを測定します。研究者たちは、この光の強さを測定しようとしました。彼らはこう考えました：

• 光が明るい ＝ より重要で、質の高い例題。
• 光が暗い ＝ 退屈で、役に立たない例題。

彼らは、これらの「脳波の読み取り値」を使って、学生に最適な例題を自動的に選択しようと試みました。また、学生に例題をどのように見せるか（ページ全体を一度に見せるのか、あるいは一行ずつ読ませるのかなど）を変えることで、脳波のパターンが変化するかどうかについても検証しました。

実験：理論の検証

チームは大規模な実験を行いました。2つの人気のあるAIモデル（LlamaとQwen）を使用し、4つの異なる種類のタスクでテストを行いました。

1. 正誤問題（BoolQ）
2. 多肢選択式の科学問題（ARC-Challenge, OpenBookQA）
3. 数学の文章題（GSM8K）

各タスクについて、1,000個の潜在的な例題を用意しました。彼らは、さまざまな数学的ツール（平均的な明るさ、広がり、あるいは最大の一瞬の閃光などをチェックするなど）を用いて、それぞれの「脳波」（アクティベーション）を測定しました。その後、実際にモデルにそれらの例題を与えて、パフォーマンスがどうなるかをテストしました。

最後に、彼らは脳波スコアと実際のテストスコアを比較しました。彼らが探していたのは、強い結びつきです。「脳波が最も明るかった例題は、実際にモデルの成績を向上させたのか？」 ということです。

結果：「ネガティブな」発見

ここが結論です。うまくいきませんでした。

研究者たちは、脳波のパターンとモデルのパフォーマンスとの間に、ほとんど関連性がないことを見出しました。

• 相関関係は極めて弱く（良く言っても1.0に対して0.33という、関係性がかすかな囁き程度であるスコア）、
• 時には、「脳波が最も明るい」例題を選んだ方が、ランダムに例題を選んだ時よりもモデルのパフォーマンスが悪くなることさえありました。
• テキストの一部を隠してモデルの読み方を変化させる（マスキング）という手法を試したとしても、結果は同じでした。脳波は成功を予測できなかったのです。

なぜ失敗したのか？ 「重ね合わせ（Superposition）」の比喩

著者たちは、なぜこのようなことが起きたのかについて、**重ね合わせ（Superposition）**という概念を用いて理論を展開しています。

大勢の人が同時に話そうとしている、混雑した部屋を想像してみてください。普通の部屋であれば、誰かの声を聞きたいときは、その人の声に耳を傾ければ済みます。しかし、このAIモデルの「部屋」（その内部の次元）には、聞こうとする人数よりも多くの会話が行われています。

これらの会話を限られたスペースに収めるために、モデルはそれらを混ぜ合わせてしまいます。脳内の単一の「光」は、単一の特定の事実に関するものではなく、多くの異なる事実やアイデアが複雑に絡み合った混合物なのです。信号があまりにも乱雑に混ざり合っているため、生の「明るさ」を見ても、その例題が良いか悪いかを判断することはできません。それは、スムージー全体の色の見た目だけで、特定の材料の質を判断しようとするようなものです。色が混ざり合いすぎているため、中に何が入っているのか判別できないのです。

まとめ

この論文は、**「生の脳波測定値（MLPアクティベーション）を使って、AIにとって良い例題を選ぶことはできない」**と結論付けています。これは、この特定の手法においては行き止まりです。

しかし、著者たちは前進するための道筋も示唆しています。信号があまりにも混ざり合っているため、まずそれらを「解きほぐす」ための特別なツールが必要になるかもしれないということです。彼らは、**疎なオートエンコーダ（Sparse Autoencoders: SAEs）**と呼ばれるものの使用を提案しています。これは、部屋の中の絡まった会話を分離し、個々の声を実際に聞き取れるようにするための、洗練されたフィルターのような役割を果たします。このフィルターを手に入れるまでは、これらのアクティベーション信号に頼って例題を選ぶべきではありません。

要約すると： AIの内部的な「輝き」を利用して例題を選ぶというアイデアは素晴らしい理論でしたが、実験の結果、AIの内部信号は直接解釈するにはあまりにも乱雑であるため、実際には機能しないことが明らかになりました。