🤖 machine learning

Can In-Context Learning Support Intrinsic Curiosity?

本論文は、インコンテキスト学習が内発的好奇心に基づくデータ選択のための高コストな勾配更新を代替できるかどうかを調査しており、不偏な学習進捗の推定が一般的なマルコフ決定過程においては不可能である一方で、能動学習やベイズ実験計画のような非時間的な設定においては達成可能であり効果的であることを証明している。

原著者： Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、一度も見たことがない部屋で謎を解こうとしている探偵だと想像してください。あなたにはノート（あなたの「世界モデル」）があり、そこで起きていることについて推測を書き留めています。謎を解く能力を高めるためには、次に何を見るべきかを決めなければなりません。

ランダムに変化する点滅する電球をじっと見つめるべきでしょうか？それとも、手がかりが入っているかもしれない鍵のかかった箱を調べるべきでしょうか？

この論文は、次のように問いかけています。「超スマートなAIは、自分の脳を絶えず書き換えなくても、好奇心を持って適切なものを見分ける方法を学ぶことができるだろうか？」

以下に、彼らの発見を簡単な比喩を用いて解説します。

1. 古いやり方：「脳の書き換え」問題

従来、AIに好奇心を教えるために、研究者は「学習進捗（Learning Progress）」と呼ばれる手法を用いてきました。

考え方: AIがあるものを見つめ、脳を更新（ノートを書き換え）し、その後でチェックします。「これを見た後で、理解度は上がっただろうか？」もし「はい」であれば、AIには「好奇心の報酬」が与えられます。
問題点: これを行うには、AIは一旦停止し、自分の頭の中で複雑な数学的シミュレーションを実行して脳を更新し、それから結果を確認しなければなりません。これは、新しい言語を学ぶ際に、一文話すごとに辞書全体を書き換えるために立ち止まるようなものです。大規模なAIモデルにとっては、あまりにも遅く、コストがかかりすぎます。

2. 新しいツール：「インコンテキスト学習（ICL）」（即席の天才）

著者らは、現代のチャットボットの背後にあるような、**インコンテキスト学習（In-Context Learning: ICL）**を備えた特殊なタイプのAIを使用しています。

比喩: 図書館にあるすべての本を読んだことのある天才を想像してください。彼に新しいことを教え込む必要はありません。代わりに、物語の数ページ（「コンテキスト」）を渡すだけで、彼らは次に何が起こるかを即座に理解します。彼らは脳を書き換える必要はなく、与えられた物語を使って予測を行うだけです。
目標: この「即席の天才」を利用して、エージェントが脳を書き換えるために立ち止まることなく、次に何を見るべきかを指示できるでしょうか？

3. 大きな発見：それは「部屋」次第である

この論文は、この「即席の天才」のトリックが、ある状況では機能するが、別の状況では失敗することを証明しています。

❌ 罠：「ノイズのテレビ」（一般的な環境）

雑多で複雑な世界（一般的なビデオゲームのような世界）では、即席の天才は騙されてしまいます。

比喩: 部屋の中に、砂嵐が流れているテレビがあると想像してください。単純な好奇心システムは、「わあ、あのテレビは予測不能だ！あれを見れば大きな報酬が得られるぞ！」と言い出します。
結果: AIは何も役に立つことを学ばず、永遠に砂嵐の前で座り込み続けます。論文は、これらの雑多な世界において、即席の天才を「ノイズを無視して本当の手がかりに集中させる」ように簡単に操ることはできないことを証明しています。数学的な仕組みとして、高価な脳の更新なしには成立しないのです。

✅ 成功：「制御された実験室」（ベイズ実験計画法）

しかし、あなたがさまざまな実験（薬のテストや暗号解読など）を行っている特定の種類の環境においては、このトリックは完璧に機能します。

比喩: あなたが実験室におり、ボールを落としてどこに着地するかを見ていると想像してください。「ノイズ（風や凹凸）」は、「手がかり（重力）」とは別物です。
結果: 著者らは、即席の天才を用いた新しい好奇心の測定法（ $r_{sum}$ と呼ばれる）を作り出しました。
- これはこう問いかけます。「もし私がこの特定のヒントを見ていなかったとしたら、実験の残りの部分に対する私の予測は、どの程度悪化していただろうか？」
- もし答えが「大幅に悪化する」であれば、AIは重要な手がかりを見つけたことを知ります。
- もし答えが「それほど変わらない」のであれば、それは単なるノイズであったことを意味します。

4. 実験：理論の検証

チームは、3つの異なる「部屋」でこれをテストしました。

地図作成者（ガウス過程）: 起伏のある地形の滑らかな地図を描こうとする試み。
- 結果: 古い手法（ノイズを見つめる方法）は惨めに失敗しました。新しい手法（ $r_{sum}$ ）は、起伏のあるノイズの部分をうまく無視し、滑らかで重要な部分に集中することに成功しました。
暗号解読者（マスターマインド）: 秘密の色のコードを推測しようとする試み。
- 結果: 「邪悪な」ランダムノイズをゲームに加えたとき、古い手法は混乱してランダムに動いてしまいましたが、新しい手法はコードを完璧に解き続けました。
錬金術師（アルケミー）: どのポーションが石を別の石に変えるのかを突き止めようとする試み。
- 結果: ここでも、新しい手法は偽のランダムな反応を無視し、真のルールを学習しました。

結論

この論文は、インコンテキスト学習は「内在的な好奇心」を支えることができるが、それは制御された実験設定においてのみであると主張しています。

できること: AIが、毎秒ごとに脳を再学習するために立ち止まることなく、どのデータが収集価値があるのかを判断できるようにします。
回避できること: AIがランダムな混沌に気を取られてしまう「ノイズのテレビ」問題を回避します。
制約: これは、AIが実験（科学者の実験のような独立した一連の実験）を行っている場合に最も効果を発揮します。ビデオゲームや自動運転車のような、混沌とした連続的な世界をナビゲートする場合には、まだ（少なくとも現時点では）適していません。

要するに、彼らは「先読み」のトリックを使ってAIに好奇心を持たせる方法を見つけましたが、それは現在、野生の探検家のためのものではなく、実験室の科学者のためのスーパーパワーなのです。

技術要約：インコンテキスト学習は内在的好奇心をサポートできるか？

問題提起
効果的な機械学習は、単にデータをモデル化するだけでなく、データの自動的な選択、すなわち「内在的好奇心（intrinsic curiosity）」と呼ばれるプロセスに依存しています。内在的好奇心の理論的なゴールドスタンダードは、環境の潜在パラメータ（ $\theta$ ）に関する観測から得られる期待情報量である**ベイズ情報利得（Bayesian Information Gain; BIG）**です。しかし、BIGの計算は一般に困難です。なぜなら、それは仮説空間に対する明示的なベイズ推論を必要とするからです。

古典的な代替案である**学習進捗（Learning Progress; LP）は、新しいデータの獲得後にワールドモデルの予測能力がどれだけ改善したかに基づいてエージェントに報酬を与えます。理論的には妥当ですが、従来のLPの実装には、軌跡の各ステップごとにワールドモデルの勾配降下更新を行う高価なインナーループが必要です。この計算上のボトルネックにより、大規模なシーケンスモデルにおけるLPの実装は非現実的となっています。本研究の中心的な問いは、シーケンスモデルがアモルタイズ（償却）された更新不要の予測器として機能するインコンテキスト学習（In-Context Learning; ICL）**が、明示的なパラメータ更新を行うことなくBIGを近似することで、内在的好奇りの報酬を計算するための実行可能なワールドモデルとして機能し得るかという点です。

手法
著者らは、事前分布 $p(\theta)$ からサンプリングされた環境と相互作用する方策 $\pi_\phi$ を持つ**ベイズ適応型マルコフ決定過程（Bayes-Adaptive MDP; BAMDP）**として設定を定式化しています。目標は、凍結された事前学習済みシーケンスモデル $\rho$ （インコンテキスト学習器）の予測誤差のみを用いて、相互情報量 $I(s_t; \theta | h_t)$ （BIG）を最大化することです。

著者らは、 $\rho$ から導出される3種類の内在的報酬を提案し、分析しています：

驚愕度（Surprisal; $r_{sur}$ ）: 観測の負の対数尤度、 $-\log \rho(s_t | h_t)$ 。
記述長減少（Description Length Reduction; $r_{dl}$ ）: 現在の遷移がモデルのコンテキストに含まれた場合の対数尤度の改善。これは理論的には、事後分布の反事実的な更新を必要とします。
累積将来改善量（Summed Future Improvement; $r_{sum}$ ）：現在の状態が観測された場合とマスクされた場合における、将来の全ステップでの予測誤差改善の望遠鏡和（telescoping sum）を測定する新しい報酬。これは以下のように定義されます：
$r_{sum}^t := \sum_{t'=t+1}^T [\log \rho(s_{t'} | h_{t'}) - \log \rho(s_{t'} | h_{t' \setminus t})]$
ここで、 $h_{t' \setminus t}$ は $s_t$ がマスクされた履歴を表します。

理論的分析は、これらの報酬が一般的なBAMDPにおいてBIGを不偏に推定できるか、あるいは制限された**ベイズ実験計画（Bayesian Experimental Design; BED）**の設定において実現可能かを判断するために行われます（BEDでは、アクションと潜在パラメータが与えられたとき、遷移は条件付き独立です。例：能動学習）。

主な貢献

一般的なBAMDPにおける理論的限界：
著者らは、一般的なB적으로BAMDPにおいては、インコンテキスト学習器のインターフェースを通じて実装可能な有限ホライゾンの報酬は、BIGの不偏推定量にはなり得ないことを証明しました。
- **驚愕度（ $r_{sur}$ ）**は、アレオリック・エントロピー（aleatoric entropy）（「ノイズの多いテレビ」問題）によってバイアスがかかることが示されており、学習可能な構造ではなく、予測不可能なノイズに対して報酬を与えてしまいます。
- **学習進捗（ $r_{dl}$ ）**は、モデルの事後分布を変更する必要があるため、標準的な凍結シーケンスモデルの予測インターフェースの外側にあり、一般にICLを通じて実装することはできません。
- 累積改善量（ $r_{sum}$ ）は実装可能ですが、持続的な「アブダクション（仮説的推論）」バイアス（現在の状態と次の観測との間の結合）および、軌跡の長さ $T \to \infty$ となるにつれてのみ消失する残留項に悩まされます。
ベイズ実験計画（BED）におけるポジティブな結果：
（遷移が $p(s_t | s_{t-1}, a_{t-1}, \theta) = p(s_t | a_{t-1}, \theta)$ となる）BED設定では、構造的な障害が消失します：
- $r_{sum}$ におけるアブダクション・バイアスは消失し、 $T \to \infty$ において漸近的に不偏な推定量となります。
- $r_{dl}$ は反事実的なアクションのコミットメント（アクションの再利用）を通じて実装可能となり、イェンセン・ギャップによって抑えられつつ、 $t \to \infty$ でBIGに収束します。
- 著者らは、BED設定において $r_{sum}$ が下界を、 $r_{dl}$ が上界をそれぞれ提供することを確立しました。
実証的検証：
実験は、ガウス過程（GP）関数推定、マスターマインド（コード解読）、アルケミー（規則発見）の3つの環境で行われました。
- ノイズへの堅牢性： これらの環境のノイズを含むバリアントにおいて、 $r_{sur}$ で訓練された方策は著しく失敗し、「ノイズの多いテレビ」問題のためにランダムなベースラインよりも性能が悪くなることが頻繁に確認されました。
- パフォーマンス： $r_{sum}$ および $r_{dl}$ で訓練された方策は、アレオリック・ノイズを無視してエピステミック（認識論的）な不確実性に集中することに成功し、タスク固有の報酬（ $r_{task}$ ）で訓練された方策と同等、あるいはそれを上回る性能を達成しました。
- モデルの効率性： 実験は、事前学習済みシーケンスモデル（Prior-Fitted Networks）が、これらの報酬に必要な複雑なベイズ・オラクルを効果的に近似できることを示し、内在的好奇心のためのICLの使用を検証しました。

意義と主張
本論文は、インコンテキスト学習者を用いた際の、予測ベースの内在的報酬とベイズ情報利得との関係についての、初の厳密な理論的特性付けを提供すると主張しています。ICLは、固有のバイアスやインターフェースの制限により、一般的な逐次的決定プロセスにおいてBIGを完全に複製することはできませんが、BED設定においては内在的好奇心を効果的にサポートできることを確立しています。

その意義は、高価な勾配ベースのワールドモデルの更新を回避し、計算効率の高い好奇心駆動型の探索への経路を示したことにあります。 $r_{sum}$ と $r_{dl}$ が、特定の（能動学習のような）関連設定においてBIGを漸近的に回復できることを証明することで、本研究は、大規模なシーケンスモデルがデータ収集の方策のための効果的な「ワールドモデル」として機能し、明示的なタスク定義やパラメータ更新なしにエージェントが最適に探索できることを示唆しています。著者らは、時間的構造を持つ一般的なBAMDPへの拡張は、さらなるアーキテクチャまたは手法の革新を必要とする未解決の課題であるとして、謙虚な姿勢を保っています。