Language Models Struggle to Use Representations Learned In-Context
大規模言語モデルがコンテキスト内の情報から新たな意味表現を符号化できるという証拠があるにもかかわらず、本研究は、オープンウェイトモデルと最先端のクローズドソースモデルの両方が、これらの学習された表現を効果的に活用して下流タスクにおける行動を適応させることに苦労していることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
「文脈内で学習された表現を活用することに言語モデルが苦労する」という論文について、簡単な言葉と比喩を用いて説明します。
全体像：メモが取れない「賢い生徒」
教室に座る天才的な生徒（AI）を想像してください。教師が黒板に、奇妙な記号を使った複雑で架空のルールを書き込みます（例えば、「インク」は「都市」を意味し、「おもちゃ」は「空気」を意味する、など）。生徒は黒板を見て、それを研究し、パターンの理解が完璧に見えるように見えます。
この論文の研究者たちは、次のことを知りたがっていました：生徒が黒板を見ている間にパターンを理解しているなら、黒板が消された後、新しい問題を解くためにその理解を実際に活用できるでしょうか？
短い答えは：いいえ、あまりできません。 生徒はその瞬間に「わかった」ように見えますが、それを使って新しい何かをするよう求められたとき、その知識を適用することに苦労します。
実験：3 つの異なるテスト
研究者たちは、AI モデルがこれらの新しい架空のルールを学習し、活用できる程度を調べるために、3 つの主要なテストを行いました。
1. 「記憶の小道」テスト（次のトークン予測）
設定： 無作為な単語でできた秘密の都市を歩くゲームを想像してください。「おもちゃ」から「インク」を経て「都市」へと歩きます。AI はこの経路を見ます。
ひねり：
- シナリオ A： AI が自分の応答の中に経路を書き込む（日記を書くようなもの）場合。次の単語を簡単に予測できます。
- シナリオ B： 教師（ユーザー）が経路を書き、その後、AI に間隔を置いてから次の単語を予測させる場合。
結果： シナリオ B では、AI は行き詰まります。まるで生徒が地図を勉強したものの、白い紙に次の通りを描くように求められたとき、地図の存在を忘れたかのようです。AI はパターンを学習しましたが、それを記憶から「引き出して」活用することができませんでした。
2. 「変形者」テスト（適応的ワールドモデリング）
設定： AI に、無作為な単語でできたグリッド（4x4 のチェス盤のようなもの）を通る無作為な歩行が示されます。その後、教師が「2 歩右に進む」のような新しいルールのいくつかの例を与えます。AI はこのルールを新しい単語に適用しなければなりません。
結果： AI はひどく失敗します。
- なぜ？ 研究者たちは AI の「脳」（内部の数学）を確認し、AI が実際にグリッドの形状を学習したことを発見しました。AI は地図を知っていました。
- 問題： 地図が脳内に保存されていたにもかかわらず、AI はその地図を使ってパズルを解くことができませんでした。まるでポケットに完璧な GPS を持っているのに、曲がる必要があるときに道順を読めないようなものです。知識は「不活性」でした。そこにはありましたが、そのタスクには役に立たなかったのです。
3. 「超思考者」テスト（推論モデル）
設定： 研究者たちは、同じテストを最新で最も強力な AI モデル（「推論モデル」）で行いました。これらは、答えを出す前に長い推論チェーンを書きながら「声に出して考える」ように訓練された AI です。
結果： これらのスーパーモデルはより良く機能しましたが、それでも完璧ではありませんでした。
- 彼らは、直線道路のような単純な 1 次元の線では優れていました。
- しかし、都市街区のような 2 次元のグリッドに直面すると、完全に崩壊しました。
- 「声に出して考える」際でさえ、彼らは学習した内部の地図を、使えるツールに変えることに苦労しました。彼らは尋ねられれば地図を記述できましたが、それを頼りにナビゲートすることはできませんでした。
核心的な発見：「不活性」な知識
この論文の主な発見は、著者たちが**「不活性な表現（Inert Representations）」**と呼ぶ概念です。
次のように考えてみてください：
- エンコーディング（符号化）： AI はスポンジのようです。新しい情報（水）を注ぐと、すぐに吸収します。水を保持します。
- デプロイメント（展開）： しかし、植物に水をやる（新しいタスクを解く）ためにスポンジを絞って水を出そうとしても、水が出てきません。
この論文は、AI が会話中に新しいパターンを脳に「エンコード（保存）」できるからといって、後でそのパターンを「デプロイ（活用）」して問題を解決できるわけではないことを証明しています。知識は閉じ込められています。
「思考する」AI はどうでしょうか？
研究者たちは、「声に出して考える（長い推論チェーンを書く）」最新モデルがこの問題を解決するかもしれないと期待していました。もし彼らが問題について話し合えば、閉じ込められた知識を解放できるでしょうか？
論文はこう述べています：部分的にはそうですが、実際にはそうではありません。
これらの高度なモデルは情報を活用する能力がわずかに向上しましたが、タスクが複雑になる（2 次元で移動するなど）と依然として大きく失敗します。彼らはまだ、文脈内学習を柔軟なツールに変えることに苦労しています。
結論
この論文は、AI モデルはその瞬間のパターン認識能力を向上させていますが、まだ「適応的なエージェント」ではないと結論付けています。彼らは会話から新しいルールを学習し、そのルールを即座に別の問題の解決に活用することはできません。
真に適応的な AI を構築するためには、その「絞り」のプロセスをどう機能させるか、つまり、AI がその瞬間に学習した知識を、次に直面するタスクで実際に有用なものにする方法を解明する必要があります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。