← 最新の論文
🤖 machine learning

Context Is King: How In-Context Specification Shapes the Geometry of Concepts

本論文は、大規模言語モデルにおける概念の幾何学的構造が、固定された事前学習済みの事前分布ではなく、インコンテキストの仕様によって動的に決定されること、そして、これらの事前分布を明確に上書きし、より大きなモデルにおいてのみ創発する課された幾何学を因果的に利用できる能力があることを実証している。

原著者: Elad David, Max Fomin

公開日 2026-07-28
📖 1 分で読めます☕ さくっと読める

原著者: Elad David, Max Fomin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む

あなたは、巨大で非常に賢いロボットがどのように思考しているのかを理解しようとしているところだと想像してください。長い間、科学者たちは、このロボットの脳内には、事実が詰まった巨大で不変の図書館があると考えてきました。もしあなたが「曜日の順番」について尋ねれば、ロボットは棚から、月曜日が火曜日の隣に座っている、あらかじめ用意された完璧な円形の図を取り出すはずです。もしあなたが「月」について尋ねれば、別の円形を取り出すでしょう。この考え方は、ロボットの脳が固定された地図のようなものであり、一度作られたら永遠に固定され、質問があるたびにそれを検索して待ち構えているものであることを示唆していました。

しかし、もしその図書館が、私たちが考えていたほど硬直したものではないとしたらどうでしょう? もしロボットが単に地図を検索するのではなく、あなたとの会話に基づいて、その都度新しい地図を「描いて」いるとしたら? これこそが、科学者たちが「大規模言語モデル(LLM)」と呼ばれる巨大なAIロボットについて問い続けている大きな疑問です。彼らは、ロボットの世界に対する理解とは、永続的に保存された事実なのか、それとも会話に応じて変化する柔軟な形なのかを知ろうとしています。この理解は、これらのロボットが本当に何かを「知って」いるのか、それとも単にその瞬間のルールに従うのが非常に上手いだけなのかを見極める助けとなります。


研究の大きな発見: 「コンテキストこそが王様(Context is King)」というルール

Zenityの研究チームは、このアイデアを検証するために、少しいたずら心のある面白い実験を行うことにしました。彼らはシンプルな問いを投げかけました。「もし、ロボットに対して世界の仕組みに関する全くの作り話のルールを教えたら、ロボットはそれを信じるのか、それとも以前に学んだことに固執するのか?」

彼らはGemmaやQwenといったモデル(これらは上述のロボットの非常に高度なバージョンのようなものです)を使用し、「再定義された」カレンダーを与えました。例えば、ロボットにこう伝えます。「おい、今まで知っていたことはすべて忘れろ。この新しい世界では、有効な順序は水曜日、次に月曜日、その次に金曜日だ。」彼らはロボットに学習のための例を与えませんでした。ただ、そのルールを事実として提示しただけです。

衝撃的な結果: ロボットは単にルールに従っているふりをしただけでなく、そのルールに合わせて実際に「脳を書き換えた」のです。

研究者がロボットの「精神」(具体的には、回答する直前に生成される数学的なパターン)の内部を調べたところ、驚くべきことが分かりました。ロボットは単に「水曜日、月曜日、金曜日」という言葉を発しただけではありませんでした。ロボットは、それらの日の概念を、新しいルールに一致するように、脳内に全く新しい形として配置していたのです。

  • 旧来の視点: ロボットは、固定された「日の円」を持っている。
  • 新しい視点: ロボットはその場で新しい形を描いている。もしあなたが日が円形であると言えば、それらは円になります。もし直線であると言えば、線になります。もし家系図であると言えば、木になります。

論文ではこれを 「コンテキストこそが王様(Context is King)」 と呼んでいます。最も重要なのは、ロボットが過去に学んだこと(「事前学習された事前知識」)ではなく、今まさにあなたに伝えられていること(「インコンテクストの仕様」)なのです。ロボットの脳は非常に柔軟であり、強力な新しいルールを与えられると、その新しい形が古い保存された構造を「支配」します。古い地図が永遠に消滅するわけではありません。それは依然として重みの中に存在し、実在していますが、コンテキストがそれに矛盾した瞬間、ロボットは新しい、コンテキストによって定義された地図へと切り替えるのです。

彼らがそれを証明した方法(「マジックトリック」)

ロボットが単にブラフ(はったり)をついているのではないことを確認するために、研究者は「因果的パッチング(causal patching)」実験を行いました。これは、あるキャラクターの脳を別のキャラクターと入れ替えて何が起こるかを見る、手品のような実験です。

  1. 彼らはロボットに、新しい奇妙な曜日の順序を教えました。
  2. 彼らは「月曜日」の「脳信号」を取り出し、それを「水曜日」の信号と入れ替えました。
  3. そして、ロボットに「月曜日の次は何か?」と尋ねました。

もしロボットが単に保存されたリストを検索しているだけなら、混乱するか間違った答えを出したはずです。しかし、ロボットはあなたのルールに基づいて「新しい地図」を構築していたため、その回答をしました。ロボットは、たとえ「月曜日」が「水曜日」のように振る舞っていたとしても、新しいルールで「月曜日の次」に来るものに基づいて回答したのです。これにより、ロボットが単に古い事実を暗唱しているのではなく、今作ったばかりの新しい形を実際に使用していることが証明されました。

落とし穴: ロボットの大きさに依存する

ここでひねりがあります。すべてのロボットが等しくこの能力を持っているわけではありません。研究者たちは、この「世界地図を完全に描き直す」能力が、ロボとのサイズに大きく依存していることを発見しました。

  • 大きなロボット(Gemma-31BやQwen-27Bなど): これらは超スマートなモデルです。彼らはあなたの新しいルールを聞き取り、古い地図を上書きし、完璧でクリーンな新しい形を描くことができます。直接的でシンプルなプロンプトにおいて、彼らはほぼ完璧な精度(テストで成功率100%)で新しい順序に従います。しかし、たとえこれらの大きなモデルであっても、タスクが難しくなったり(新しい順序の中で多くのステップを踏むなど)、あるいは厳格な指示なしに「自由形式」で思考することが許されたりすると、パフォーマンスが低下することがあります。
  • 小さなロボット(Gemma-2BやQwen-4Bなど): これらはより若く、小さなモデルです。彼らはルールを聞き取り、新しい形を描こうとはしますが、それは乱雑です。それは、震える手で完璧な円を描こうとしているようなものです。大まかな概念は掴めるかもしれませんが、完全に古い記憶を手放すことはできません。時には、混乱して古い思考法に戻ってしまったり、使える地図を構築することに失敗したりすることさえあります。

論文は、「新しい形を『構築する』こと自体は小さなロボットでも容易だが、その形を完璧かつクリーンに『使う』ことは、サイズと共にやってくるスキルである」と示唆しています。それは、子供が新しいゲームを学ぶことはできても、マスターだけがミスなく完璧にプレイできるのと似ています。

これが未来にとって何を意味するか

この研究は、AIに対する私たちの考え方を変えます。これは、これらのモデルが中にロックされた単一の固定された「世界観」を持っていないことを示唆しています。代わりに、彼らの世界に対する理解は流動的です。それは、背景に合わせて色を変えるだけでなく、あなたが語る「物語」に合わせて色を変えるカメレオンのようなものです。

もしあなたが有能なAIに対して「世界は平らだ」と言えば、そのAIは一時的に、世界が平らであるかのように思考を配置するかもしれません。もしあなたが「週の順番は家系図だ」と言えば、それは木を構築するでしょう。AIの中にある「真実」とは静的な事実ではなく、その時々の会話によって形作られる計算なのです。

研究者たちは、ロボットがどのようにしてゼロからこれらの形を構築しているのか、あるいは単に古い家具を並べ替えているだけなのか、その正確な仕組みまでは分かっていないと慎重に述べています。しかし、一つ明らかなことは、ロボットはあなたの話を聞いており、あなたの物語に合わせて自らの考えを変えているということです。あなたが提供するコンテキストこそが王様であり、ロボットはその忠実で、形を変え続ける臣下なのです。

自分の分野の論文に埋もれていませんか?

研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。

Digest を試す →