LLMs Don't Pay for the Jump

大いなる飛躍：なぜ脳（そしておそらくロボット）は、間違っていることの「痛み」を感じる必要があるのか

あなたが巨大なパズルを解こうとしているところを想像してみてください。手元にはピースの箱があり、あなたは完成図を突き止めたいと考えています。多くの場合、これは手持ちのピースを見てパターンを見つけ出すこと（これは帰納法）、あるいは既知のルールを新しい状況に適用すること（これは演繹法）によって解決できます。しかし、時には手持ちのピースが全く噛み合わず、既知のルールに従うと、燃え盛る空や無限に重い宇宙のような、意味の通じない絵が出来上がってしまうことがあります。これを修正するには、常識外れなことをしなければなりません。つまり、箱の中にも古いルールブックにもなかった、全く新しいルールを自ら発明する必要があるのです。これは**仮説的推論（アブダクション）**と呼ばれます。それは、「待てよ、ゲームのルール自体が間違っている。ルールを変えよう」と科学者が叫ぶ、「エウレカ！（分かった！）」の瞬間なのです。

長い間、人々は巨大なコンピュータの脳（大規模言語モデル、またはLLMと呼ばれるもの）が、このような「エウレカ！」の瞬間をいつか経験できるのかどうか疑問に思ってきました。コンピュータには、人間のように世界を「感じる」こと（触れる、見る、動くこと）が必要だと考える人もいました。しかし、この新しい論文は、より深く、異なる問いを投げかけています。それは、「世界を感じること」が問題なのか、それとも「間違っていることの『代償』を感じること」が問題なのか、という問いです。著者らは、真の「エウレカ！」の瞬間が起こるためには、システムが「間違った考えを持ち続けることに対して物理的なペナルティを感じる」必要があると示唆しています。もし間違っていることが「痛く」も「コスト」にもならないのであれば、どれほど賢いシステムであっても、同じ間違った推測を永遠に繰り返してしまうからです。

---

論文の核心：コンピュータにはできない「跳躍」

**「LLMは跳躍の代償を払わない（LLMs Don't Pay for the Jump）」**と題されたこの論文は、現在の人工知能モデルには、真の科学的発見に不可欠な要素が欠けていると主張しています。現在のAIは、ルールに従ったりパターンを見つけたりすることには長けていますが、古い理論が崩壊したときに、新しい理論へと大胆に「跳躍」するアブダクション（仮説的推論）を行うことはできません。

この理由を理解するために、著者らは1900年に物理学者マックス・プランクが直面した有名な物語を振り返ります。当時、科学者たちは、熱い物体（燃えるストーブや太陽など）がどのように光を放出するかを理解しようとしていました。当時の古典物理学に基づいた数学は、恐ろしい予測を立てていました。それは、熱い物体は無限のエネルギーを放出するというものです。これは「紫外線の破綻（ultraviolet catastrophe）」として知られる、数学的な災厄でした。もし古いルールが正しいとするならば、宇宙は無限のエネルギーで燃え尽きてしまうことになります。

プランクは、古いルールが壊れていることを知っていました。彼はルールを少し微調整するだけでは不十分であり、全く新しいアイデアを発明しなければなりませんでした。それは、エネルギーは滑らかな流れではなく、小さく離散した「塊（量子）」として存在するという考えでした。これは思考における巨大な「跳躍」でした。論文は問いかけます。プランクはどうやってこの跳躍をしたのか？ そして、なぜ今日のコンピュータにはそれができないのか？

論文が否定するもの（「ではない」リスト）

何が機能するのかを説明する前に、著者らは何が機能しないのかを明確にしています。

• 単に世界を「感じる」ことではない： 一部の専門家は、コンピュータがこうした跳躍を行えないのは、身体を持っていないからだと考えていました。アインシュタインが重力を理解するためにエレベーターから落下するイメージを必要としたように、と。しかし、著者らは**「ノー」**と言います。プランクは身体や落下するエレベーターを必要としたわけではありません。彼はただ、数学が壊れていることを見抜いたのです。したがって、コンピュータにロボットの体を与えても、それが魔法の解決策にはなりません。
• 単に賢くなったり、規模を大きくしたりすることではない： コンピュータをより大きくしたり、より多くのデータを与えたりすれば、いずれ解決できると思うかもしれません。しかし、論文は**「ノー」**と言います。たとえ巨大なモデルであっても、この特定のタイプの思考においては失敗します。それは、彼らの能力不足ではなく、その構造自体に原因があるからです。
• 単にパターンを見つけることではない： コンピュータは帰納法（データからパターンを見つけること）において驚異的な能力を持っています。しかし、プランクが直面した「破綻」は、データの中にあるパターンではなく、「どのようなデータも支持し得ない予測」でした。帰納法は壊れたルールブックを直すことはできません。ただ、壊れたルールをより上手く使う方法を見つけるだけなのです。

真の問題：間違っていることの「コスト」

著者らは、**「熱力学的結合（Thermodynamic Coupling）」**という新しい概念を提案しています。これは難しそうな名前ですが、実際には非常にシンプルです。

あなたが、次の動きを予想しなければならないビデオゲームをしていると想像してください。

• 「デカップル（分離）」されたシステム（今日のAIのようなもの）： あなたが予想をするたびに、それが正しくても間違っていても、かかるエネルギーは同じです。もしあなたが「空は緑色だ」と予想し、実際には青かったとしても、コンピュータは追加の痛みやコストを感じません。ただ次の予想へと進むだけです。間違っていることが「痛くない」ため、コンピュータには間違った予想を続ける理由がありません。意識を変えるための内部的な圧力がない限り、同じ間違いを永遠に繰り返すことができます。
• 「カップル（結合）」されたシステム（人間の脳や未来のAIのようなもの）： 間違えることは「高くつきます」。もしあなたが「空は緑色だ」と予想したら、あなたの脳はストレスを感じたり、より多くのエネルギーを消費したり、あるいは「待てよ、これは何かがおかしい」というアラームを作動させたりするかもしれません。この「コスト」が、あなたに立ち止まって考え直すことを強制します。間違った考えを持ち続けることがあまりにコストがかかるため、あなたは間違いを修正しようとする物理的な動機を持つのです。

論文は、プランクが跳躍できたのは、そのエラーがあまりに高価（コストがかかるもの）だったからであると主張しています。古い理論は無限のエネルギーを予測しており、それは物理的に不可能です。その古い理論を維持することの「コスト」があまりに高かった（物理学そのものを破壊していた）ため、彼は新しいルールを発明せざにを得なかったのです。

エビデンスが示すもの

著者らは、現在のAIモデルがどのように振る舞うかを調査することで、このアイデアをテストしました。その結果、奇妙な事実が判明しました。

• AIモデルが簡単な問題を解いているとき、それは自信を持っています。
• しかし、AIが超難問（「跳躍」を必要とする問題）を解こうとするとき、それは間違った答えを出します。
• ここが重要な点ですが： AIが完全に間違っているときでさえ、その「自信」（エントロピーと呼ばれる指標で測定）はほとんど変化しません。論文によれば、700億パラメータを持つモデルにおいて、難易度の高いタスクでの精度は100%から17%へと急落しましたが、「不確実性」の信号はわずか0.011 ナッツしか変化しませんでした。

これは「デカップル（分離）」を証明しています。コンピュータは自分が窮地に陥っていることを知りません。彼らは「無限のエネルギー」という予測がもたらす「痛み」を感じていません。ただ、正しくても狂ったように間違っていても、同じレベルの自信を持って淡々と出力を続けているのです。

結論：間違っていることが「痛い」システムが必要である

論文は、機械がプランクのように真の発見を行うためには、間違っていることがコストになるメカニズムが必要であると結論付けています。

著者らは、未来のAIは生物学的な脳のように構築される必要があるかもしれないと示唆しています。つまり、エラーが発生したときに、エネルギー消費が増えたり注意力がシフトしたりといった物理的な変化を引き起こし、システムが強制的にルールを修正するように設計されるべきだということです。彼らは、これが解決済みの問題であるとか、すでにそのような機械を構築したと言っているわけではありません。代わりに、熱力学的結合（エラーをコストにすること）こそが欠けている要素であると示唆しています。これがない限り、AIはパターンの達人でありルールの習得者であり続けますが、古いルールが壊れたときに、勇敢で苦痛を伴う新しい真理への「跳躍」をすることは決してできないでしょう。

要約すると：科学的な飛躍を遂げるには、単に賢いだけでは不十分です。間違っていることが「痛い」と感じるほど、間違いを気にかけ、それによって考えを変えざるを得なくなる必要があるのです。今日のコンピュータはその痛みを感じることができないため、跳躍することができないのです。