The Computational Boundary of Inference: Capability Internalization, Training, and the Turing Jump

この論文を、平易な言葉と日常的な比喩を用いて説明します。

大きな問い：システムは単に「より深く考える」ことで賢くなれるのか？

非常に賢いロボットがいると想像してください。人々は、このロボットが自分の間違いを繰り返し修正し続ければ、やがて私たちが想像もできない問題を解決できる超知能になると主張することがよくあります。その考え方はこうです：更新回数が増えれば、パワーも増す。

しかし、この論文はこう述べています：必ずしもそうではない。

著者の陸建平（Chien-Ping Lu）は、数学の厳密な規則（特に計算機科学の論理）を用いて、システムが単に内部的に「考える」ことや「修正する」ことだけで向上できるには、明確な限界（天井）があることを証明しています。その天井を超えるためには、何らかの別のことが起こらなければなりません。

以下に、論文が特定する向上の 3 つの異なる「モード」を解説します。

---

1. 「ループ」モード：有限な内部修正

比喩： 完璧なスープを作ろうとしている厨房のシェフを想像してください。シェフはスープを味わい、塩をひとふり加え、再び味わい、少し胡椒を加え、また味わいます。これを 10 回、そして 100 回繰り返します。

論文の主張：
シェフが最初から持っていた同じ材料と同じ基本的な調理スキルで作業している限り、どれだけ味わって調整を繰り返しても、元の材料では不可能だった新しい味を突然生み出すことはできません。

論文の数学的な言語では、これを有限な内部修正と呼びます。システムが能力の 1 つの「層」の中に閉じ込められている場合、プロンプト付け、再ランク付け、自己修正など、自身の更新を繰り返しても、その層から抜け出すことはできません。既存の能力をより良くすることはできても、質的に強くなることはできません。壁にぶつかるのです。

2. 「極限」モード：安定化した修正

比喩： 次に、シェフがスープを一度味わうだけでなく、完璧なレシピを推測するシミュレーションを実行すると想像してください。推測し、確認し、より良い推測をし、再度確認し、これを永遠に続けます。最終的に、その推測は変化を止め、ある 1 つの完璧なレシピに落ち着きます。

論文の主張：
これを安定化した修正と呼びます。論文は、システムがこのような「落ち着くまで無限に推測し続ける」ことを行う場合、実際にはより高いレベルのパワーへとジャンプすることを証明しています。まるで、シェフが突然、以前は見えなかった「完璧なレシピ」を見る能力を獲得したかのようです。

しかし、これは単なる「より多くの思考」ではありません。数学の世界では、この特定の種類の「落ち着き」は、パワーの巨大な飛躍（「チューリングジャンプ」と呼ばれる）と同等です。論文は、単に同じことを繰り返すだけではここには到達できず、特定の種類の「極限」プロセスを行わなければならないと主張しています。

3. 「アップグレード」モード：能力の内部化

比喩： シェフが、自分だけでは完璧なスープを作れないことに気づいたと想像してください。彼には、厨房の外にしか存在しない秘密のスパイスが必要です。

• ステップ A： 彼が人間（外部からのガイダンス）にスパイスを求めます。人間がそれを与え、シェフはスープを作ります。
• ステップ B： シェフは市場に戻り、そのスパイスを購入し、自分のエプロンに焼き込みます。今や、シェフ自身がスパイスなのです。もう誰かに頼る必要はありません。

論文の主張：
これが、真に新しい知性のレベルへと「昇華」する唯一の方法です。論文はこれを能力の内部化と呼びます。

• ガイダンス（スパイス）がシステム外部（人間の教師、報酬信号、検索ツールなど）から来る場合、システムは単にパワーを借りているに過ぎません。
• 永続的により強力なシステムになるためには、その外部からの助けを（トレーニング、再トレーニング、または微調整を通じて）「焼き込み」、システムの新しい、より強力なバージョンを創り出す必要があります。

論文は、古いシステムが単に問題について「考える」だけで、新しいより強力なシステムが得られるわけではないと主張しています。外部からの助けを取り入れ、それをシステムの新しい脳の一部として永続的に変換するプロセス（トレーニングなど）が必要なのです。

---

論文の 3 つの規則

1. 反復だけでは不十分である： システムを内部的に更新し続けるだけ（ロボットが自分のコードを修正するなど）では、同じ「パワー階層」にとどまります。ループを回すだけで、より高い階層へジャンプすることはできません。
2. 安定化はジャンプである： システムの修正が無限のプロセスを経て最終的な答えに「落ち着く」場合、その答えはより高いパワー階層に属します。しかし、これは単に「より頑張る」ことではなく、特定の数学的条件です。
3. トレーニングが架け橋である： 「弱い」システムから「強い」システムへ永続的に移行する唯一の方法は、以前はシステム外部にあったガイダンス（人間のフィードバックなど）を取り入れ、それを内部化して、新しいアップグレードされたシステムを構築することです。

論文が示す AI への示唆

この論文は、AI が賢くなれないと言っているのではありません。言葉の選び方に注意が必要だと言っているのです。

• こう言わないでください： 「AI は再帰的に自己改善しているため、やがて神のような存在になる。」
• こう言いましょう： 「AI は現在のスキルを洗練させています（これは良いことです）。しかし、新しい種類のより賢い AI になるためには、外部からのガイダンスを用いて再トレーニングを行い、より強力な基盤を構築する必要があります。」

この論文は、「より多くの反復」が自動的に「より大きなパワー」を意味するという考えに対する警告です。明確な線引きがなされています：箱の中で考えることと、より大きな箱を構築することは異なります。 より大きな箱を構築するには、外部から新しい材料を持ち込み、全体を再構築する必要があります。