Reasoning Models of Artificial Intelligence Think Like Humans Do

何十年もの間、科学者たちは、明示的に教えられていない問題をどのようにして精神（マインド）が解決するのかについて議論を重ねてきました。子供が写真を見て車を識別することを学んだり、学生が正確な手順を示されることなく新しい数学の問題を解いたりするとき、それはしばしば、脳内に隠れた「派生した」つながりが突然現れたかのように感じられます。これらのつながりは、直接的な指導を経ることなく自然に発生するという理論もあります。しかし、別の視点では、強化の歴史なしに真に発生するものなど何一つないと主張されています。媒介理論（mediational theory）として知られるこの見解は、一見すると突然の洞察のように見えるものは、実際には一連の小さな中間ステップの結果であると提唱しています。これらのステップ――多くの場合、静かな言葉や心のイメージ――は、たとえ教師や研究者がそれを具体的に訓練する意図がなかったとしても、それ自体の結果によって練習され、強化されるのです。これは、精神が目に見えない強化された習慣を通じてアイデアの間の架け橋を築くのか、それとも何らかの神秘的な論理の飛躍を通じて築くのかという問いです。

この問いは最近、人間の行動研究を超えて、人工知能の核心へと移りました。クレアモント・グラデュエイト大学、フロリダ工科大学、およびカリフォルニア州立大学ロサンゼルス校の研究者による新しい視点は、最も高度なコンピュータプログラムが、行動科学者が長年主張してきたことを今まさに証明していることを示唆しています。現代の大規模言語モデルが複雑なタスクをどのように解決するかを調査することで、著者らは、これらの機械が答えへと直接跳躍するのではないことを示しています。その代わりに、彼らは人間が行う媒介理論に似た、ステップ・バイ・ステップのプロセスに従います。研究者たちは、これらのシステムに見られる「推論」は、魔法や知能の突然の創発ではなく、むしろ、人間が学習者が自身の内なる思考を強化するように、解決策への各中間ステップを強化する訓練の結果であると主張しています。

論文は、人が直接教えられていないものの間のつながりである「派生した関係（derived relations）」という概念を再検討することから始まります。伝統的な実験では、例えば子供は、車の絵が「車」という言葉と結びつくことを教えられ、その後、追加の訓練なしに、「車」を探すよう求められたときに、複数の物体の中から正しく車を指し示すことができます。これはしばしば「刺激等価性（stimulus equivalence）」と呼ばれます。著者らは、このつながりが未訓練である、あるいは強化されていないという考えに異議を唱えています。彼らは、子供が「車」という言葉を聞いたとき、心の中で、あるいは声に出してその言葉を繰り返しているのだと提案しています。この言葉を繰り返す行為は、媒介行動です。子供は車の存在下にいるため、「車」という言葉を言うことは、自分が聞いているものと自分が言っているものが一致することによって強化されます。この強化は、研究者がその言葉を言うことを明示的に報酬の対象として計画していなかったとしても、直接的に起こるのです。このつながりは謎ではありません。それは、子供自身の行動が環境によって強化された直接的な結果なのです。

著者らは、この論理をコンピュータがいかにして思考することを教えられているかへと拡張しています。初期の人工知能は、単純な予測機械のようでした。それらは文章を見て、慣れ親しんだフレーズの次の単語を推測するように、統計的なパターンに基づいて次の単語を予測していました。これらのシステムは質問に答えることはできましたが、問題を分解することなく、一度の素早いショットで行っていました。彼らには、複雑な問題を思考プロセスに分解する能力が欠けていました。「推論モデル」への移行は、エンジニアたちが、コンピュータに「解き方（過程）」を示すよう強制することがパフォーマンスを向上させることに気づいたときに起こりました。単に答えを与えるのではなく、コンピュータは思考の連鎖（chain of thought）、つまり解決策に至る一連のステップを生成するように促されるようになりました。このコンピュータの訓練方法の変化は、人間の媒介理論の行動と完璧に一致しています。

これらの推論モデルの訓練は、機械がどのように学ぶかを洗練させるための段階を経て行われます。まず、モデルは膨大な量のテキストにさらされ、言語の基本的なパターンを学びます。次に、人間の専門家によって提供される、役立つ回答や安全な回答を用いて微調整（ファインチューニング）されます。そして、この議論において最も重要なことに、モデルは強化学習を受けます。この段階では、コンピュータは単に最終的な答えが正しいか間違っているかだけでなく、そこに到達するために取ったステップについても評価されます。モデルが問題を正しく解いたとき、システムはその答えに至った一連のステップ全体を強化します。しかし、最終的な答えのみに報酬を与える標準的なモデルでは、システムは一連のプロセスを一つのグループとして強化するため、最終的な答えがたまたま正しかった場合に、誤ったステップまでもが強化されてしまう可能性があります。これに対処するために、各ステップの正確性を個別にチェックする特定の「プロセス報酬（process reward）」モデルが開発されました。これらの高度なシステムでは、もしあるステップが不正確であれば、たとえ最終的な答えが正しかったとしても、そのステップの確率は低下させられます。これにより、機械が偶然に正しい結論に到達するのではなく、正しい中間ステップを踏むように学習します。

研究者たちは、これが人間の問題解決の仕組みと全く同じであると指摘しています。人が困難な課題に直面するとき、通常、中断のない一連の爆発的な動きで最終的な答えを出すわけではありません。代わりに、彼らは問題を分解し、自分自身に語りかけたり、手順を書き出したりします。各ステップは次のステップへの手がかりとなり、解決策への進展によって強化されます。著者らは、コンピュータのエンジニアたちが、モデルが突然、自分の間違いをチェックしたり修正したりするようになったのを観察したとき、彼らはそれを「創発的（emergent）」な行動と呼んだと述べています。研究者たちは、これは誤用であると主張しています。強化されなかったものが創発したということはありません。モデルは、そうすることがより頻繁に正しい答えにつながるため、自分の仕事をチェックすることを学んだのであり、システムはそれらの一連の行動に報酬を与えたのです。「創発」とは、単に観察者の訓練履歴に関する知識の欠落に過ぎなかったのです。

コンピュータサイエンスと行動科学のこの収束は、強力な洞察を提供しています。これらのシステムを構築したエンジニアたちは、行動科学者と同じ結論に達しました。すなわち、複雑な問題を解決するための最も効果的な方法は、途中で強化される一連の媒介ステップを使用することである、という結論です。論文は、これが偶然ではなく、人間の脳であれシリコンチップであれ、問題が解決される際の根本的な真理であることを示唆しています。私たちがこれらの高度なモデルに見る「推論」は、目標に到達するために必要な中間的な行動を強化する訓練の履歴の結果に過ぎません。これを理解することで、人間と機械の両方において私たちが称賛する複雑なステップ・バイ・ステップの思考は、学習と強化という同じ基本原則の上に築かれていることが分かります。私たちの思考の謎は、隠れた論理の飛躍にあるのではなく、そこに到達するために私たちが踏み出す、静かで強化された一歩一歩の中にあるのです。