Where Cognition Lives: Dissecting Emergent from Computed Function in a Minimal Complete Cognitive Architecture
本論文は、最小限のアーキテクチャにおける勾配降下法から中核的な認知能力は創発し得る一方で、適応的な停止や価値に基づくリソース配分といった重要なメタ認知機能は自発的には創発せず、大幅な性能向上を達成するためには明示的に計算されなければならないことを実証しており、実験結果は、ハイステークスなシナリオにおいて明示的な価値配分が滑らかな推定値によるものの最大7倍の利益をもたらすことを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
考える機械の構築を目指す中で、科学者たちは長い間、知性の火花が実際にどこから来るのかについて議論してきました。ある学派は、もし十分に大きなシステムを構築し、膨大なデータから学習させれば、推論や意思決定といった複雑な能力は、子供がバランスの仕組みを教わることなく歩き方を学ぶのと同じように、自然に現れるものだと信じています。対する見解は、思考とは注意深く設計されたプロセスであり、知覚、記憶、判断のための明確で専用のパーツを必要とするものであると示唆しています。それは、専門化された組立ラインを持つ工場のようです。長年、これは哲学的な綱引きとなってきましたが、ある新しい研究が、この議論を理論から実験室の現場へと移しました。研究者たちは、小さく完全な思考機械を構築し、そのすべてのパーツを厳密にテストすることで、各パーツが経験を通じて仕事を学んだのか、それとも明示的にプログラミングされる必要があったのかを検証することに乗り出しました。彼らの目的は、単に機械が問題を解決できるかどうかを見ることではなく、機械がいつ思考を止めるべきかをどのように決定したのか、どのようにタスクの重要性を判断したのか、そして自らの精神的エネルギーを管理することを学習できるのかどうかを、正確に理解することでした。
チームは、最小限ではあるが完全な認知システム、つまり、いくつかの主要なコンポーネントが連携して機能するデジタル脳を構築しました。その中心には、問題をステップ・バイ・ステップで解くことができるモジュールである「推論器」がありました。その周囲には、思考時間を決定するためのツール、エネルギーを管理するための制御システム、そしてタスクがどれほど重要かを判断するための価値モジュールが配置されました。彼らはこのシステムを、一連の論理パズル、具体的には標準的なコンピュータモデルでは行き詰まりやすい記号の再配置を含むタスクを用いて訓練しました。その後、研究者たちはこの機械のあらゆる部分に対して一連のテストを行い、各パーツに対して単純な問いを投げかけました。すなわち、「この能力は訓練プロセスから自然に現れたのか、それとも特定の、あらかじめ設計されたメカニズムによって計算される必要があったのか」という問いです。彼らが見出した答えは鋭く、しばしば驚くべきものでした。問題解決の能力は創発し得るものの、「いつ止まるべきか」および「どのように努力を配分すべきか」を決定する能力は、創発しないということを明らかにしました。
最も重要な発見は、機械がいつ思考を止めるべきかをどのように決定したかに関するものでした。多くの現代的な人工知能システムでは、モデルは必要な限り実行が許され、自信を感じたときにのみ停止します。研究者たちは、彼らのシステムも停止することを学習していることを見出しましたが、その能力は真のスキルではなく、測定上の錯覚であったことが判明しました。彼らが、いわゆる「賢い」バージョンが選択したのと全く同じ時点で機械に強制的に停止させたところ、パフォーマンスは同一でした。自己停止型の機械に見られた明白な優位性は、最終的な回答の読み出し方法における癖に由来するものでした。機械が自身の思考を監視することの価値は、この読み出し方法を修正すると、ほぼゼロにまで低下しました。どの特定のパズルが他のパズルよりも多くの時間を必要とするかを正確に知ることは、パフォーマンスにおいてわずか数パーセント未満の価値しかありませんでした。機械の内部モニターは、実際にはより良い決定を下していたのではなく、単にシステムが構築された方法の副産物であったのです。
これは、真の意思決定がどこに存在するのかという、より明確な全体像をもたらしました。研究者たちは、結果を重視するように訓練するだけで、機械が重要度の高いタスクを優先できるかどうかをテストしました。彼らは、訓練プロセスがむしろ機械を悪化させていることを見出しました。システムに回答の結果を重み付けするように教えると、混乱が生じ、精度が低下したのです。タスクに対してどれほどの努力を注ぐかを決定する能力は、学習プロセスからは全く創発しませんでした。代わりに、それは問題を見て努力レベルを決定する、明示的で別個の計算機によって計算される必要がありました。この「計算された決定」は、機械が自らタスクの価値を学習しようとするいかなる試みよりも、はるかに効果的でした。訓練によって形作られた機械の内部状態は、価値に基づいた決定を行うために必要な情報を自然に脱落させてしまい、明示的な計算機こそが仕事を遂行する唯一の手段として残されたのです。
この研究は、今日普及している大規模な言語モデルにこれらの知見がどのように当てはまるかを調査しました。研究者たちは、再学習不可能な、凍結された大規模な言語モデルを用い、同様の手法を用いて、モデルが自身の思考時間を制御できるかどうかをテストしました。彼らは、多くの異なる回答を生成して最善のものに投票するという一般的な戦略には、改善の余地がほとんどないことを見出しました。モデルは、間違っているときでも自分自身に同意する傾向があり、これは、より長く考えさせたり、より頻繁に投票させたりしても、ほとんど助けにならないことを意味します。先ほどの小さな機械と同様に、自身の思考を監視し、いつ止まるべきかを決定する能力は、ほとんど無価値でした。研究者たちは、これらの大規模モデルの思考を制御する方法を試みる前に、我々が持っている制御ツールが実際に機能しているかどうかをまず測定しなければならないと結論付けました。多くの場合、引こうとしているレバーは、機械を意味のある方法で動かすことはできないのです。
研究の最終章では、思考のコストが最後にまで隠されている、特定の種類の困難な問題――例えば、目的地に到着するまで距離がわからない道を歩くようなシナリオ――を探求しました。これらの「崖」のようなシナリオにおいて、研究者たちは、事前に決定することの価値が急上昇すると予測しました。彼らの予測は的中しました。開始前にタスクの価値を知ることは極めて重要となり、単に難易度を知る場合と比較して、パフォーマンスに劇的な向上をもたらしました。しかし、この向上は、機械が突然問題をより良く理解できるようになったからではなく、正解した場合の潜在的な報酬が非常に大きくなったために起こりました。研究は、問題の規模と情報の構造は別物であることを示しました。機械は新しい思考法を学ぶ必要はなく、単に高いステークス（賭け金）に対処するための、明確に事前計算された計画を必要としていたのです。
結局のところ、この研究の地図は、認知がどこに存在しないのかを示しています。それは、機械が自身の思考を監視する能力の中に存在するのではなく、また、タスクを重視することを教える訓練プロセスの中にも存在しません。むしろ、努力を管理し、何が重要かについての二次的な決定を下す能力は、別個の、明示的な計算として組み込まれなければなりません。機械はパズルを解くことを学習しますが、どれほど懸命に努力すべきかは、別のメカニズムによって告げられなければならないのです。研究者たちは、彼らの仕事の中で最も再利用可能な部分は、新しい種類の知能ではなく、何が現実であり、何が錯覚であるかを測定するための厳格な手法であることを見出しました。多くの想定された能力が、実は測定方法によるアーティファクト（人工的な産物）であることを証明することで、彼らは、真に考える機械を構築するための、より明確で誠実な基礎を提供したのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。