Behaviour Is an Incomplete Measure of Reasoning Development: Cross-surface pre-arrival accessibility and the limits of developmental inference in a recurrent-depth reasoner
本論文は、再帰的深度を持つ推論器において、内部の隠れ状態プローブが、観察可能な挙動として現れるずっと前から推論能力を検知できることを示しており、これにより、行動の閾値やデコーダーのアクセシビリティは、実際の推論の発達段階を示す不完全な指標であることが明らかになる。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能という急速に進化する分野において、研究者たちはしばしば根本的な問いに直面する。すなわち、「機械はいつ、実際に何かを学んだと言えるのか？」という問いである。長年、標準的な答えは行動主義的なものだった。もしコンピュータプログラムが、一度も見たことのない問いに対して正解を出すことができれば、そのために必要な推論能力を獲得したと私たちは仮定する。私たちは出力を、つまり最終的な答えを見つめ、その能力が存在すると宣言する。しかし、このアプローチは機械の精神をブラックボックスとして扱い、正しい答えが現れた瞬間に、それを導き出すための内部プロセスがちょうど完了したはずだと想定している。本論文は、機械が学習している最中にその内部を観察することで、この仮定に異議を唱える。つまり、機械が外部に能力を示すことが可能になるずっと前に、問題を解決する能力が内部に存在しているのではないか、という問いである。研究者たちは単に機械が何をするかを観察しているのではない。機械がまだ証明できていない段階であっても、機械が「何を知っているか」を測定しているのである。
その重要性を理解するために、新しい言語を学ぼうとしている自分を想像してみてほしい。語彙や文法規則を数ヶ月間暗記しても、依然として会話ができないかもしれない。あなたの発言だけを見ている教師は、あなたが何も学んでいないと結論付けるかもしれない。しかし、もしあなたの脳内を覗き見ることができたなら、言語のための神経経路はすでに形成されており、それらを結びつける最後の火花を待っている状態であることを発見できるかもしれない。これこそが、研究者たちが調査した「ギャップ」である。彼らは、家族の系図における関係性（誰が誰と親戚であるかなど）といった、連鎖的な関係を含む論理パズルを解くために設計された特殊なコンピュータモデルを構築した。彼らは2つの異なる方法でこのモデルを訓練した。一つは、関係性が抽象的で無意味な記号を用いて記述される方法であり、もう一つは、同じ関係性が英語のような文章を用いて記述される方法である。目的は、情報の提示方法によって学習速度が変化するかどうか、そしてモデルの内部状態が、その行動が示していない知識を明らかにしているかどうかを確認することであった。
結果は驚くべきものであり、直感に反するものだった。モデルを抽象的な記号で訓練した場合、わずか70回の訓練サイクルで3ステップの論理パズルを習得した。全く同じモデルを用い、全く同じ訓練計画で行ったにもかかわらず、英語のような文章で訓練した場合には、同じレベルの習熟度に達するまでに1万3千サイクル以上を要した。これは180倍以上の差である。しかし、文章で訓練されたモデルがようやく3ステップのパズルを解けるようになったとき、そのモデルは4ステップのバージョンをわずか8サイクルで解いた。これは、モデルが何千回ものサイクルを通じて、進歩が見られないように見える困難な局面を耐え抜き、その後、突然より難しい問題を解く能力を解禁したことを示唆している。もし研究者が最終的な答えだけを見ていたならば、彼らは、長い間失敗し続け、その後突然成功した機械を目にすることになり、苦闘の最中に起きていた内部的な発達の隠れた旅路のすべてを見逃していただろう。
これらの長く困難なサイクルの間に何が起きていたのかを知るために、研究者たちはモデルの「隠れ状態」——機械が思考するために使用するデータの内部表現——を調査した。彼らは、デコーダーとして機能するシンプルなツールである「線形プローブ（linear probe）」を用い、機械が実際に答えを出力する前に、正しい答えがすでに機械の精神の中に存在しているかどうかをチェックした。文章で訓練された表面上では、このプローブは、モデルが自力で正解できるずっと前から、将来の答えの正体を、小さくとも信頼できる信号として検出することができた。プローブは、モデルがまだ答えを表現できていないにもかかわらず、内部的にはその情報にアクセス可能であることを突き止めた。この内部的なアクセシビリティは偶然ではなかった。研究者が抽象的な記号に切り替えても、機械の処理における特定の時点において、同様の早期アクセシビリティのパターンが見られた。機械は答えに関する情報を内部に保持し、それを放出するための適切な瞬間を待っていたのである。
しかし、この研究は、この種の学習をどのように測定しようとするかという点において、重大な限界も明らかにしている。研究者たちは、この内部知識が時間の経過とともにどのように強まっていくかを正確に追跡し、機械の学習曲線のマップを作成したいと考えていた。しかし、彼らはすぐに、この特定の測定を正確に行うことは不可能であるという事実に気づいた。問題は、機械がテストされている質問のグループが変化し続けていることだった。機械が学習するにつれて、特定の質問に答える能力が高まり、それらの質問はテストグループから除外されていった。これは、機械の進歩を測定するという行為自体が、測定対象となる質問の集団を変化させていることを意味していた。それは、ランナーがどれだけ速くなっているかを、まだ走り終えていないトラックでのタイムだけで測定しようとするようなものである。ランナーが速くなるにつれてトラックが変わってしまうため、時間を追って公平に速度を比較することが不可能になるのである。研究者たちは、この特定の種類の測定が、機械が学習していなかったからではなく、追跡する方法自体が壊れていたために、根本的に欠陥があることを証明した。
本論文は、機械が何を学んだかを知るために、単一の方法に頼ることはできないと結論づけている。行動的な成功、すなわち正しい答えを与える能力は、観察可能な事実の一つに過ぎない。内部的なアクセシビリティ、すなわち答えを機械の内部から検出できることは、もう一つの事実である。そして、時間の経過に伴う実際の発展プロセスは第三の要素であるが、測定方法自体が条件を変化させてしまう場合、それを直接測定することはしばしば不可能である。研究者たちは、機械は内部的に能力を保持していることがあり、その能力への道筋は、問題がどのように提示されるかによって全く異なる姿を見せ得ることを発見した。最も重要なことは、単純に機械を観察することは、どれほど詳細に行おうとも、それが獲得した計算内容を理解するには不十分であるということだ。機械が何を学んだかを真に知るためには、観察を超え、介入を開始し、内部状態を直接テストして、それらが行動の実際の原因であるかどうかを確認しなければならない。それまでは、これらのシステムの内部的な生活は、たとえ最終的に正しい答えを出していたとしても、部分的に隠されたままである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。