Testing History Dependence Between In-Context and In-Weights Learning
本研究は、学習の順序（異なる方向からバランスの取れた混合状態へと接近すること）が、インコンテキスト学習とインウェイト学習のメカニズムの強さに一過性的かつ測定可能な差異を生じさせる一方で、小規模なトランスフォーマーにおいては、持続的なヒステリシスや根本的に異なる因果回路構成をもたらさないことを示している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットにジョークの言い方を教える場面を想像してみてください。教え方には2通りあります。1つ目は、ロボットが話す直前に、いくつかの例を見せる方法です。これはテーブルの上に置いてある参照シートのようなものです。ロボットはその参照シートを読み、「今まさに」見ているものに基づいてオチを導き出します。これは**インコンテキスト学習（In-Context Learning）と呼ばれます。これは、ロボットがその場の状況に合わせて即興で考えているような状態です。2つ目は、ロボットがジョークを完璧に暗記するまで、何時間も練習させる方法です。そうすれば、もう参照シートは必要ありません。ジョークはロボットの脳に直接組み込まれた状態になります。これはインウェイツ学習（In-Weights Learning）**と呼ばれます。
長い間、科学者たちはこう疑問に思っていました。もしロボットに全く同じ組み合わせの参照シートと練習を与えたとしたら、ロボットは常に全く同じ方法で問題を解決するのだろうか？ それとも、そこに至るまでの「プロセス」が重要なのではないか？ ロボットはまず暗記することから始めて、それから参照シートを読み取るようになったのか？ あるいは、参照シートを読み取ることから始めて、それからジョークを暗記したのか？ この問いは**履歴依存性（history dependence）に関するものです。物理学の世界では、これはヒステリシス（hysteresis）**に似ています。例えば、磁石が引かれた方向を、力を止めた後でも覚えているような状態です。もしロボットの脳にヒステリシスがあるならば、その現在の状態は、今見ているものだけでなく、そこに至るまでの「経路」にも依存していることになります。AIモデルがこのような性質を持っているなら、現在のデータを見るだけではその挙動を予測できず、その訓練の全履歴を知る必要があるということになります。
この論文では、制御された小さなロボット（非常に小さなAIモデル）を用い、そのロボットがこのような「経路の記憶」を持っているかどうかを確認するための特定のテストを行っています。研究者たちは、ロボットが秘密のコードを当てるというゲームを設定しました。コードは、現在の文章に含まれる手がかり（参照シート）に依存する場合もあれば、以前に学習したルール（ハードワイヤードな記憶）に依存する場合もあります。彼らは、全く同じ地点に到達するように、2つの同一のコピー（ロボット）を訓練しましたが、それぞれ異なるルートを通らせました。一方のコピーは、ハードワイヤードなルールに焦点を当てることから始め、徐々に参照シートへと移行しました。もう一方は、参照シートから始めて、徐々にハードワイヤードなルールへと移行しました。
研究の結果、両方のロボットが全く同じ地点に到着したとき、彼らは全く同じ動きをしたわけではないことが分かりました。「ハードワイヤード」側から来たロボットは、「参照シート」側から来たロボットよりも、参照シートを使用する傾向がわずかに高かったのです。それはまるで、ルールから始まった方のロボットが、今同じ手がかりを見ているにもかかわらず、まだその考え方に少し「固執」しているかのようでした。この違いは、特定の尺度において約0.098ポイントという、実在し、測定可能なものでした。そして、これは行われた5つの異なる訓練実験すべてで見られました。
しかし、この「経路の記憶」は非常に短命なものでした。研究者たちが、その地点でロボットの訓練をもう少し長く続けたところ、わずか25ステップで差が反転し始め、消失しました。100ステップ後には、2つのロボットはほぼ同一の動きをしていました。「経路の亡霊」は消え去ったのです。
なぜこのようなことが起きたのかを理解するために、科学者たちはロボットの脳の内部を調べました。彼らは、両方のロボットが問題を解くために全く同じ内部パーツを使用していることを発見しました。彼らは異なる「回路」や新しい思考法に切り替えたわけではありません。むしろ、ハードワイヤード側から来た方のロボットが、参照シートを読み取る脳のパーツのボリュームを、わずかに上げただけだったのです。それは一時的なボリュームアップであり、配線そのものの永続的な変化ではありませんでした。
したがって、この論文は、AIモデルは確かにある地点に到達するまでの過程を一時的に記憶する可能性があるものの、それは一度入ると抜け出せなくなるような「ヒステリシス」のループではないことを示唆しています。それは、学習が進むにつれて落ち着いていく、一時的なラグやオーバーシュートのようなものです。この研究は、AIの挙動を真に理解するためには、その直近の履歴を見る必要があるものの、どのように訓練されたかによって、モデルが奇妙な状態に永遠に固執してしまうことを心配する必要はない、ということを示しています。モデルは最終的に追いつき、経路を忘れて、目的地だけに集中するのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。