Deep Learning Models Also Recall Features

現代の人工知能の背後にある強力なエンジンであるディープラーニング・モデルは、単純なパターンを積み重ねて複雑な概念を作り出す巨大なネットワークとしてしばしば説明されます。長年、科学者たちは「特徴量の結合（feature combination）」という特定の観点を通じて、これらのシステムを理解してきました。この見方では、ニューラルネットワークは建設作業員のように機能し、画像の「エッジ」や文章の「単純な音」といった基本的な構成要素を取り込み、それらを階層的に組み立てることで、「顔」や「単語」といった高次の概念へと作り上げていくと考えられています。この枠組みは、機械がどのようにパターンを認識するかを説明する上で非常に有用でした。それはまるで、子供がまず耳に気づき、次に毛並みに気づき、最終的に動物全体の形を認識することで、猫を識別することを学ぶ過程に似ています。しかし、この視点は、モデルが単にパターンを認識するだけでなく、あたかも特定の詳細な事実を何もないところから引き出してきたかのように見える瞬間を説明することに苦慮します。大規模言語モデルに対して有名な人物の伝記を書くよう求めたとき、その答えは質問の中に組み立てられるのを待って隠されているのではなく、モデルが保存された記憶を呼び出しているように見えるのです。ピエール・ベックマンによる新しい論文は、この呼び出し（リトリーバル）はパターン結合というルールの例外ではなく、これまで見過ごされてきた基本的かつ明確に異なる操作であると主張しています。ベックマンは「特徴量想起（feature recall）」という新しい概念を提唱し、ディープラーニング・モデルは入力を組み合わせるだけでなく、単一のトリガーに基づいて保存された情報を呼び出すライブラリとしても機能していることを示唆しています。

論文は、これらのモデルがどのように事実を扱うかを検証することから始まります。これは近年の研究ですでに観察されている現象ですが、従来の枠組みでは十分に説明されていません。そのメカニズムを理解するには、モデルの内部ワークスペースである「残差ストリーム（residual stream）」を見る必要があります。残差ストリームを、モデルによる文章や画像の理解がレイヤーごとに構築されていく、情報の連続的な流れだと想像してください。データがネットワーク内を移動するにつれ、システムの異なる部分がこの流れに対して小さな調整を加え、共有されたホワイトボードに新しい詳細を書き込んでいくように、効果的に情報を書き加えていきます。これらの調整は、モデルの内部空間における特定の方向によって導かれます。著者はこれを「スライダー」に例えています。各スライダーは、特定の人物や特定の物体といった特定の特性を表しています。モデルが入力を処理するとき、モデルはこれらのスライダーを調整し、何が存在しているかを反映するためにスライダーを上げたり下げたりします。

ベックマンの研究における決定的な洞察は、モデルがどのようにこれらのスライダーを使用して回答を生成するかという点にあります。特徴量の結合という伝統的な見方では、モデルは複数の入力を見て、それらを混ぜ合わせることで新しい出力を生成します。しかし、事実の想起の場合、プロセスは異なります。ここでは、特定の入力が、あらかじめ保存された情報のセットを解錠する「鍵」として機能します。論文はこれを「マイケル・ジョーダン」という名前の例で説明しています。モデルがこの名前に遭遇したとき、単に文字や音を組み合わせて新しいアイデアを作るのではありません。代わりに、「マイケル・ジョーダン」という特徴量の活性化が、モデルの重みの中に保存されている「バスケットボールをする」「シカゴ・ブルズ」といった関連する事実の直接的な呼び出しをトリガーします。モデルの重み（知識を定義する学習済みパラメータ）は、リポジトリ（貯蔵庫）として機能します。正しい特徴が活性化されると、それは保存された値の特定の行をスケールアップさせ、関連する事実を現在のコンテキストへと引き寄せます。これは特徴量の結合という構築プロセスとは明確に異なり、入力がシステム内に既に存在する情報のためのトリガーとして機能する、呼び出しのプロセスなのです。

ベックマンは、このメカニズムが言語モデルや人物に関する事実に限定されるものではないと主張しています。彼は、特徴量想起が、画像認識に使用されるものを含むすべてのディープラーニング・アーキテクチャに適用される一般的な操作であると示唆しています。これを実証するために、彼は呼び出しプロセスを、畳み込みニューラルネットワークが画像内の円を検出するという古典的な例と対比させています。そのシナリオでは、ネットワークは曲線や線といった低レベルの特徴を組み合わせ、形状を特定します。その場合、重みは何を探すべきかのパターンを定義します。しかし、特徴量想起においては、重みは一度パターンが見つかった後に「何を呼び出すか」を定義します。手書き数字の訓練を受けたモデルが円形の形状を検出した場合、その検出を利用して、その数字がおそらく「0」「6」「8」「9」のいずれかであることを想起するかもしれません。入力された特徴である「円」が、これらの具体的な可能性の呼び出しをトリガーするのです。論文は、特徴量の結合がモデルがいかに複雑さを構築するかを説明する一方で、特徴量想起はモデルがいかに膨大な情報をアクセスするかを説明し、それによって極めて乏しい入力から豊かで詳細な出力を生成することを可能にしていると断じています。

著者もまた、潜在的な混乱についても触れています。これらの操作の背後にある数学が二通りの見方をされるため、この区別は実在するのか、それとも単なる視点の問題なのか、という点です。数学的には、同じ計算が「入力を組み合わせるもの」としても「保存された行を呼び出すもの」としても記述できます。ベックマンはこの曖昧さを認めつつも、接続の構造に着目すれば、その区別には意味があると主張しています。彼は、接続がいかに集中しているかを測定することで、両者を区別する方法を提案しています。特徴量の結合では、多くの入力が単一の出力に寄与し、密な接続のネットワークを作り出します。一方、特徴量想起では、単一の入力が出力を支配し、一つのトリガーが特定の保存された関連性を引き出す疎な接続を作り出します。論文は、研究者がこの接続性の違いを用いることで、モデルのどの部分が検索システムとして機能し、どの部分が構築システムとして機能しているかを特定できる可能性があると示唆しています。これはまだあらゆるケースで完全に証明されているわけではありませんが、著者はそのようなテストをどのように実施できるかの概略を示しており、これらが真に別個の動作モードであるかどうかを判断するための将来の研究への道筋を提示しています。

技術的なメカニズムを超えて、この論文は、これらのモデルが何を「知っている」のかについての新しい考え方を提示しています。著者は、人間の記憶とモデルの内部状態の間にパラレル（類似性）を見出しています。彼は、トリガーされたときにのみ呼び出される重みの中に格納された情報は、「処分的な信念（dispositional belief）」――現在使用されていなくても存在する知識――に似ていると示唆しています。これは、モデルの現在の処理の中に存在する能動的な情報、すなわち「現時的な信念（occurrent belief）」とは対照的です。これらを区別することで、本論文は、哲学者や科学者が人工システムにおける信念と知識の性質をより良く理解するための枠組みを提供しています。それは、これらのモデルが単にその瞬間のデータを処理しているだけでなく、いつでも呼び出すことができる事実と関連性の「定常的な処分（standing disposition）」を携えていることを示唆しているのです。

結局のところ、この論文は、特徴量想起が特徴量の結合という概念に取って代わるものであると主張しているわけではありません。むしろ、それを不可欠な補完関係として提示しています。図書館には「本（保存された情報）」と「それらを読むプロセス（呼び出し）」の両方が含まれているように、ディープラーニング・モデルはおそらく、新しい入力を理解するために特徴量を組み合わせることと、詳細な応答を生成するために保存された特徴量を想起することの両方に依存しています。この研究は、パターンの構築を超えて、保存された知識の呼び出しを基本的な操作として認識するよう、研究者に促しています。そうすることで、これらのモデルがどのように学習し、どのように情報を蓄積し、そして私たちがどのようにその内部動作を解釈できるのかについて、新たな問いを投げかけています。この区別はさらなる実証的なテストを必要とする仮説ではありますが、高度なアプリケーションを特徴づける驚くべき詳細な出力を、人工知能がいかにして生み出しているのかについて、より明確で直感的なイメージを提供しています。