A Commutator Framework for Selective Spectral Alignment in Deep Neural Networks

現代の人工知能の世界において、深層ニューラルネットワークは、膨大なデータからパターンを認識し、言語を翻訳し、結果を予測することを学習する強力なエンジンとして機能している。これらのシステムの核心には、生の入力を有用な情報へと変換する数学的操作のレイヤーが存在する。ネットワークが学習を進める際、それは単に答えを暗記するのではなく、内部構造を再形成し、世界の見方を整理していくのである。科学者たちは以前から、この学習プロセスによって、ネットワーク内に特定の種類の幾何学的な調和が生じると考えてきた。彼らは、ネットワークがエラーを感知するために用いる方向と、特徴量を蓄積するために用いる方向が、最終的には一致し、訓練が進むにつれて完璧に同期すると信じていた。「ニューラル・フィーチャー・アンザッツ（Neural Feature Ansatz）」として知られるこの概念は、訓練されたネットワークの内部幾何学は、すべての部分が一致して作用するという単純で予測可能な状態に自然に落ち着くと示唆していた。

しかし、カジ・ニストロムによる新しい研究は、この心地よい仮定に異議を唱えている。その研究によれば、訓練されたネットワークに見られる「整列」とは、学習における普遍的な法則でもなければ、誤差を最小化することの単純な帰結でもないという。むしろ本研究は、観察される調和とはしばしば脆い錯覚であり、互いに打ち消し合う可能性のある競合する力の繊細なバランスによって維持されているものであることを明らかにしている。著者は、これら異なる要素がいかに相互作用するかを追跡するための精密なフレームワークを開発することで、これらのネットワークの内部機構が、これまで考えられていたよりもはるかに複雑かつ動的であることを示した。研究結果は、実践的に観察される「アライメント（整列）」とは選択的な現象であり、特定の条件に依存しており、多くの場合、相反するメカニズムが互いを中和した結果であるということを示している。

研究者が発見したことを理解するためには、まずこれらのネットワークがどのように構築されているかを見なければならない。ニューラルネットワークは一連のレイヤーを通じて情報を処理し、各レイヤーは受け取ったデータを変換する。ネットワークが訓練されるにつれ、ミスを減らすために内部の重みを調整していく。これらの重みとともに、ネットワークは二つの主要な幾何学的構造を発達させる。一つ目の構造は、ネットワークの感度を表す。すなわち、入力への微小な変化が出力に対して最大の変化を引き起こす方向のことである。もう一つの構造は、ネットワークが学習した特徴量を表す。すなわち、データが実際に変動している方向のことである。長年、研究者たちは、訓練されたネットワークにおいてはこれら二つの構造が完全に並んでいるように見えることを観察してきた。これにより、ネットワークは自身の感性が学習した特徴と一致するように自律的に組織化されるのだという信念につながっていた。

ニストロムの研究は、この表面的な観察の下に潜り込み、これらの構造がどのように形成され、ネットワーク内をどのように輸送されるのかという実際のメカニズムを検証している。本研究は、これらの構造間の関係を、「コミュテーター（交換子）」と呼ばれる、それらがどれほど良く適合しているかを測定する一連の相互作用として扱うフレームワークを紹介している。研究では、このプロセスを三つの明確なレベルに分解している。第一レベルは、ニューロンの活性化とデータの幾表示との直接的な相互作用を見るもの。第二レベルは、出力から入力へと逆方向に進む際のネットワークの内部感度を検討するもの。第三レベルは、出力時に現れる最終的な特徴表現を見るものである。研究はこの三つのレベルが接続されていることは証明したが、それは一方が自動的にもう一方を強制的に整列させるような単純な一方通行の鎖ではない。

論文の中心となる発見は、内部の感性と学習された特徴量は、ネットワークが誤差を減らすように学習しているからといって、自動的に整列するわけではないということである。代わりに、本研究はあらゆるレイヤーの中に存在する四つの明確なミスマッチ（不整合）の源泉を特定している。これらの源泉には、より深いレイヤーからの情報の輸送、隣接するレイヤー間の不均衡、個々のデータポイントが処理される際の変動、そして活性化関数の非線形な相互作用が含まれる。研究は、これら四つの源泉が常に互いに争っていることを実証している。多くの場合、これらは大きく顕著であるが、反対の方向を向いており、事実上、互いに打ち消し合っている。この相殺が、基礎となる構成要素が高張力と葛藤の状態にあるにもかかわらず、小さく整然としたシステムとしての外観を作り出しているのである。

本研究は、数学的な証明とコンピュータ・シミュレーションの両方を用いて、この相殺が稀な偶然ではなく、訓練における持続的な特徴であることを示している。合成データおよび現実世界の回帰タスクを用いた実験において、研究者たちは、ネットワークが誤差を1000分の1に減少させたとしても、内部のミスマッチが必ずしも消失しないことを観察した。場合によっては、ミスマッチは安定する前に実際には増大することもあった。実験の結果、アライメントの程度はネットワークの幅や初期化の方法に強く依存することが示された。広いネットワークの方が内部のミスマッチが小さい傾向があったが、これは学習プロセスが無理やり整列させたためではなく、ネットワークの幾何学が特定のタイプのノイズをフィルタリングアウトした結果であった。

本研究の極めて重要な部分は、「バッファード（緩衝された）・ローカリゼーション」という概念に関わる。データを全体として見るのではなく、本研究はデータの幾何学の特定の部分に焦点を絞り、最も重要な方向と重要性の低い方向を分離している。この手法により、ネットワークの挙動が高度に選択的であることが明らかになった。ネットワークが最終的な出力において完璧に整列しているように見えながらも、依然として目に見えない形で重大な内部衝突を抱えることが可能なのである。本研究は、最終的な出力は内部状態のフィルタリングされたバージョンであり、そこでは特定の方向が抑制または増幅されていることを示している。つまり、よく整列した出力を観察することは、内部の仕組みもまた整列していることを保証するものではない。アライメントは、ネットワークの内部論理の真の収束ではなく、フィルタリング過程のアーティファクト（副産物）かもしれないのである。

また、論文は、実行される実際の関数を変えることなく、問題の数学的表現を変更した場合にネットワークがどのように振る舞うかについても探究している。重みを特定の 방식으로スケーリングすることにより、研究者たちは最初の関数を全く同じにしたまま、ネットワークの内部的不均衡を変えることができた。結果は、この表現の変化が、内部のミスマッチの源泉とその相互作用を劇的に変えたことを示した。ある設定では、ソース同士がほぼ完璧に打ち消し合った一方で、別の設定ではそうならなかった。この発見は、ネットワークの幾何学が単にデータやタスクの特性であるだけでなく、解を表現するために選ばれた具体的な数学的パラメータに深く結びついていることを強調している。

結局のところ、本研究は、深層ニューラルネットワークで見られるスペクトル・アライメントは、学習の普遍的な帰結ではないと結論づけている。それは、輸送、不均衡、変動、および相互作用の複雑な相互作用から生じる条件的現象である。見かけ上の秩序は、滑らかな単一の状態への崩壊ではなく、対立する力が均衡を取るダイナミックな平衡の結果であることが多い。本研究は、これらの相互作用を測定するための新しいツールを提供し、科学者が真のアライメントと、相殺によって作り出されたアライメントの錯覚を区別できるようにするものである。この区別は、これらの強力なシステムが実際にどのように学習しているのかを理解し、より堅牢で信頼性の高い人工知能を開発するために不可欠である。本研究は、深層学習の幾何学を真に理解するためには、最終的な出力を超えて、レイヤー内で起きている複雑で、時には矛盾さえ孕んだ諸力のダンスを注視しなければならないことを示唆している。