⚡ electrical engineering

Ubiquity of Emergent Hebbian Dynamics in Regularized Learning

本論文は、正則化された学習におけるL2重み減衰が、定常状態付近のシナプス更新において、ヘブ型または反ヘブ型の整列を一般的に誘発し、真のヘブ型可塑性を模倣するシグネチャーを作り出すことで、神経学習メカニズムの解釈を複雑にすることを実証している。

原著者： David Koplow, Tomaso Poggio, Liu Ziyin

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： David Koplow, Tomaso Poggio, Liu Ziyin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問い：脳はコンピュータのように「考えて」いるのか？

数十年にわたり、科学者たちは脳がどのように学習するかについて議論してきました。

旧来の見解： 脳は「ヘブ則（Hebbian learning）」と呼ばれる、単純で局所的なルールを用いて学習しているというものです。有名な言葉に、「共に発火するニューロンは、共に結びつく（Neurons that fire together, wire together）」があります。2つの脳細胞が同時に活性化すると、その間の結合が強まります。これは、純粋に生物学的で局所的なプロセスであると考えられてきました。
コンピュータの見解： 人工知能（AI）は、誤差を修正するためにシステム全体から計算を行う「勾配降下法（Gradient Descent）」という複雑な数学的手法を用いて学習します。これには問題に対する「グローバル（全域的）」な視点が必要ですが、多くの科学者は、脳には中央の「誤差信号」が存在しないため、脳にはこのようなことはできないと考えていました。

脳の中に「ヘブ的なパターン（物事が同時に起きたときに結合が強まる現象）」が見られるため、多くの人は、脳は必ず単純な局所的ルールを使用しており、AIのような複雑なグローバル最適化は行っていないはずだと想定してきました。

この論文は、トリッキーな問いを投げかけます： もしヘブ的なパターン（物事が同時に起きたときに結合が強まる現象）が見られたとしても、それは脳が単純なヘブ則を使っていることを「証明」しているのでしょうか？それとも、複雑なグローバル学習システム（AIのようなもの）が、偶然ヘブ則のように「見えている」だけなのでしょうか？

答え： それは「偶然」かもしれません。この論文は、複雑な学習システムが、実際にヘブ則を使用していなくても、ヘブ的な振る舞いを模倣することがよくあることを示しています。

主な発見：「綱引き」の比喩

著者らは、目に見える生物学的なルールとは、実は2つの相反する力のバランスの結果であることを提案しています。これを、滑りやすい斜面での**「綱引き」**に例えてみましょう。

1. 拡張する力（学習信号）

脳においてもAIにおいても、新しい情報に基づいて接続を強くしたり変化させたりしようとする力が存在します。

AIにおけるこれは、勾配（Gradient）（誤差を減らす方向）です。
脳におけるこれは、学習信号（ニューロンの発火）です。
比喩： ハイカーが丘を登ろうとしている様子を想像してください。彼らは前へと押し進み、自らの道を広げようとしています。

2. 収縮する力（重み減衰）

AIでは、モデルの数値を小さく保ち、数値が暴走するのを防ぐために、数値を常に小さくしようとするペナルティである**「L2重み減衰（L2 Weight Decay）」**という手法を用います。

比喩： ハイカーは、背後から常に自分を引き戻し、進路を縮小させようとする重いアンカー（錨）に繋がれている状態を想像してください。

結果：出現する「ヘブ的パターン」

この論文は、これら2つの力がバランスしたとき（ハイカーが上下に動くのをやめて、その場に留まったとき）、前への押し進む力（学習）は、必ず接続そのものの方向と一致しなければならないことを数学的に証明しています。

メタファー： あなたが重い箱（接続）を床の上で押していると想像してください。同時に、あなたはロープによって後ろへと引かれています。その場に留まるためには、あなたの「押す力」は、箱がすでに面している方向と完全に一致していなければなりません。
驚き： この整列（アライメント）は、まさに「ヘブ則」（接続を強めること）と全く同じように見えます。しかし、それは脳がヘブ則を使うと決めたからではなく、**「力のバランスを取るという数学」**が、システムをそのように見えるよう強制しているのです。

重要なポイント： あなたは、複雑なグローバル誤差修正を行っているシステムの中に、「ヘブ的」なパターンを見ることができます。そのパターンは、根本的なメカニズムではなく、**「創発的なシグネチャー（特徴的な兆候）」**なのです。

逆転の展開：ノイズは逆（アンチ・ヘブ的）を生む

この論文は、**ノイズ（ランダム性）**についても考察しています。

脳には常に電気的なノイズが存在します。AIには、データの処理方法におけるランダム性（確率的勾配降下法など）が存在します。
比喩： ハイカーが、非常に風の強い嵐の日にいると想像してください。風（ノイズ）が彼をランダムに吹き飛ばしています。
結果： 風が十分に強ければ、ハイカーを接続とは「逆の方向」へと押しやります。これが、**アンチ・ヘブ的（Anti-Hebbian）**なパターン（同時に発火したときに接続を弱める現象）を生み出します。

トレードオフ：
論文は、単純な「転換点」を見出しています。

強い重み減衰＋低いノイズ ＝ ヘブ的（強化）に見える。
弱い重み減衰＋高いノイズ ＝ アンチ・ヘブ的（弱体化）に見える。

これは、なぜ脳の中で両方のタイプの可塑性が見られるのかを説明しています。それらは2つの異なる生物学的ルールではなく、単一の学習システムが、異なるレベルのノイズや安定性に反応している結果なのかもしれません。

なぜこれが重要なのか（論文による主張）

結論を急がないこと： 脳の実験で「ヘブ的」なパターンを測定したからといって、それが脳は単純な局所的ルールを使っていることを証明するわけではありません。それは、単に力のバランスを取っているだけの、複雑なグローバル学習システム（バックプロパゲーションのようなもの）である可能性があります。
共存： 脳は、複雑なグローバル学習と単純な局所的ルールの両方を同時に使用している可能性があります。「創発的な」ヘブ的シグネチャーは、それらを区別することをより困難にします。
新しい実験の必要性： 「真の」ヘブ則と、この（力のバランスによって生じる）「偽の（創発的な）」ヘブ則を区別できるような実験を設計する必要があります。

一文でのまとめ

この論文は、「共に発火するニューロンは、共に結ぶ」というヘブ的なパターンは、根本的な生物学的法則ではなく、生物学的または人工的な学習システムが、学習の推進力と安定性を維持するための制御との間でバランスを取ろうとする際に発生する、数学的な副作用である可能性があると主張しています。

技術要約：正則化された学習における創発的ヘブ則ダイナミクスの普遍性

問題提起

計算神経科学における中心的な問いは、ヘブ型（Hebbian）または反ヘブ型（anti-Hebbian）の可塑性の観察が、必ずしも基礎となるヘブ型の計算を意味するのかどうかである。伝統的に、生物学的学習は局所的な相関に基づくルール（例：スパイクタイミング依存可塑性）によって駆動されると見なされる一方、人工知能はグローバルな勾配ベースの最適化（例：SGD）に依存している。ヘブ型のシグネチャ（特徴）の存在は、勾配降下法が非局所的な誤差信号を必要とするため、グローバルな誤差駆動型最適化に対する証拠として機能すると考えられてきた。

本論文はこの識別可能性の問題に取り組んでいる。ヘブ型／反ヘブ型の構造を観察することは、必ずしもメカニズムとしてのヘブ型学習ルールを意味するのか？著者らは、その答えは「ノー」であると主張する。彼らは、ヘブ型および反ヘブ型のシグネチャは、メカニズムとしてのヘブ型プロセスを必要とせず、定常状態付近における正則化された勾配ベースの学習の副産物として創発し得ると論じている。

手法

著者らは、正則化とノイズが学習信号とどのように相互作用してヘブ型のようなダイナミクスを生み出すかを実証するために、理論的解析と経験的検証の両方を用いている。

理論的枠組み

定常性と重み減衰（Weight Decay）: 著者らは、定常点（収束）付近での学習ルールの挙動を分析している。彼らは、一般的な重み更新ルール $\Delta W = g(x, \theta) - \gamma W$ を検討する。ここで、 $g(x, \theta)$ は任意の学習信号（例：勾配）であり、 $\gamma W$ はL2重み減衰を表す。
アライメント（整列）の導出: システムが定常状態に近い（ $E[\Delta W] \approx 0$ ）と仮定することで、期待される学習信号 $E[g(x, \theta)]$ が近似的に $\gamma W$ と等しくなることを導出した。標準的な仮定（例：等ノルム表現）の下では、ヘブ型更新の方向は $W h_a h_a^\top$ （ここで $h_a$ はシナプス前活動）に比例するため、学習信号は数学的にヘブ型の方向へと強制的に整列する。
ノイズと反ヘブ型ダイナミクス: 著者らは、解析を確率的ノイズへと拡張した。彼らは、学習信号における強い確率的摂動（ノイズ）が、反ヘブ型のアライメントを誘発することを示した。彼らは、ノイズ強度（ $\sigma^2$ ）と重み減衰（ $\gamma$ ）のバランスが、システムがヘブ型または反ヘブ型のシグネチャを示すかどうかを決定する位相境界を導出した。具体的には、ノイズが支配的な場合、アライメントは負（反ヘブ型）になり、重み減衰が支配的な場合、アライメントは正（ヘブ型）になる。

経験的検証

著者らは、様々なタスク、アーキテクチャ、および学習ルールを用いて、これらの理論的主張を検証している。

タスク: CIFAR-10 分類および合成非線形回帰（学生・教師モデル）。
アーキテクチャ: 様々な活性化関数（ReLU, Tanh, Sigmoid）を持つ多層パーセプトロン（MLP）およびトランスフォーマー（Transformer）。
学習ルール: 標準的な SGD、Adam、Direct Feedback Alignment (DFA)、および「RandomNN」（学習を行わない決定論的なランダム誤差信号を用いた構成）。
指標: 学習信号（または完全な更新）と、理論的なヘブ型更新方向（ $h_b h_a^\top$ ）との間のコサイン類似度（フロベニウス内積）。

主な貢献

創発的ヘブ型メカニズム: 本論文は、L2重み減衰が、定常状態付近において多くの更新ルールの学習信号成分を、ヘブ型の方向へと汎用的に駆動させることを確立した。このアライメントは、重み減衰の強さに伴って単調に増加する。
創発的反ヘブ型メカニズム: 著者らは、十分に強い確率的ノイズがこのシグネチャを反転させ、反ヘブ型のアライメントを誘発できることを示した。これにより、ノイズと重み減衰の比率に基づく、ヘブ型と反ヘブ型のレジーム間の予測可能なトレードオフと位相境界が作成される。
ルールの普遍性: この現象は、特定の学習アルゴリズムに依存しないことが示されている。重み減衰が存在する限り、SGD、Adam、DFA、さらには（伝統的な意味での学習を行わない）「RandomNN」においてもこの現象が現れる。
過渡的ダイナミクス: 本研究は、ヘブ型のアライメントが最終的な定常状態に限定されないことを特定した。「初期のアライメント・バンプ（隆起）」は、初期化や学習率に依存して訓練の初期段階で発生し、個々のニューロンは定常状態の訓練中にヘブ型と反ヘブ型のフェーズ間を行き来する振動を示す。

結果

重み減衰の相関: 分類および回帰タスクにおいて、重み減衰を大きくすると、学習信号とヘブ型更新の間の正のアライメントが一貫して高まる。この傾向は、異なる活性化関数やネットワークの深さにおいても保持される。
ノイズのトレードオフ: 回帰タスクにおいて、ノイズ強度を高めるとヘブ型のアライメントが減少し、最終的に反ヘブ型のアライメントを誘発する。これらのレジーム間の位相境界は、理論的予測と一致する二次的な関係（ $\gamma \propto \sigma^2$ ）に従う。
RandomNNによる検証: 純粋にランダムで学習を行わない更新信号を用いるモデルであっても、重み減衰が適用されるとヘブ型のアライメントを示す。これは、この効果が学習アルゴリズム自体の特性ではなく、正則化制約の特性であることを裏付けている。
汎化: 論文では、最高の汎化性能を示す解は、平均的なヘブ型または反ヘブ型のアライメントが低い傾向にあることが指摘されており、「最適」なレジームはこれら二つの極端の間にあることを示唆している。

意義と主張

著者らは、本研究を神経生理学的データの解釈に対する置き換えではなく、注意喚起（cautionary note）として位置づけている。

生物学的データの再解釈: シナプス測定においてヘブ型または反ヘブ型のシグネチャが存在することは、脳がメカニズムとしてのヘブ型ルールを使用していることを一意に証明するものではない。これらのシグネチャは、グローバルな最適化プロセス（勾配降下法のようなもの）が恒常性メカニズム（重み減衰のようなもの）によって制約を受けた際に生じる、創発的な特性であり得る。
共存: 著者らは、メカニズムとしてのヘブ型可塑性と、創発的なヘブ型ダイナミクスは共存し得ると主張している。本研究の結果は、シナプス測定の解釈を複雑にするものであり、真のヘブ型計算と、正則化から生じる創発的なシグネチャを区別できる実験の設計を促すものである。
理論的架け橋: 本研究は、機械学習の最適化ダイナミクスと生物学的可塑性との間の理論的な繋がりを提供しており、「膨張する力と収縮する力のバランス」（ヘブ型の膨張 vs ホメオスタシスによる収縮）が、生物学的システムと人工的システムの双方において安定性を支配する普遍的な原理であることを示唆している。

結論として、真のヘブ型プロセスは脳内で起こっている可能性が高いものの、正則化された学習における創発的なヘブ型ダイナミクスの普遍性は、そのようなパターンを観察することが、生物学的システムにおけるグローバルな誤差駆動型学習メカニズムを排除するための十分な証拠にはならないことを示唆している。