Supervised Training Rapidly Degrades Early Visual Cortex Alignment Across Biologically Plausible Learning Rules
本研究は、教師あり学習が人工ニューラルネットワークとヒトの初期視覚野との間のアライメントを急速に劣化させることを示しており、バックプロパゲーションのような大域的な誤差に基づく学習規則は、予測符号化やSTDPのような生物学的に妥当な局所的規則よりも著しく大きな混乱を引き起こすことから、未学習のアーキテクチャが誘導バイアスを通じて低次視覚統計量を本質的に捉えていることが示唆される。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
大きな驚き：「白紙の状態」は「訓練された状態」よりも脳に近い
想像してみてください。あなたは、新品の、まだ何も学習していないコンピュータの脳（ニューラルネットワーク）を持っています。それは、まるで絡まったイヤホンの箱のように、ただランダムな接続が積み重なっているだけの状態です。驚くべきことに、このコンピュータに画像を見せると、その「思考」（内部パターン）は、人間の脳（特に、単純な形や線を見る部分であるV1と呼ばれる領域）が同じ画像に対してどのように反応するかと非常によく似ています。
次に、このコンピュータの脳に、物体（猫、車、椅子など）を認識させるための訓練を開始したとしましょう。コンピュータが仕事に習熟するにつれて、人間と同じような考え方をするようになることを期待するでしょう。
この論文の衝撃的な発見はその逆です。 コンピュータの訓練を始めるとすぐに、それは人間のような思考を止めてしまうのです。実際、訓練を進めれば進めるほど、人間の視覚系の初期段階との類似性は失われていきます。
実験：4つの異なる学習方法
研究者のニルス・リューテンネッガー（Nils Leutenegger）は、なぜこのようなことが起こるのかを知りたかったのです。彼は、4つの異なる「学習ルール」（コンピュータが脳を更新する方法）をテストしました。これらを、4つの異なる「教え方」と考えてみてください。
- バックプロパゲーション（誤差逆伝播法 / BP）: 現在のほとんどのAIで使用されている、標準的で非常に効率的な手法です。これは、すべての生徒に対して正確な答えを知っており、クラスの最初の方までまで正確な修正メッセージを送る、厳格な教師のようなものです。
- フィードバック・アライメント（FA）: より「生物学的」な手法であり、修正メッセージは少し乱雑でランダムです。これは、誰が聞いているのか正確には分からずに、廊下に向かって修正を叫ぶ教師のようなものです。
- 予測符号化（Predictive Coding / PC）: 次に何が来るかを予測しようとし、間違いからのみ学習する手法です。これは、自分の予測が外れた時にだけ注意を払う生徒のようなものです。
- STDP（スパイク・タイミング依存可塑性）: タイミングに基づいた手法で、2つのニューロンが全く同時に発火した場合にのみ接続が強化されます。これは、「もしあなたと隣人が同じ瞬間に同じことをするなら、私たちは友達になろう」という、ローカルな近所付き合いのルールのようです。
何が起きたのか？ 「1秒での崩壊」
研究者は、これらのコンピュータが40ラウンド（エポック）の訓練を通じてどのように学習するかを観察しました。結果は以下の通りです。
1. 「厳格な教師」（バックプロパゲーション）が最も破壊的である
コンピュータが標準的なバックプロパゲーション法を使用したとき、人間の脳の初期視覚領域との類似性は、わずか1ラウンドの訓練で90%も急落しました。
- 例え話: 彫刻家（AI）が、すでに人間の顔に似た形をしている大理石の塊（ランダムな重み）から始めていると想像してください。「厳格な教師」は彫刻家に、「君は特定の『猫』に見えるように作る必要がある。人間の顔ではなく」と命じます。彫刻家は、猫に集中するために、即座に人間の顔の特徴を削り取ってしまいます。その結果、素晴らしい猫の像は完成しますが、それはもはや人間の顔には見えなくなります。
2. 「ローカル学習者」（予測符号化とSTDP）は維持する
より生物学的なローカル学習ルール（PCとSTDP）を使用しているコンピュータも、人間の脳との類似性は失われましたが、その減少ははるかに少なくなりました（約25〜30%のみ）。
- 例え話: これらの彫刻家たちは、猫を作るように言われていますが、目の前にあるものに基づいて小さな局所的な調整しか許されていません。彼らは猫を作り上げますが、大理石の塊が元々持っていた「人間の顔」の特徴を、偶然にも一部残してしまいます。
3. トレードオフ：初期視覚 vs 物体認識
脳の高次部分（複雑な物体を認識する領域であるLOC）には、意外な展開がありました。
- 「厳格な教師」（バックプロパゲーション）は、初期視覚の類似性を破壊しましたが、物体認識領域における類似性は実際に向上させました。
- 「ローカル学習者」は、初期視覚の類似性を維持しましたが、強力な物体認識スキルを構築することには失敗しました。
- 教訓: これはトレードオフであるようです。特定の物体（猫など）を認識するのが非常に上手くなるためには、AIは単純な線や形を見るという一般的な、人間らしい見方を犠牲にする必要があります。「厳格な教師」はこのトレードオフを積極的に強制します。一方、「ローカル学習者」は優しすぎて、切り替えを行うことができません。
なぜこれが重要なのか？
この論文は、ランダムな未学習のコンピュータが人間の脳に似ている理由は、それらが「そのように学習している」からではなく、その基本的な構造（構築のされ方）が、人間のV1と同じように視覚世界の統計的性質を自然に捉えているからであると示唆しています。
これらを特定のタスクに従事させるように訓練すると、私たちはその自然な構造を変えることを強いることになります。学習ルールがより「グローバル（全体的）」で精密であるほど（バックプロパゲーションのように）、タスク固有のスキルのためのスペースを作るために、脳のような構造をより積極的に消し去ってしまうのです。
まとめ（要約）
- 訓練前: ランダムなAIの脳は、驚くほど人間の脳に似ている。
- 訓練後: それらは人間の脳に似ていなくなる。
- 原因: 私たちがAIを訓練する標準的な方法（バックプロパゲーション）が、この「脳のような」性質を破壊する最も速い方法である。
- 教訓: 自然界は、脳の自然な構造をあまりに早く破壊してしまう「厳格な教師」（バックプロパゲーション）のような方法を使っているのではなく、代わりに、自然な形を維持しながら学習を進める「ローカル学習者」（予測符号化など）を使っている可能性がある。
重要な注意点: この論文は、これがAIを無用であると主張したり、AIの訓練をやめるべきだと示唆したりするものではありません。単に、私たちの脳がどのように学ぶか、そして現在のAIがどのように学ぶかという点における、特に初期の視覚処理に関する根本的な違いを指摘しているものです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。