📊 statistics

Vision Transformer Finetuning Benefits from Non-Smooth Components

本論文は、高塑性（滑らかさが低い）コンポーネント、具体的にはアテンション層およびフィードフォワード層の適応を優先することが、Vision Transformerのファインチューニング性能を大幅に向上させることを示しており、転移学習において滑らかさが常に望ましいという一般的な仮定に異を唱えるものである。

原著者： Ambroise Odonnat, Laetitia Chapel, Romain Tavenard, Ievgen Redko

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ambroise Odonnat, Laetitia Chapel, Romain Tavenard, Ievgen Redko

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

高度に訓練された専門家、例えば何千もの異なる料理を作ってきた熟練のシェフを想像してみてください。このシェフは、あなたのVision Transformer (ViT)、つまり画像を理解する強力なAIモデルです。そして、このシェフに、完璧な寿司を作るという新しい、特定のタスクを習得させたいとします。この専門家に新しいスキルを教えるプロセスは、**ファインチューニング（微調整）**と呼ばれます。

長い間、研究者たちは、このシェフにうまく教えるためには、その動きを滑らかで、安定していて、予測可能に保つ必要があると考えてきました。新しい食材に対して、穏やかに反応させたいと考えていたのです。しかし、この新しい論文は、この「滑らかさ」が、実はシェフの足を引っ張っている可能性があると主張しています。代わりに、この論文は、最も成功するシェフとは、少し荒削りで、反応的で、「プラスチック（可塑性がある）」（柔軟である）ことができるシェフであることを示唆しています。

以下に、シンプルな比喩を用いた彼らの発見の解説をまとめます。

1. コンセプト：滑らかさ vs 可塑性

AIモデルを、異なるパーツを持つ機械だと考えてください。

LayerNorm（ショックアブソーバー／緩衝装置）： これらのパーツはデータを平滑化し、何も極端に変化しないようにします。これらは車のサスペンションのようなもので、乗り心地を安定させます。
Attention Modules & Feedforward Layers（エンジンとステアリング）： これらは、実際にデータを見、何が重要かを判断し、出力を変化させるパーツです。

この論文では、**「可塑性（Plasticity）」**という概念を導入しています。

低可塑性（滑らか）： 車を押しても、ほとんど動きません。非常に安定していますが、新しい目的地へ素早くハンドルを切るのが困難です。
高可塑性（非滑らか）： 車を押すと、即座に、かつ劇的に反応します。動きが跳ねたり敏感だったりしますが、方向を非常に速く変えることができます。

2. 大きな発見

研究者たちは、新しいタスクを教える際にAIモデルのどの部分を更新すべきかを調べるために、1,000回以上の実験を行いました。そして、驚くべきパターンを発見しました。

「滑らかな」パーツ（LayerNorm）： これらは、更新するには実は最悪のパーツです。なぜなら、これらは安定し、変化しないように設計されているため、新しいことを学ぶことに抵抗を示すからです。これらを更新することは、ショックアブソーバーだけを調整することで車を操ろうとするようなもので、遅くて効果がありません。
「荒削りな」パーツ（AttentionおよびFeedforwardレイヤー）： これらは、更新するのに最適なパーツです。これらのパーツは高い可塑性を持っています。これらは本質的に敏感で反応的です。これらを微調整すると、モデルの挙動が迅速かつ効果的に変化し、新しいタスク（寿司作りのような）をより速く、より良く学習できるようになります。

3. 「損失景観（Loss Landscape）」の比喩

学習プロセスを、谷の底（最適な解）を探しているハイカーだと想像してください。

滑らかなコンポーネントは、平坦で泥だらけの平原を歩いているようなものです。小さく慎重なステップを踏みますが、動きは非常に遅くなります。小さな窪みにハマってしまい、本当の底にたどり着けないかもしれません。
高可塑性のコンポーネントは、急で岩だらけの斜面を歩いているようなものです。大きく大胆なステップを踏みます。多少つまずくこともあるかもしれませんが、素早く地面を移動し、より速く谷の底を見つけることができます。

4. 実務家への意味

もしあなたが、大規模なAIモデルを新しい仕事に適応させようとしているエンジニアなら、この論文は明確な経験則を与えてくれます。

「滑らかな」部分（正規化レイヤー）を更新することに時間を無駄にしないでください。 それらはあまりにも硬直しています。
エネルギーを「非滑らかな」部分（アテンション機構やフィードフォワードレイヤー）に集中させてください。 これらは、学習を駆動する、柔軟で反応的なパーツです。

まとめ

この論文は、古い考え方を覆します。私たちは以前、AIモデルを「滑らか」で安定させることが常に良いことだと考えていました。しかし、この研究は、新しいタスクを学習するためには、実際にいくらかの荒々しさと柔軟性が必要であることを示しています。変化に対して最も敏感な（可塑性が高い）AIのパーツこそが、最もよく学習するのです。

要するに： AIに新しい芸を教えるには、それを滑らかにしようとしてはいけません。すでに跳ねたり反応したりしているパーツに、重労働を任せましょう。

技術要約：非平滑なコンポーネントがVision Transformerのファインチューニングにもたらす恩恵

問題提起

Transformerアーキテクチャの平滑性（smoothness）は、汎化性能、学習の安定性、および敵対的堅牢性の観点から広く研究されてきましたが、その転移学習（ファインチューニング）における具体的な役割については、依然として十分に理解されていません。従来の仮説では、平滑性を促進すること（例：リプシッツ正則化による）は学習に有益であるとされています。しかし、基盤モデルをダウンストリームタスクに適応させるという文脈においては、過度な平滑性は、入力の変化に対して出力の変化を適応させるコンポーネントの能力を制約し、結果として性能を阻害する可能性があります。本論文は、**「ファインチューニングにおいて、どのTransformerコンポーネントを優先的に更新すべきか、そしてそれはなぜか？」**という問いに取り組んでいます。

手法

著者らは、**プラスチシティ（可塑性）**と呼ばれる新しい指標に基づき、Vision Transformer (ViT) のコンポーネントごとの体系的な分析を提案しています。

1. プラスチシティの定義

論文では、Transformerコンポーネント $f$ のプラスチシティを、入力摂動に対する平均変化率として定義しています。形式的には、コンポーネント $f$ と、異なるトークンシーケンスのペア $(x, y)$ 上の一様分布 $\nu$ に対して、プラスチシティ $P(f)$ は以下のように定義されます：
$P(f) = \mathbb{E}_{(x,y)\sim\nu} \left[ \frac{\|f(x) - f(y)\|_F}{\|x - y\|_F} \right]$

高いプラスチシティ ( $P(f) > 1$ ): 低い平滑性（非平滑）を示し、コンポーネントが平均的に入力の変化を増幅することを示します。
低いプラスチシティ ( $P(f) < 1$ ): 高い平滑性を示し、コンポーネントが入力を収縮させることを示します。

2. 理論的解析

著者らは、標準的なViTコンポーネントのプラスチティの理論的上界を導出しています：

LayerNorm: トークンの最小標準偏差の逆数と重みのノルムに依存するタイトな上界を持つことが証明されています。
フィードフォワード層 (FC): 重み行列のスペクトルノルムによって制限されます。
マルチヘッド・セルフアテンション (MHA): 重みのスペクトルノルムとシーケンス長 $n$ を含む項によって制限されます。解析の結果、MHAはLayerNormや線形層と比較して、より緩い境界（より高いプラスチシティの可能性）を持ち、特にシーケンス長が増加するにつれてその傾向が強くなることが示されました。

これにより、プラスチシティの理論的なランキングが得られます：MHA $\to$ FC1 $\approx$ FC2 $\to$ LN2 $\to$ LN1。

3. 実証的検証

プラスチシティの測定: 著者らは、事前学習済みViT（Base, Large, Huge）を用いて、11種類の多様な分類ベンチマーク（CIFAR, DomainNet, Flowers, Petsを含む）においてプラスチシティ指標を算出しました。さらに、この分析を自己教師あり学習モデル（DINOv3）およびLLM（GPT-2）にも拡張しました。
ファインチューニング実験: 特定のコンポーネントの影響を分離するため、著者らは86MパラメータのViTを用いて1,000回以上のファインチューニング実行を行いました。各実行では、特定の種類のコンポーネント（例：MHAのみ、FC1のみ、LN1のみ）のみを更新し、他のコンポーネントは凍結しました。
最適化: 実験は、学習率とランダムシードのスイープを行い、SGDとAdamの両方のオプティマイザを使用して、堅牢性を確保した上で実施されました。

主な結果

1. 実証的なプラスチシティのランキング

実験データは理論的なランキングを裏付けました。すべてのベンチマークおよびモデルスケール（ViT-BaseからViT-Huge、およびDINOv3やGPT-2への拡張）において：

MHA は一貫して最も高いプラスチシティ ( $P(f) > 1$ ) を示しました。
フィードフォワード層 (FC1, FC2) がこれに続き、高いプラスチシティを示しました。
LayerNorm (LN2, LN1) は最も低いプラスチシティ ( $P(f) < 1$ ) を示し、「硬直した」あるいは平滑なコンポーネントとして機能していました。

2. ファインチューニングの性能

コンポーネントごとのファインチューニング実験により、プラスチシティとダウンストリーム性能の間に直接的な相関関係があることが明らかになりました：

優れた精度: 高プラスチシティのコンポーネント（MHAおよびFC層）を適応させることは、低プラスチシティのコンポーネント（LayerNorm）を適応させるよりも、一貫して高いTop-1精度をもたらしました。
統計的有意性: 困難なデータセット（例：CIFAR-100, Sketch, Clipart）において、MHAおよびFC層はLayerNormを大幅に上回りました。例えば、小規模なデータセットでは、MHAのみをチューニングすることでフルファインチューニングのベースラインを上回ることもありました。
堅牢性: 高プラスチシティのコンポーネントは、学習率や初期化シードに対して高い安定性を示し、性能の分散が小さいことが示されました。
最適化のダイナミクス: 本論文では、高プラスチシティのコンポーネントが学習中により大きな勾配ノルムを生成し、それがより急峻な損失減少とローカルミニマへの高速な収束をもたらすことが観察されました。これは、勾配ノルムを制約し、最適化を遅らせる平滑なコンポーネントとは対照的です。

3. パラメータ効率の高い手法 (PEFT) との比較

高プラスチシティのコンポーネント（例：MHA）を選択的にファインチューニングすることは、LoRAのような一般的なPEFT手法と同等、あるいはそれ以上の性能を発揮することが判明しました。例えば、CIFAR-100において、Adamを用いたLayerNormのみのチューニングは、15倍少ないパラメータ数でありながらLoRAを上回りましたが、一般的にはMHAのチューニングが最良の結果をもたらしました。

意義と主張

本論文は、Transformerの機能的特性に関する新しい視点を提示しており、「平滑性が学習に普遍的に望ましい」という従来の常識に異議を唱えています。

パラダイムシフト: 著者らは、平滑性が事前学習における汎化と安定性に寄与する一方で、**非平滑性（高いプラスチシティ）**こそが、ファインチューニングにおける効果的な適応を可能にする決定的な要因であると主張しています。
実践的なガイダンス: 本研究は実務家に原理的な指針を提供します。パラメータ効率の良いファインチューニング戦略を設計する際、優先順位は正規化層ではなく、アテンションモジュールやフィードフォワード層に置かれるべきです。
理論と実践の架け橋: 本論文は、リプシッツ定数の理論的境界と経験的な最適化ダイナミクスをうまく結びつけ、「プラスチシティ」という性質が、モジュールのダウンストリームデータに関する情報を運ぶ能力と、勾配ベースの最適化を促進する能力を決定づけることを実証しました。

著者らは、非平滑なコンポーネントのプラスチシティを理解し活用することが、基盤モデルのためのより効率的な適応手法を設計する上で不可欠であると結論付けています。