Each language version is independently generated for its own context, not a direct translation.
🏭 巨大な画像認識工場：ViT（ビジョン・トランスフォーマー）
まず、この AI モデルを想像してください。
これは、入力された画像を処理する**「巨大な工場の生産ライン」**です。
- 原材料（入力画像）： 工場に入ってくるのは、生々しい写真（画像）です。
- 工程（レイヤー）： 写真は何十もの工程（レイヤー）を通って加工されます。
- 最初の工程では「これは四角い形だ」「これは赤い色だ」といった基本的な特徴を捉えます。
- 途中の工程では「これは猫の耳だ」「これは車輪だ」といった中級な特徴を組み立てます。
- 最後の工程（最終レイヤー）では、「これは猫だ」「これは車だ」と最終的な答えを導き出します。
通常、私たちはこの工場の**「出口（最終工程）」**で取り出された答えを信じています。「最終工程が一番完成度が高いはずだ」と考えるのが普通だからです。
🌪️ 問題：工場が「知らない土地」に連れて行かれると
しかし、この工場には大きな弱点がありました。
- 訓練データ（ID）： 工場は「ImageNet」という、何百万枚もの一般的な写真で訓練されました。ここでの生産は完璧です。
- 現実のトラブル（OOD：分布のずれ）： しかし、現実世界では、雪が降っている写真、ぼやけた写真、あるいは全く違うスタイルの絵（スケッチ）などが送られてくることがあります。これを**「分布のずれ（Distribution Shift）」**と呼びます。
これまでの常識：
「最終工程（出口）が一番良いはずだ」と信じて、そこで答えを出していました。
この論文の発見：
「いやいや、工場が知らない土地（雪やぼやけ）に連れて行かれると、最終工程はパニックを起こして失敗するんだよ！」
- 最終工程の悲劇： 最終工程は「訓練された一般的な猫」に特化しすぎています。雪に埋もれた猫や、スケッチの猫を見ると、「これは猫じゃない！」と誤って判断してしまいます。
- 中間工程の活躍： 一方、工場の途中（中間レイヤー）にいる作業員たちは、まだ「猫の耳」や「目」といった基本的な特徴を冷静に捉えています。最終的な「答え」に固執していないため、雪やぼやけがあっても「これは猫の部品だ」と正しく認識できるのです。
結論 1：
「普段は出口（最終レイヤー）が最強だが、雪や嵐（分布のずれ）が起きる時は、工場の途中（中間レイヤー）の方が賢く、頼りになる」。
🔍 さらに詳しく：どの「作業員」が優秀か？
研究チームはさらに踏み込んで、工場の各工程の中で**「どの部分の情報を取れば一番良いか」**を調べました。
各工程は大きく分けて 2 つの作業員（モジュール）で構成されています。
- 注意を向ける係（アテンション）： 「この部分に注目しよう」と情報を整理する人。
- 変換する係（フィードフォワード）： 情報を複雑に変換・加工する人。
驚きの発見：
- 最終工程では： 変換された後の「完成品（FC2）」を見るのが普通ですが、これが一番失敗しやすい（情報が圧縮されすぎて、雪の猫の情報が消えてしまう）。
- 中間工程では： 変換される**「直前の瞬間（活性化関数 Act）」**を見るのが最強でした。
- これは、**「加工される直前の、最も鮮明でノイズの少ない状態」**を捉えているからです。
- 特に雪やぼやけがあるような厳しい状況では、この「加工直前の状態」を見るのが最も高い精度を出しました。
結論 2：
「工場の出口（最終レイヤー）の完成品を見るのはやめよう。特に厳しい状況では、中間工程の『加工直前の状態』を見るのが一番賢い選択だ」。
💡 私たちへの教訓（まとめ）
この論文が私たちに教えてくれることは、AI を使う際の**「賢い選び方」**です。
状況を見極めよう：
- もし画像が綺麗で普通なら、**「最終工程（出口）」**の答えを信じれば OK。
- もし画像が雪、ぼやけ、スケッチ、あるいは見たことのないスタイルなら、**「中間工程」**の情報を信じるべき。
どこを見るべきか：
- 中間工程を使う場合、単に「途中の出力」を見るのではなく、**「変換される直前の活性化された状態」**を見るのがベスト。
安全策：
- どれくらい状況が悪いか（分布のずれが大きいのか）がわからない場合は、**「レイヤーノーマライズ（LN2）」**という部分を見るのが、最もバランスが良く、失敗が少ない安全策です。
🎯 一言で言うと
**「AI の工場では、嵐の日は『出口』の完成品ではなく、『中間の加工現場』の活気ある状態を見るのが、一番正解に近い」**という、AI 開発の新しい指針が示されました。
これにより、AI が予期せぬ環境（雪や故障、新しいスタイル）でも、より賢く、頑丈に動けるようになります。
Each language version is independently generated for its own context, not a direct translation.
論文タイトル
LAYER BY LAYER, MODULE BY MODULE: CHOOSE BOTH FOR OPTIMAL OOD PROBING OF VIT
（層ごと、モジュールごとに選択せよ：ViT の OOD 探査を最適化するための両者の選択）
1. 背景と問題設定
基礎モデル（Foundation Models）、特にビジョントランスフォーマ（ViT）は、事前学習データと異なる分布（Out-of-Distribution: OOD）のデータに対して、最終層の表現が必ずしも最適ではないという現象が報告されています。
- 既存の知見: 一部の研究（Skean et al., 2025 など）では、中間層の表現が最終層よりも優れていることが示されましたが、これは「自己回帰的（autoregressive）な事前学習」に起因すると考えられていました。
- 本研究の課題: 従来の研究は主に ImageNet などの事前学習データと同一分布（In-Distribution: ID）のデータに限定されていました。しかし、実世界では分布シフト（Distribution Shift）が頻発します。本研究は、事前学習データと下流タスクデータの間の分布シフトが、なぜ最終層の性能低下を引き起こすのか、および ViT のどの「層（Layer）」と「モジュール（Module）」をプロビング（線形プロービング）すべきかを解明することを目的としています。
2. 手法と実験設定
- モデル: ImageNet-21k で事前学習された 86M パラメータの ViT（ViT-Base）を使用。
- データセット: 11 の多様な画像分類ベンチマーク。
- ID データ: CIFAR-10, CIFAR-100, Flowers102, Pets
- OOD データ（分布シフトあり）: CIFAR-10-C（コントラスト、ガウスノイズ、モーションブラー、スノー、スパクルノイズ）、DomainNet（Clipart, Sketch）。
- 評価手法:
- 層ごとの分析: トランスフォーマブロックの出力（標準的な RC2）を各層で線形プロービングし、事前学習済みモデルと微調整（Finetuning）済みモデルの性能を比較。
- モジュールごとの分析: 各トランスフォーマブロック内の 8 つの操作（LN1, MHA, RC1, LN2, FC1, Act, FC2, RC2）の出力を個別にプロービングし、最適な抽出点を特定。
- プロトコル: 線形プロービングは CLS トークンの埋め込みをプーリングし、L-BFGS ソルバーを用いたロジスティック回帰で実施。
3. 主要な発見と結果
A. 分布シフトが最終層の性能を劣化させる
- ID 環境（分布シフトなし）: 最終層の表現が最も高性能を示し、層が深くなるにつれて性能が向上する傾向があります。
- OOD 環境（分布シフトあり）: 分布シフトが大きいデータセット（例：Speckle Noise, Sketch）では、層が深くなるほど（最終層に近いほど）性能が急激に低下します。
- 結論: 中間層の優位性は、単なる事前学習手法（自己回帰など）の副産物ではなく、事前学習データと下流データの間の分布シフトに対する中間層の頑健性に起因します。微調整が不可能な場合、OOD かどうかを判断し、どの層をプローブするかを選択することが重要です。
B. どのモジュールをプローブすべきか（層内での最適化）
トランスフォーマブロック内の異なるモジュールの出力を比較した結果、以下のような明確な傾向が見られました（Table 1, Fig. 3 参照）。
- 標準的な手法（RC2）の限界: トランスフォーマブロックの最終出力（RC2）をプローブすることは、多くの OOD 設定において最適ではありません。
- FFN（Feedforward Network）の重要性:
- 強い分布シフト時: 中間層における**FFN の活性化（Act: GeLU 後の出力）**をプローブするのが最も高性能です。
- 弱い分布シフト時（ID に近い）: FFN に続く LayerNorm（LN2）または RC2 の出力が良好です。
- FC2 の問題点: FFN の 2 番目の全結合層（FC2）の出力は、ほぼすべてのデータセットで最悪の性能を示しました。これは入力次元を圧縮（d → 4d → d）する過程で、データの線形分離可能性が損なわれるためと考えられます。
- メカニズムの仮説:
- FC1 と Act は高次元空間（4d）で動作し、特徴の解離（disentanglement）や意味情報の抽出を促進します。
- Act は FC1 による投影ノイズをフィルタリングするため、高い精度を示します。
- FC2 はトークン分布を反映するのみで、線形分類には不適切な圧縮が行われます。
4. 結論と実践的な示唆（Takeaways）
本研究は、ViT の OOD 探査における以下の 2 つの重要な指針を提示しています。
- ID 設定の場合: 常に最終層をプローブするのが最適です。
- OOD 設定の場合: 中間層の**Feedforward Network 内の活性化（Act）**をプローブするのが最適です。
- 分布シフトの検出が困難な場合の安全策として、標準的な RC2 ではなく、**LN2（FFN 前の LayerNorm）**をプローブすることを推奨します。
5. 意義
- 理論的貢献: 中間層表現の優位性が「事前学習の目的関数」だけでなく、「分布シフトへの耐性」によって説明されることを実証しました。
- 実用的貢献: 基礎モデルを凍結したまま（微調整なしで）下流タスクに適用する際、どの層・どのモジュールの出力を特徴量として抽出すべきかという具体的なガイドラインを提供しました。これにより、OOD 環境におけるモデルの信頼性と精度を向上させることが可能になります。
- 将来の展望: トランスフォーマモジュールレベルでの情報理論的・幾何学的な分析や、不変性（invariance）の測定など、隠れ表現の理解を深める新たな研究方向性を示唆しています。