Stretching Beyond the Obvious: A Gradient-Free Framework to Unveil the Hidden Landscape of Visual Invariance

本論文は、勾配を用いない「Stretch-and-Squeeze（SnS）」というフレームワークを提案し、視覚ユニットが保持する不変性の隠れた多様体と敵対的摂動への脆弱性を、生物学的および人工的な視覚システムの両方において体系的に解明するものである。

要約

この論文は、**「AI の目（視覚）が、いったい何を『同じもの』として認識しているのか」**を、これまで誰も見たことのない方法で探り当てようとする研究です。

タイトルにある「Stretch-and-Squeeze（伸ばして絞る）」という名前が、この研究の核心をとてもよく表しています。

🕵️‍♂️ 従来の方法の限界：「一番好きな写真」だけでは足りない

これまでに AI の仕組みを調べる研究では、「この AI が一番興奮する（反応する）画像は何か？」を探すのが主流でした。
例えば、「猫」を認識する AI なら、「猫の絵」をずらっと並べて、どれが一番「ニャー！」と反応するかを見つけます。これを**「最も興奮する画像（MEI）」**と呼びます。

しかし、これには大きな欠点がありました。
「猫」を認識する AI は、単に「猫の絵」だけでなく、**「猫が横になっていても、逆さまでも、暗くても、白黒でも、それでも『猫』だと認識できる」という「不変性（どんな変化にも耐える力）」を持っています。
従来の方法では、「一番好きな猫の絵」は見つかりますが、「どのくらい猫の姿を変えても、まだ猫だと認識し続けるのか」という「許容範囲の広さ（不変性の山）」**は見えませんでした。

🎈 新しい方法：「Stretch-and-Squeeze（伸ばして絞る）」

この論文では、**「SnS（Stretch-and-Squeeze）」という新しい探偵ツールを開発しました。これは、AI に「猫」を認識させつつ、その姿を極限まで変えてみるという、まるで「風船を膨らませる」**ような実験です。

この実験には 2 つのルール（目的）があります。

1. 伸ばす（Stretch）：
   画像を、AI の内部で**「元の猫と全く違うもの」**に変えていきます。
   • 例：猫の毛並み、背景、色、形をどんどん変えて、元の画像から遠ざけます。
2. 絞る（Squeeze）：
   画像をいくら変えても、**「猫だと認識する反応（スイッチ）」は「ON のまま」**に保たなければなりません。

つまり、**「元の猫とは似ても似つかないほど違う姿になっても、まだ『猫だ！』と叫び続ける画像」**を見つけ出すのがこの実験の目的です。

🔍 発見された驚きの事実

この「風船を膨らませる」実験を、AI の脳の異なる部分（浅い層、中くらい、深い層）で行ったところ、面白いことがわかりました。

• 浅い層（ピクセルレベル）で変えると：
  画像は「明るさ」や「コントラスト」が変わりました。まるで、猫の写真をフィルタで加工したような変化です。
• 中くらいの層で変えると：
  画像の「質感」や「色」が大きく変わりました。猫の毛がツルツルからボサボサに変わったりします。
• 深い層（意味を理解する部分）で変えると：
  ここが最も興味深いです。画像は**「猫のポーズ」や「視点」**が劇的に変わりました。
  • 元の画像が「正面を向いた猫」なら、変化した画像は「横を向いた猫」や「遠くにいる猫」になりました。
  • 驚くべきことに、**「元の画像と似ていないのに、AI は『猫』だと確信して反応し続ける」**画像が見つかりました。

🤖 頑丈な AI と、普通の AI の違い

研究では、2 種類の AI を比較しました。

1. 普通の AI： 通常の学習をしたもの。
2. 頑丈な AI（Robust）： 悪意のある攻撃（画像を少しいじって誤認識させること）に耐えるように訓練されたもの。

【従来の常識】
「頑丈な AI」は、人間の目にも「なぜそれが猫なのか」がわかりやすい（解釈しやすい）はずだ、と考えられていました。

【SnS が暴いた真実】

• 浅い変化（明るさなど）： 頑丈な AI は、人間にもわかりやすい変化を受け入れました。
• 深い変化（ポーズや視点など）： ここに逆転現象が起きました！
  • 普通の AIは、深い層で変化した「猫」でも、人間には「あ、猫だ！」とわかりやすくなりました。
  • しかし、頑丈な AIは、深い層で変化した「猫」になると、**人間には「何の画像かわからない」**ものになってしまいました。

これは、**「頑丈な AI は、人間と同じように『猫』を理解しているわけではない」**ことを示しています。AI が「頑丈」になるために、人間には理解できないような、独特な「猫の捉え方」を身につけてしまった可能性があります。

🌟 なぜこれが重要なのか？

この「SnS」という方法は、**「AI のブラックボックス（中身が見えない箱）」**を開けるための強力な鍵です。

• AI 開発への応用： 「なぜ AI は人間と違う見方をするのか？」を突き止め、より人間に近い、安全な AI を作るヒントになります。
• 脳科学への応用： この方法は、AI だけでなく、**「実際の動物や人間の脳」**の神経細胞を調べるのにも使えます。脳の神経細胞は「ブラックボックス」そのもので、中身が見えないからです。
  • 「この神経細胞は、猫の姿がどう変わっても反応し続けるのか？」を、SnS を使って探れば、脳の仕組みがもっと深く理解できるかもしれません。

まとめ

この論文は、**「AI が『同じもの』と判断する、見えない境界線」を、「伸ばして、絞る」**というユニークな方法で可視化しました。

それは、AI が単に「猫の絵」を覚えているだけでなく、「猫という概念」を、人間とは異なる、あるいは人間が想像もつかないような複雑なルールで理解していることを示唆しています。このツールを使えば、AI と人間の「目」の違いを、これまで以上に鮮明に比べられるようになるでしょう。

技術概要

以下は、ICLR 2026 にて発表された論文「STRETCHING BEYOND THE OBVIOUS: A GRADIENT-FREE FRAMEWORK TO UNVEIL THE HIDDEN LANDSCAPE OF VISUAL INVARIANCE」の技術的な要約です。

1. 研究の背景と課題 (Problem)

視覚システム（生物学的および人工的）において、画像がどのように認識を支える表現に変換されるかを理解するためには、視覚ニューロンがどのような特徴の組み合わせにチューニングされているかを明らかにすることが不可欠です。

• 既存手法の限界: 従来の特徴可視化手法（MEI: Most Exciting Images など）は、特定のニューロンを最大限に活性化させる「好ましい刺激」を特定することに焦点を当てています。しかし、これらは単なる刺激の事例に過ぎず、ニューロンの応答が不変（invariant）に保たれる変換の多様体（manifold）全体を解明するには不十分です。
• 既存の不変性評価の問題: 既知のアフィン変換（回転、拡大縮小など）を適用して不変性をテストする手法は、ニューロンが実際に許容する変換軸を網羅的に捉えておらず、真の「不変性の風景（landscape）」を反映していない可能性があります。
• 勾配依存の制約: 多くの既存手法は勾配ベースの最適化に依存しており、勾配情報が利用できない「ブラックボックス」システム（生体ニューロンの実験など）や、デジタルツインの精度が低い場合に適用が困難です。

2. 提案手法：Stretch-and-Squeeze (SnS) (Methodology)

著者らは、Stretch-and-Squeeze (SnS) と呼ばれる、バイアスがかからず、モデルに依存せず、勾配を必要としない新しいフレームワークを提案しました。

• 基本概念: SnS は、参照刺激（例：MEI）から出発し、視覚処理の特定の段階における表現を「最大限に変化（Stretch）」させつつ、下流のターゲットニューロンの活性化は「維持（Squeeze）」する画像変換を探索します。逆に、敵対的攻撃（Adversarial Attack）を生成する場合は、表現空間での距離を最小化しつつ、活性化を最大限に変化させることを目的とします。
• 最適化アプローチ:
  • 双目的最適化問題: 画像生成を、表現空間での距離最大化（Stretch）と活性化の維持（Squeeze）という 2 つの目的関数を持つ双目的最適化問題として定式化します。
  • 勾配フリー: 勾配計算を不要とするため、CMA-ES（Covariance Matrix Adaptation Evolutionary Strategy）などの進化アルゴリズムを使用します。
  • 生成モデル: 自然画像の分布に事前知識を持つ事前学習済み生成モデル（latent code から画像を生成するネットワーク）を使用し、探索空間を自然な画像の多様体に制限します。
  • パレート最適解: 2 つの目的関数のトレードオフを考慮し、パレート最適解の集合（Pareto front）から最適な画像を抽出します。
• 階層的アプローチ: 画像表現のどの階層（ピクセル空間、中間層、深層）で「Stretch」を行うかを変更することで、異なる抽象度での不変性を調べることができます。

3. 主な貢献 (Key Contributions)

1. 新しい不変性探査フレームワーク: 勾配不要かつモデル非依存な SnS を開発し、生体および人工視覚系におけるニューロンの不変性多様体を体系的に特徴づけることを可能にしました。
2. 既存手法を超える不変性の発見: 従来のアフィン変換よりもピクセル空間での距離が大きく、かつターゲットニューロンの応答を維持する画像変換を発見しました。これにより、ニューロンが実際に許容する変換軸をより正確にマッピングできます。
3. 階層的な不変性の解明: 処理階層によって不変性の性質が異なることを実証しました（ピクセル層：明度・コントラスト、中間層：テクスチャ・色、深層：ポーズ・抽象的な変形）。
4. ロバスト性と解釈性の新たな知見: 敵対的訓練（L2-robust）を受けたネットワークと標準ネットワークにおいて、不変画像の人間による解釈性（recognizability）が階層によって逆の傾向を示すことを発見しました。

4. 実験結果 (Results)

ResNet50（標準版と L2-robust 版）および ViT などのモデルを用いた実験で以下の結果が得られました。

• 効果的な敵対的・不変画像の生成:
  • SnS は、参照画像から大きく離れた位置にありながら、ターゲットニューロンの活性化を維持する「不変画像」を生成できました。
  • 敵対的画像は、参照画像に近い位置にありながら、ニューロンの応答をほぼ完全に抑制しました。
  • これらの画像は、既存のデータ拡張（アフィン変換）よりもはるかに極端な変換を含んでいました。
• 階層特異的な不変性:
  • ピクセル空間での Stretch: 明度やコントラストの変化が主でした。
  • 中間層での Stretch: テクスチャや色の変化が主でした。
  • 深層での Stretch: オブジェクトの視点変化や複数のオブジェクトインスタンスなど、高次元の抽象的変化が主でした。
• 人間および他のネットワークによる解釈性:
  • L2-robust ネットワーク: 低次元（ピクセル）の表現を Stretch した不変画像は人間に認識されやすかったですが、深層を Stretch した画像は認識されにくくなりました。
  • 標準ネットワーク: 逆の傾向が見られ、深層を Stretch した画像の方が人間に認識されやすくなりました。
  • 結論: L2 敵対的訓練は、ピクセルレベルでは人間との整合性を高めますが、高次な不変性（deep invariances）の解釈性を向上させることはできず、むしろ深層では人間との乖離が生じることが示されました。
• 生体実験への適用可能性:
  • 表現空間のサブサンプリング（全ニューロンの一部のみを使用）を行っても、SnS は同様の不変性を発見できることを確認しました。これは、限られた記録データしか得られない生体神経実験への応用可能性を示唆しています。
• ViT への適用:
  • Vision Transformer (ViT) においても階層的な不変性が確認されましたが、CNN と異なり、中間層と深層の不変画像の質的・解釈性の差は小さく、ViT がよりグローバルに統合された特徴を学習していることを示唆しました。

5. 意義と将来展望 (Significance)

• 神経科学への貢献: SnS は勾配を必要としないため、「デジタルツイン」の精度が不十分な場合や、ブラックボックス状態の生体ニューロンの特性を解明する強力なツールとなります。特に、限られた記録データからニューロンの不変性を推定できる点は、in vivo 実験における重要な進展です。
• AI と生物視覚の対比: 敵対的訓練がモデルの「解釈性」をどの階層で向上させるか、あるいは低下させるかを詳細に分析する手段を提供しました。これにより、人間と AI の知覚の一致・不一致が、単なる分類精度だけでなく、高次な不変性の構造においてどこで生じるかを理解する手がかりとなります。
• 今後の方向性: SnS を聴覚などの他のモダリティに応用したり、より大規模なモデル（DINO, ViT-22B など）での検証を行ったり、不変性の幾何学的構造（内次元など）の詳細な解析を行うことが期待されます。

この論文は、視覚表現の不変性を「単一の最適解」ではなく「多様体上の広範な領域」として捉え直し、それを探索するための新しいパラダイムを提供しています。