Empirical Evidence for Simply Connected Decision Regions in Image Classifiers

技術的サマリー：画像分類器における単連結な決定領域の実証的証拠

問題定義
先行する実証的研究は、深層ニューラルネットワークにおける決定領域が経路連結であることを確立している（すなわち、同じ予測クラスに属する任意の 2 枚の画像は、そのクラス内で連続的な経路によって結ぶことができる）。しかし、高次の位相構造については依然として不明である。具体的には、これらの領域が単連結であるかどうかは未解明である。領域が単連結であるとは、その領域内の任意の閉じたループが、領域から外れることなく連続的に 1 点に収縮可能であることを意味する。もし決定領域に「穴」（非収縮可能なループ）が存在する場合、それは解釈可能性や敵対的ロバスト性に影響を与える可能性のある、より複雑で断片的な位相を意味する。本論文は以下の問いに対処する：予測された決定領域内の閉じたループは、ラベルを保存する曲面によって埋めることができるか？

手法
著者は、同じラベルの画像からなる与えられたループによって囲まれた、有限解像度かつラベルを保存する曲面を構築するための反復的な四角形メッシュ充填手順を提案する。

1. 問題設定：入力空間は正規化された画像空間である。同じラベル $y$ が割り当てられた 4 枚の画像 ($x_{00}, x_{10}, x_{01}, x_{11}$) が与えられたとき、境界がループと一致し、かつ内部が $f(S(u, v)) = y$ を満たすような曲面 $S: [0, 1]^2 \to X$ を構築することを目的とする。
2. 境界構築：4 つの頂点がループを定義する。同じラベルの画像間の直線が決定境界を横断する可能性があるため、著者は辺に沿って頂点を初期化し、ラベルから外れた頂点をターゲット決定領域内へ投影するターゲット型 DeepFool 風の手順を用いて修復することで、線分結合の境界ループを構築する。
3. 曲面充填（適応的细分化）：
   • 本手法は、境界によって定義された単一の四角形（quad）から開始する二進格子（dyadic grid）上で動作する。
   • 解像度チェック：頂点がターゲット領域内にあることが検証され、かつ幾何学的直径（グレースケール RMS 単位で測定）が閾値 $\tau$ 未満である場合、その四角形は受理される。
   • ラベルチェック：サイズ閾値が満たされない場合、その四角形の双線形補間を適応的格子上でサンプリングする。すべてのサンプリング点がターゲットラベルを保持する場合、その四角形は受理される。
   • 细分化：ラベルチェックが失敗した場合、その四角形は 4 つの子四角形に细分化される。新しい辺の中点と中心点は線形補間によって初期化される。
   • 修復：ターゲット領域から外れるように新たに作成された任意の頂点は、ターゲット領域内へ投影するために、ターゲット型 DeepFool 更新 followed by 二分法ステップを用いて修復される。
4. 幾何学的比較：構築された曲面の幾何学的複雑さを評価するため、著者はこれを 4 つの境界曲線の標準的な幾何学的補間であるコーンパッチと比較する。構築された曲面の面積とコーンパッチの面積の比率 ($\rho$) を計算する。

実験設定

• データセットとモデル：本手法は、ImageNet 検証セットにおいて、6 つの多様なアーキテクチャ（ResNet-50、DenseNet-121、EfficientNet-B0、ConvNeXt-Tiny、ViT-B/16、Swin-T）で評価された。
• 範囲：各モデルについて、1,000 個のループが構築された（ImageNet の 1,000 クラスそれぞれにつき 1 つ）。合計 6,000 個のループと 24,000 枚の画像が対象となった。
• パラメータ：グレースケール RMS 停止閾値は $\tau = 0.5$ に設定された。デフォルトの修復設定（DeepFool 50 反復）が使用され、初期の失敗に対してのみ強力な設定（200 反復）が適用された。

主要な結果

1. 普遍的な成功：6 つのモデルすべておよびテストされた 6,000 個のループすべてにおいて、手順は有限解像度のラベル保存曲面の構築に成功した。少数の初期失敗に対して強力な修復設定を適用した後、最終的な成功率は 100% であった。
2. 適応的细分化の必要性：「ルートレベル」の診断により、単純な双線形補間（细分化なしの初期四角形）は、ループの少数（DenseNet-121 で 6.9% から Swin-T で 42.2% の範囲）のみでラベル制約を満たすことが示された。これは、適応的细分化と修復メカニズムが不可欠であることを確認するものである。
3. 幾何学的単純性：構築された曲面とコーンパッチとの間の面積比 $\rho$ は 1 の近くに集中していた。これは、ラベル保存曲面が、高度に歪んだり複雑化したりしたものではなく、境界の自然な補間に幾何学的に近接していることを示している。
4. メッシュの複雑さ：ループを埋めるために必要な四角形の数はアーキテクチャによって異なった。トランスフォーマーベースのモデル（Swin-T、ViT-B/16）と ConvNeXt-Tiny は、ResNet-50 や DenseNet-121 よりも著しく少ない四角形（より小さなメッシュ）を必要とした。これは、これらのサンプリング領域において、それらの決定領域が局所的に平坦であるか、より一貫性があることを示唆している。

意義と主張
本論文は、現代の画像分類器における決定領域が経路連結であるだけでなく、単連結であるという仮説を支持する強力な実証的証拠（有限解像度において）を提供する。

• 位相的洞察：これらの知見は、ループが収縮可能な、グローバルに一貫した構造として決定領域が組織化されていることを示唆しており、敵対的脆弱性がグローバルな位相的断片化を意味するという考えに挑戦するものである。
• 限界：著者は明示的に、これらの結果が形式的な位相的証明ではなく、有限解像度の実証的証拠であると述べている。本手法は特定のグレースケール RMS スケールでサンプリングされた点を検証するに過ぎず、テストされた解像度やループファミリーの外側にある、より小規模な穴や非収縮可能なループの存在を排除することはできない。
• 含意：これらの結果は、ニューラルネットワークの決定領域に関する新たな実証的図像を提供し、局所的な敵対的脆弱性にもかかわらず、これらの領域のグローバルな位相は驚くほど単純で秩序だったものである可能性を示唆している。

本作業は、すべての可能な入力や無限解像度に対する単連結性を証明するものではなく、むしろテストされた解像度において、多様なアーキテクチャと完全な ImageNet ラベル空間にわたる堅牢なパターンを確立するものである。