技術的サマリー：データ拡張がニューラル表現に与える影響

問題定義

データ拡張（DA）は、深層ニューラルネットワークにおける汎化性能向上のための基盤的な手法であるが、異なる拡張戦略が学習された内部表現の幾何学をどのように変化させるかという具体的なメカニズムは、依然として十分に理解されていない。現在の慣行では、拡張のハイパーパラメータ（強度、確率、空間的範囲など）を調整するために、経験則や性能に基づく探索に頼ることが多い。しかし、これらのハイパーパラメータの異なる組み合わせが、ほぼ同一のタスク精度をもたらす場合があり、これは標準的な性能指標が、モデルがデータを表現する方法における意味のある差異を隠蔽していることを示唆している。

著者は以下の主要な問いを提起する：

1. ハイパーパラメータが変化するにつれて、DA 手法は表現を明確に定義された軌道に沿って移動させるのか？
2. 異なる拡張タイプ（例えば、回転対してクロッピング）は、隠れ層の計算を根本的に異なる方法で形成するのか、それともその効果は冗長なのか？
3. 表現の幾何学的多様性は、異なる拡張で訓練されたモデルをアンサンブルした際に達成される機能的な利益を予測できるのか？
4. 拡張によって引き起こされる変化の大きさは、ランダムな重み初期化によって導入される変動と比較してどの程度か？

手法

本論文は、ニューラル表現をリーマン形状空間に埋め込むことで分析する幾何学的枠組みを提案する。このアプローチは、隠れ層の活性化パターンを高次元空間内の点群（ランドマーク）として扱い、任意の線形変換に依存しない幾何学を分析する。

1. リーマン形状距離

異なる DA 戦略またはハイパーパラメータで訓練された 2 つのネットワークからの表現 $X^A_\ell$ と $X^B_\ell$ を、$M$ 枚のクリーンなプローブ画像のセットに対して比較するために、著者は並進、スケーリング、回転、反転に対して不変な距離指標を定義する。

• 前処理: ニューラル応答を中心化し、単位ノルムに再スケーリングして「プレシェイプ」（$Z_i$）を形成する。
• アライメント: 距離は、プレシェイプを整合させる最適な直交変換 $O \in O(N)$ を見つけることで計算される。
• 指標: リーマン形状距離 $\rho(X_i, X_j)$ は、プレシェイプ超球面上の測地距離として定義される：
  $$\rho(X_i, X_j) = \arccos\left( \sup_{O \in O(N)} \text{Tr}[Z_j^\top Z_i O] \right)$$
  この指標は、2 つの表現が剛体変換とスケーリングを介して重ね合わせ可能であれば同等とみなし、それらが同じ線形復号可能な情報を持っていることを意味する。

2. 軌道分析

この枠組みは、拡張強度の漸進的な変化を、形状多様体上の滑らかな経路（測地線）に沿った移動として概念化する。

• 測地線角度: 参照形状（拡張なし）から出発する 2 つの軌道間の角度は、形状多様体上の接ベクトルを用いて計算される。これは、異なる拡張が表現をどのように再形成するかという方向的な類似性を定量化する。
• ランドマーク変位: 著者は、整合された表現間の個々のプローブ画像（ランドマーク）の特定の変位ベクトル（$\Delta z_\mu$）を分析する。これにより、特定の拡張によって最も歪められる入力と、これらの歪みがネットワーク層間でどのように変化するかを明らかにする。

3. 実験設定

• モデル: ResNet-18 およびビジョントランスフォーマー（ViT）。
• データセット: CIFAR-10（付録に ImageNet 微調整の例を含む）。
• 拡張: ガウスノイズ、パッチガウス（CutOut 風）、回転、せん断、カラージャッター、グレースケール、ランダムクロッピングなど、様々な強度で適用される手法のスペクトル。
• 評価: 10,000 枚のクリーンなテスト画像について、隠れ層（例：レイヤー 2、avgpool）から表現を収集した。

主要な結果

1. 形状空間における構造化された軌道

著者は、拡張強度の増加が、素朴なユークリッド空間ではなく、形状空間内でよく振る舞う構造化された軌道に沿って表現を誘導することを示実証する。

• アライメントの必要性: 直交アライメントなしでは、距離行列や MDS-PCA 可視化は、拡張パラメータに対して一貫した組織化を示さない。アライメントを行うと、距離が拡張の大きさと相関する明確で滑らかな軌道が現れる。
• 予測可能性: 線形回帰モデルは、クリーンな画像の整合された形状表現から拡張ハイパーパラメータ（例えば、ノイズの標準偏差 $\sigma$、パッチサイズ $C$）を正確に予測でき、表現が DA パラメータに対して体系的に組織化されていることを確認する。

2. 変化の大きさ：DA 対 ランダムシード

本研究は、DA によって誘発される表現変化の規模と、異なるランダムシードによって引き起こされる変動を比較する。

• 自然単位: $D_{aug}$（DA による距離）と $D_{seed}$（シードによる距離）を定義することで、著者は遷移点を特定する。小さな拡張強度では、$D_{aug} \approx D_{seed}$ となる。強度が増加するにつれて（例えば、ノイズの標準偏差 $s > 0.2$）、$D_{aug}$ は $D_{seed}$ から乖離し、それを上回る。これは、DA の効果が初期化ノイズと区別可能になる時期を決定するための「自然単位」スケールを提供する。

3. 幾何学的多様性がアンサンブルの利益を予測する

異なる拡張タイプは、形状空間内で異なる軌道を生み出す。

• 異なる方向: 異なる DA タイプ（例えば、回転対してノイズ）の軌道間の測地線角度のヒートマップは、それらが表現を非冗長な方向に移動させることを示す。
• アンサンブル相関: 2 つの拡張軌道間の測地線角度と、それぞれの拡張で訓練されたモデルをアンサンブルすることで達成される精度向上の間には、強い正の相関がある。幾何学的に多様な表現（大きな角度）で訓練されたモデルは、より大きなアンサンブルの改善をもたらす。

4. 層依存性のランドマーク変位

ランドマーク変位の分析は、DA の効果がネットワーク全体で均一ではないことを明らかにする。

• 層の特異性: 初期層（例えば、ResNet-18 のレイヤー 2）では、最大に移動したランドマークは低レベルの画像特徴（対角エッジ、明るい背景など）と相関する。より深い層（例えば、avgpool）では、これらのパターンは不明瞭になり、変位は低次元となる。
• メカニズム: これは、DA が層固有のメカニズムを通じて表現を再形成し、拡張の種類とネットワークの深さに応じて、特定の画像サブセットの特徴を減衰または増幅することを示唆している。

意義と主張

本論文は、表現幾何学のレンズを通じてデータ拡張手法を理解し比較するための原理的なツールを提供すると主張する。

• 精度を超えて: 著者は、類似の精度をもたらすが異なる内部表現を持つトレーニングプロトコルを区別するには、性能指標だけでは不十分であると主張する。形状空間分析はこれらの隠れた差異を明らかにする。
• 統合された枠組み: この枠組みは、微分幾何学のツールを用いて、異なるハイパーパラメータ、アーキテクチャ、または初期化シードで訓練されたモデルを比較するための共通言語を提供する。
• 実用的有用性: 発見された事実は、形状空間軌道の分析が以下の指針となることを示唆する：
  • ハイパーパラメータ探索: DA の効果が有意となる領域の特定。
  • アンサンブル構築: アンサンブル性能を向上させるために幾何学的多様性を最大化する拡張戦略の選択。
  • 解釈可能性: ランドマーク変位分析を通じて、特定の拡張が層ごとに表現をどのように変形させるかの理解。

著者は、その範囲を画像分類、古典的な DA 手法、固定されたプローブ画像の事後分析に限定し、学習された拡張ポリシーやトレーニングダイナミクスへの拡張は将来の課題であると明記している。また、高次元表現に対するリーマン形状距離の計算コストを認め、実際には次元削減が必要であると認めている。