Measuring the Symmetry--Data Exchange Rate

問題提起

等変性理論は、アーキテクチャにおける対称性の事前分布（群 $G$ に対する不変性または等変性）を組み込むことで、サンプル複雑性が因子 $|G|$ だけ減少することを予測している。この予測は広く引用されているものの、構造的な事前分布を、有効容量の減少や暗黙的なデータ拡張、あるいは正則化といった交絡因子から分離して制御した形で、スケーリング則として測定された例は極めて稀である。ほとんどの実証研究は、固定されたサンプルサイズにおける精度の差や、単一の動作点における効率比を報告するにとどまっており、サンプル複雑性のスケーリング則を追跡したり、「アライメント（正しい対称性）」と「制約（同程度の強さを持つあらゆる制約）」を区別したりできていない。本論文はこの方法論的なギャップに対処するものである。すなわち、「構造が役立つ」という定性的な主張を、どのようにして対称性とデータの間の較正可能な、反証可能な交換率へと変換するかという問題である。

手法

著者らは、対称群の位数 $n$ が自由パラメータとなる、既知の対称性を持つ制御された合成2Dタスクを構築した。

• タスク: 入力はアニュラス（円環）からサンプリングされ、交互の角度パターン $1[\cos(n\theta) > 0]$ に基づいてラベル付けされる。対称群は巡回群 $C_n$（位数 $n$）であり、$n \in \{1, 2, 3, 4, 6, 8, 12\}$ である。このタスクは、座標ベースのショートカットが存在しない非自明なものとして設計されている。
• モデルファミリー: 容量を一致させるため、同一の全結合アーキテクチャ（1,185パラメータ）を共有する5つのモデルファミリーを用いる。
  1. 等変（処理対象）: オービット・プーリング（$n$ 個の回転コピーの出力を平均化する）を使用し、構成によって $C_n$ 不変性を強制する。
  2. 誤った群（コントロール）: 同様のオービット・プーリング・アーキテクチャを使用するが、回転角が正しい周期に対して不合理な因子（正しい周期の $0.7$ 倍）でずれている。これは、軌道のサイズと計算量を同一に保ちつつ、対称性のマッチングを破壊することで、「アライメント」と「制約」を分離するために用いる。
  3. 拡張（Augmented）: すべての $n$ 個の回転コピー（損失におけるロジットの平均化）を用いて訓練されるが、テスト時には単一入力のフォワードパスを使用する非制約ネットワーク。
  4. バニラ（Vanilla）: 標準的な非制約ネットワーク。
  5. 正則化（Regularized）: オービット・プーリングによって除去される自由度と一致させたL2重み減衰を適用したバニラネットワーク。
• 指標: 5つのシードのうち3つが検証精度80%に達するために必要な最小サンプルサイズ $N_{target}$ を測定する。
• エスティメータ（推定器）: タスクの難易度が $n$ とともに増加するという交絡（すべてのモデルにおいて絶対的な傾きが正になる）に対処するため、著者らは相対的交換率 $\beta_{diff}$ を導入する。これは、$\log_2(N_{vanilla}^{target} / N_{treatment}^{target})$ を $\log_2(n)$ に対してプロットした際の傾きである。理論的に、対称性がサンプル複雑性を $|G|$ だけ減少させるのであれば、この傾きは $+1$ になるはずである。
• 推論: 著者らは、非パラメトリックなペア・ブートストラップ（10,000回の再サンプリング）および、処理対象対コントロールの比較のための結合ペアワイズ・ブートストラップを採用している。あらかじめ規定された失敗分類学（failure taxonomy）を用いて、結果を分類する（例：利点なし、正則化の崩壊、拡張による説明、または真のシグナル）。

主な貢献

1. 交絡のない測定方法論の導入: タスクの難易度のスケーリングを相殺する相対的交換率エスティメータの導入。これに、「誤った群」コントロールによる、ジェネリックな制約とアライメントの区別、および重複する信頼区間を扱うための結合ペアワイズ・ブートストラップを組み合わせている。
2. 推定された率: 制御されたタスクにおいて、等変モデルは $\beta_{diff} = 1.28$ という点推定値を与える。これは、理論的予測である $1.0$ の符号およびオーダーにおいて一致している。ただし、著者らは、この正確な数値は探索的なものであることを強調している。重要なのは、定性的な方向性が堅牢な発見であることである。
3. アライメントと制約の分離: 同一の軌道サイズを持つ「誤った群」コントロールは、制約が存在しない場合よりも性能が悪くなる（$\beta_{diff} \approx -0.77$）ことが示された。これは、誤った配置の構造的事前分布は、単に役に立たないだけでなく、積極的に有害であることを示している。
4. アーキテクチャ vs 拡張: 学習時のみの拡張（テスト時のオービット平均化なし）は、等変モデルが成功するターゲット精度に到達できない。しかし、CPUによる複製実験により、拡張モデルにテスト時のオービット平均化を追加すると、等変モデルとビット単位で同一になることが示された。したがって、この差は非対称なテスト時計算に依存しており、アーキテクチャの無条件な優位性によるものではない。
5. 再現性: 5,600回の実行を含む完全な実験は、コード、構成ハッシュ、および全実行記録とともに公開されており、単一のGPUで約90分で実行可能である。

結果

• 交換率: 主要なエスティメータは $\beta_{diff} = 1.28$ を算出する。
  • 単一レベルのパーセンタイル・ブートストラップによる信頼区間（CI）は $[+0.92, +2.05]$ であり、ゼロを除外している。
  • より保守的な2レベル・ブートストラップ（シードと群のサイズを再サンプリング）では、CIが $[-0.63, +1.72]$ となり、ゼロを含んでいる。
  • $\sqrt{2}$ 間隔のグリッドを用いたより細かい $N$ による複製実験では、決定的な結果が得られず（$\beta_{diff} = -0.82$、広いCI）、グリッドの離散化に対する敏感さが浮き彫りになった。
• コントロール:
  • 誤った群コントロールは、結合ペアワイズ比較においてバニラ・ベースラインよりも有意に劣っており（差のCIは $[+0.79, +3.26]$）、この利点が単なる制約の存在ではなく、正しいアライメントから来るものであることを裏付けている。
  • 正則化ベースラインはバニラに対して利点を示さず（$\beta_{diff} \approx -0.04$）、自由度の減少が主要なメカニズムではないことを排除している。
  • 拡張モデル（学習時のみ）は、$n \ge 3$ の場合にターゲット精度に到達できず、等変モデルは成功する。
• 堅牢性: 相対的な率は、最大30%の学習ラベルが非対称なノイズで汚染されていても、安定した値（クリーンな値の88〜97%を維持）を保持している。

意義と主張

本論文は、自身を確証的な測定ではなく、探索的研究として明確に位置づけている。著者らはその主張に対して謙虚である：

• 普遍的な定数ではない: 報告された率は、特定のタスク、ターゲット精度、およびスケーリングモデルに条件付けられた操作的な推定値であり、普遍的な情報理論的定数ではない。
• 定性的な方向性: 主要な貢献は、定性的な方向（正であり、理論とオーダーで一致していること）および**「誤った群」の発見**（誤った配置の制約は有害であること）である。エスティメータの採用が事後的（post-hoc）であること、および保守的な信頼区間にゼロが含まれることを考慮すると、正確な数値（$1.28$）は決定的な測定値とは主張されていない。
• 方法論の転用可能性: 本フレームワーク（相対的率エスティメータ、誤った群コントロール、結合ペアワイズ・ブートストラップ、失敗分類学）は、対称性だけでなく、あらゆる パラメトリザブルな帰納バイアスの強さを測定するための転用可能なツールとして提示されている。
• 限界: 本研究は、タスクが合成的であり、2次元であり、対称性が正確（近似的または潜在的ではない）であることを認めている。また、カーネル/ランダム特徴理論と有限幅のReLU MLPとの間の不一致についても言及している。「FLOP中立」という主張も微妙なニュgetを含んでいる。総学習FLOP数は概ね一致しているが、等変モデルはより高いサンプルあたりの計算量とメモリ・オーバーヘッドを伴う。

著者らは、「誤った群」の結果が最もクリーンで自信のある発見であり、メインの数値については、将来的に新しいシードを用いた外部登録による再現が行われることで、初めて確証的なものとみなされる、と結論づけている。