技術要約: MixTTA

問題提起

ディープニューラルネットワークは、分布シフト（環境の変化、センサーノイズ、データ破損など）が発生する条件下で展開される際、深刻な性能低下に陥ることがよくあります。これは、訓練時とテスト時の分布が同一であることを前提として訓練されているためです。テスト時適応（Test-Time Adaptation: TTA）は、ソースデータやラベルにアクセスすることなく、オンラインでモデルを調整することを可能にすることで、この問題に対処します。

Tentに代表される支配的なアプローチは、予測エントロピーを最小化するために、正規化層のアフィンパラメータ（スケール $\gamma$ およびバイアス $\beta$）のみを更新します。しかし、これらの手法はチャネルごとのアフィン変換に依存しており、これは軸に平行なスケーリングとシフトを実行するものです。著者らは、この設計はチャネル間の構造的変化を補正するには幾何学的に不可能であると主張しています。

本論文では、経験的な分析を通じて、分布シフトが根本的にチャネル間の相関構造（ソースとターゲットの共分散行列の差のフロベニウスノルムによって測定される）を変化させることを示しています。この崩壊はネットワークの初期層で最も顕著に現れます。チャネルごとの更新ではオフダイアゴナル（非対角）な相互作用をモデル化できないため、これらの相関シフトを修正できず、特にクラス不均衡、単一サンプル適応、または混合ドメインシフトを伴う「ワイルド」なシナリオにおいて適応の失敗を招きます。

手法: MixTTA

著者らは、パラメータ効率を維持しながら、チャネル間の特徴量相互作用を捉えるために正規化層を拡張する、軽量なプラグインモジュールであるMixTTAを提案しています。

1. 低ランクによるチャネル間混合（Low-Rank Cross-Channel Mixing）

対角アフィン変換をフル密行列（これは $C^2$ のパラメータを導入し過学習のリスクを高める）に置き換える代わりに、MixTTAは残差低ランク摂動を導入します。変調式は以下のように定義されます：
$$y = \gamma \odot x + (AB)^\top x + \beta$$
ここで：

• $x$ は正規化された特徴量。
• $\gamma \odot x + \beta$ は標準的なチャネルごとのアフィン変換（対角）。
• $(AB)^\top x$ は低ランクのチャネル間混合項であり、$A \in \mathbb{R}^{C \times r}$ および $B \in \mathbb{R}^{r \times C}$ はランク $r \ll C$ を持つ学習可能な行列です。
• 行列 $B$ はゼロで初期化されており、安定したウォームスタートのために元のTent手法として動作を開始することを保証します。

2. デカップリング投影（Decoupling Projection）

低ランクブランチがチャネル間の相互作用のみを捉え、対角アフィンパスの機能を重複させないようにするため、著者らは厳格な分離を強制します。彼らは、摂動行列 $\Delta = (AB)^\top$ の対角要素をゼロに制約します。

• メカニズム: フォワードパスの前に、行列 $B$ の各列 $b_i$ を、行列 $A$ の対応する行 $a_i$ の直交補空間へと投影します。
• 目的: これにより、低ランクブランチがチャネルごとの変調を引き起こさないようにし、機能的なデカップリングを確実にします。

3. スペクトル投影（Spectral Projection）

著者らは、特に偏った、あるいは非定常なテストストリーム下において、エントロピー駆動の更新中に**ランク1崩壊（rank-1 collapse）**のリスクがあることを特定しました。$A$ と $B$ の交互の勾配更新は、部分空間を単一の支配的な主成分に整列させる正のフィードバックループを生み出し、チャネル間の多様性を抑制する可能性があります。

• メカニズム: 手法は、部分空間特徴共分散の支配的な固有ベクトル $u_1$ を計算します。そして、支配的な方向を抑制するために、投影演算子 $P = I - \eta \frac{u_1 u_1^\top}{\|u_1\|_2^2}$ が構築されます。
• 適用: モデルがランク1モードに退化するのを防ぐため、適応中の $A$ と $B$ に対する勾配は $P$ を用いて投影されます。

主な貢献

1. 限界の診断: 本論文は、分布シフトが、特に初期層において、チャネル間の相関に大幅な変化をもたらすことを確立し、チャネルごとのアフィン更新ではこれを修正できないことを示しました。
2. MixTTAモジュール: フルランク更新の不安定さを回避しながら、チャネル間の依存関係をモデル化するために正規化層の適応を拡張する、残差低ランクチャネル間変換の導入。
3. 安定化メカニズム: 決定的な条件（デカップリング投影による対角/非対角の分離、およびスペクトル投影によるランク1崩壊の防止）を確保するための、デカップリング投影とスペクトル投影の提案。
4. プラグインとしての汎用性: このモジュールは、既存の正規化ベースのTTA手法（例：Tent, EATA, SAR, DeYO, ReCAP）にシームレスに統合できるように設計されています。

実験結果

本手法は、標準的なシナリオおよび「ワイルド」なシナリオ（オンラインでの不均衡なラベルシフト、バッチサイズ1、混合シフト）において、ImageNet-C（破損）およびImageNet-Sketch（スタイルシフト）を用いて評価されました。

• 性能向上: MixTTAは、すべてのシナリオにおいて強力なベースラインの精度を一貫して向上させました。
  • ImageNet-CのMildシナリオにおいて、MixTTAはReCAPの平均精度を+0.9%、Tentの精度を+4.0%向上させました（例：SnowにおけるTentの精度を18.1%から57.2%へ回復）。
  • Wildシナリオ（例：不均衡なラベルシフト）において、MixTTAは予測崩壊を大幅に軽減しました。例えば、Snowの破損において、Tentでは適応なしで精度が10.2%まで低下しましたが、MixTTAによって45.5%まで回復しました。
  • バッチサイズ1の制約下において、MixTTAはEATAの平均精度を47.2%から61.2%に向上させました。
• アブレーション研究:
  • ランクの感度: 部分空間次元 $r=4$ がすべてのベースラインにおいて最高の性能を示しました。より高いランク（8, 16）は性能を低下させ、フルランクの更新は破滅的な崩壊を引き起こしました。
  • 投影の必要性: スペクトル投影を削除すると、精度が急落し、条件数の上昇（ランク1の支配性を示す）が確認されました。デカップリング投影を削除すると、対角成分のリークが増加し、性能が低下しました。
• 効率性: MixTTAは、約4%の実行時オーバーヘッドと、控えめな数のパラメータ（例：DeYO+MixTTAの約46kパラメータに対し、DeYOの約27kパラメータ）しか追加せず、その軽量性が確認されました。

意義と主張

本論文は、MixTTAが現在のTTA手法の根本的な幾何学的限界、すなわち、分布シフトによって誘発されるチャネル間の構造的変化をチャネルごとのアフィン更新では修正できないという問題を解決することを主張しています。構造化された低ランクのチャネル間混合メカニズムを導入することで、著者らは、既存の手法が失敗するような「ワイルド」な設定においても、信頼できる適応が可能であることを示しています。

著者らは、自身のアプローチが単にモデルの容量を増やすのではなく、オンライン最適化を安定させるための構造化された帰納バイアス（低ランク分解と投影制約による）を提供していることを強調しています。彼らは、チャネル間の相関をモデル化することは、モデルの表現力と信頼性を向上させるための、極めて重要でありながら、これまで十分に活用されてこなかった方向性であると結論付けています。