🤖 machine learning

EVA-0: Test-Time Model Evolution with Only Two Forward Passes per Sample

EVA-0 は、各サンプルあたり 2 回の順伝播のみで効率的なテスト時モデル進化を可能にする最小限のゼロ次適応フレームワークであり、逆伝播なしで主要な最適化の課題を克服し、既存の手法を上回る性能と大幅な高速化を実現します。

原著者： Guohao Chen, Shuaicheng Niu, Geng Li, Yunbei Zhang, Shilin Shan, Chunyan Miao, Jianfei Yang

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

原著者： Guohao Chen, Shuaicheng Niu, Geng Li, Yunbei Zhang, Shilin Shan, Chunyan Miao, Jianfei Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが晴れた日の澄んだ高速道路で完璧に運転するように訓練された、スマートなナビゲーションアプリのような、高度に訓練された AI アシスタントを持っていると想像してください。しかし、今やあなたはそれを混沌とした都市に展開しました。すると、突然雨が降り始め、道路は雪に覆われ、標識はぼやけてしまいます。

ほとんどの AI システムは、研究所を離れると「凍結」されます。彼らはこれらの新しい、厄介な状況から学ぶことができません。それらを修正するために、エンジニアは通常、車を回収し、巨大なガレージで再訓練する必要があります（これは逆伝播を使用しており、重く、高価で、メモリを大量に消費するプロセスに似ています）。その後、再び送り出します。これは遅く、高価であり、スマートウォッチやドローンなどの小型デバイスには不可能です。

いくつかの新しい手法は、その重たい再訓練なしに AI がその場で学習できるようにしようと試みます。しかし、それらはしばしば AI が正しい方向を見つけるために同じ問題について数十回「考える」ことを必要とし、これはリアルタイムの使用にはまだ遅すぎます。

EVA-0 の登場：「二回推測」の天才

この論文の著者たちは、EVA-0と呼ばれる新しい手法を提案しています。彼らの大きなアイデアはシンプルですが強力です：AI は問題をわずか二回見るだけで、効果的に学習し適応できるでしょうか？

彼らは「はい」と答えます。これが、いくつかの創造的な比喩を用いてどのように機能させたかです：

1. 問題：「近道」の罠

あなたが体重を減らそうとしている（AI を改善する）と想像してください。

近道： 完全に食べるのをやめることができます。体重計（損失関数）は即座に体重が減っていることを示しますが、実際には健康になっているわけではありません。単に飢えているだけです。AI の用語で言えば、モデルは画像を実際に理解するのではなく、自信の数値を巨大にすることで偽りの良い答えを見つける「近道」を見つけます。
EVA-0 の解決策： 著者たちは、AI が不正をするのを防ぐ特別な「食事計画」（スケーリング不変の目的関数）を設計しました。これは AI に、自信の数値を膨らませて良く見せるのではなく、実際に正しい特徴を学習することを強制します。

2. 問題：道に迷うこと（重みの漂移）

あなたが霧の森をハイキングしていると想像してください。道を見つけるためにランダムに歩を進めると、偶然にも trail から何マイルも遠ざかってしまうかもしれません。AI において、改善のためにランダムな「推測」を行うと、モデルが元の訓練からあまりにも遠くへ漂移し、知っていたすべてのことを忘れてしまう可能性があります。

EVA-0 の解決策： 彼らはアンカーを導入しました。これを trailhead の木に結ばれた丈夫なロープだと考えてください。AI は新しい道を見つけるために放浪し探索することを許されますが、ロープが遠くへ漂移し始めると優しく引き戻します。これにより、AI が学習しながらも安定を保つことができます。

3. 問題：方向を推測すること

通常、どちらの方向に進めばよいかを知るために、前に歩いてみて良ければ、次に後ろに歩いて比較するかもしれません。

古い方法： 一部の手法は「片側」の推測（前に歩いて希望をかけるだけ）を使用します。これはノイズが多く、信頼できません。
EVA-0 のトリック： 彼らは対称的な両側アプローチを使用します。AI に問題を二回見るよう求めます。一度は左にわずかな「押しのけ」を、もう一度は右にわずかな「押しのけ」を施してです。
- 魔法： これら二つの押しのけの結果を平均することで、彼らは押しのけなしに答えがどうであったか（つまり予測を行うために）を非常に明確に把握できます。
- 効率性： 左側の押しのけと右側の押しのけの間の差を比較することで、改善のためにどの方向へ動くべきかを正確に特定できます。
- 結果： 彼らは、全く同じ二回の観察から、予測と学習信号の両方を得ます。追加のステップは不要です。

なぜこれが重要なのか

この論文は、2 種類の AI モデル（ViT と ResNet）を使用して、損傷した画像（ぼやけ、ノイズ、雪）でこれをテストしました。

速度： 従来の「逆伝播なし」の方法が 28 回推測する必要があるのに対し、わずか 2 回しか推測しないため、14 倍高速です。
メモリ： 他の方法（約 5GB）と比較して、メモリをわずかな割合（約 822MB）しか使用しません。つまり、携帯電話やセンサーなどの小型のエッジデバイスで実行できます。
性能： 実際には、重く高価な逆伝播を使用するいくつかの方法よりもよく機能します。また、「ソースデータ」を一切必要とせずにこれを行う最初の手法です（汚れた新しい世界から純粋に学習します）。

要約すると： EVA-0 は、AI が過ちからリアルタイムで学習できるようにする手法であり、問題をわずか二回素早く見るだけで、道に迷うことなく、不正を働くことなく、スーパーコンピュータを必要とすることなく行われます。これにより、「凍結」されたモデルが、その場で現実世界に適応できる「生きている」モデルへと変貌します。

技術概要：EVA-0

問題定義

現代の AI モデルは、分布シフト（例：センサーのばらつき、変化するユーザー行動）にさらされる動的環境でますます展開されています。テスト時適応（TTA）は、モデルがラベルなしのテスト時経験から学習できるようにすることを目的としていますが、既存の大多数の手法は逆伝播（BP）に依存しています。BP は多大なメモリオーバーヘッドを招き、リソース制約のあるエッジデバイス、量子化モデル、専用アクセラレータ、またはブラックボックスモデル設定との互換性がありません。

最近の取り組みでは、ゼロ次（ZO）最適化を用いた BP なし TTA が探求されています。しかし、既存の ZO 手法は重大な限界に直面しています：

効率性と性能のトレードオフ: FOA などの手法は安定した信号を得るために多くの順伝播（例：28 回）を必要とする一方、厳密な 2 回順伝播の制約下で動作する ZOA などの手法は、粗くノイズの多い更新方向に悩まされます。
最適化の課題: ZO 最適化は「ショートカット解」（例：決定境界の改善ではなく、logit ノルムの膨張によるエントロピーの低減）を学習しやすく、制御されない重みのドリフトに陥り、厳密な計算制約下では効果的な更新方向の推定に苦慮します。

ここで扱われる核心的な問いは、**「展開されたモデルは、BP を用いずにサンプルあたり 2 回の順伝播のみで、ラベルなしのテスト時経験から安定かつ効果的に進化できるか？」**というものです。

手法：EVA-0

著者らは、厳密な 2 回順伝播の制約下で安定したテスト時モデル進化を達成するために設計された最小限のフレームワークであるEVA-0（ゼロ次勾配による進化的適応）を提案します。EVA-0 は、特定された課題を以下の 3 つの中核的な設計原則によって解決します：

1. サンプルごとの対称両側摂動（SSD）

2 回順伝播の制約を遵守しつつ、片側 ZO 推定量のノイズと非効率性を克服するために：

メカニズム: 各サンプル $x_i$ に対して、モデルは 2 つの対称摂動 $f_{\theta_t + \mu z_{t,i}}(x_i)$ および $f_{\theta_t - \mu z_{t,i}}(x_i)$ を評価します。
二重の有用性: これら 2 回の順伝播は二つの目的を果たします：
- 推論: 出力を平均化することで、テイラー展開による 1 次摂動項の相殺を通じてクリーンなモデル予測を近似し、3 回目の「クリーン」順伝播の必要性を排除します。
- 適応: 2 つの対称出力間の損失の差は、分散の低い両側 SPSA 勾配推定量を提供します。
サンプルごとの独立性: バッチレベルの摂動とは異なり、EVA-0 はミニバッチ内の各サンプルに独立した摂動を適用します。これにより探索される更新方向の多様性が増加し、共有バッチ摂動と比較して真の BP 勾配との整合性が大幅に向上します。

2. ショートカット耐性のある目的関数

ZO 最適化がショートカット（例：学習なしで logit ノルムを膨張させてエントロピーを最小化するなど）を悪用するのを防ぐために：

スケール不変エントロピー: EVA-0 はスケール不変なエントロピー目的関数（ $E_{SR}$ ）を採用します。摂動された出力の logit をその平均ノルムで正規化し、デセンタリング（オンライン中心の減算）を適用します。これにより、モデルが単に logit の大きさの膨張によってエントロピーを低減することを防ぎます。
サンプルごとの特徴アライメント: ソース統計が利用可能な場合、EVA-0 はサンプルごとの特徴アライメント損失（ $\ell_{SWA}$ ）を使用します。単一のノイズの多いサンプルから分散を推定する代わりに、指数移動平均（EMA）を介して特徴の 1 次モーメントと 2 次モーメントをオンラインで追跡し、アライメントのための安定した分散推定を再構築します。

3. アンカー誘導軌道制御

ランダムな ZO 更新に共通する重みドリフトの蓄積を緩和するために：

アンカー誘導摂動: 信頼性の高いアンカー（例：事前学習済み重み、またはオンラインパラメータのゆっくり動く EMA）を維持します。摂動分布 $D_t$ は適応的です：サンプルのサブセットはランダムな方向を探求し、他のサンプルはアンカーに向かうベクトルによって誘導されます。
重み緩和: ZO 更新後、弱い緩和ステップが更新された重みとアンカーを混合します（ $\theta_{t+1} = (1-\gamma)\theta'_{t+1} + \gamma\theta_{anc}$ ）。これは軟らかい境界として機能し、軌道をノイズ除去し、モデルが不安定な領域に過度にドリフトするのを防ぎつつ、適応のための可塑性を維持します。

主要な貢献

厳密な 2 回順伝播設定: 本論文は、サンプルあたり 2 回の順伝播のみで BP を伴わないテスト時モデル進化という困難な領域を確立・調査し、TTA を極めて効率的な実世界展開へと推進します。
ZO 限界の体系的分析: 著者らは、ゼロ次 TTA における 3 つの具体的な障壁、すなわちショートカット解への感受性、制御されない重みドリフト、厳格な予算下での非効率的な更新方向推定を明らかにしました。
EVA-0 フレームワーク: スケール不変目的関数、アンカー誘導軌道制御、サンプルごとの対称摂動を統合した統一手法。
包括的な検証: CNN（ResNet50-GN）、ビジョントランスフォーマー（ViT-Base）、量子化モデル（6 ビット/8 ビット）、継続的ストリーム、およびブラックボックス設定における広範な実験。

実験結果

ImageNet-C（15 種類の破損、深刻度レベル 5）で評価：

性能: EVA-0 は BP ベースの手法（DeYO など）および BP なしベースライン（FOA、ZOA、FOZO）の両方を上回ります。ViT-Base において、EVA-0 は平均精度**66.7%**を達成し、DeYO（65.7%）および ZOA（61.3%）を凌駕しました。
効率性: EVA-0 は 28 回の順伝播を必要とする FOA に対して14 倍の高速化を達成し、BP ベースの手法と比較してメモリ使用量を大幅に削減しました（ViT-Base における DeYO は 5,350MB に対し、EVA-0 は 822MB）。
量子化モデル: EVA-0 は、6 ビット量子化された ViT が非適応の 32 ビット ViT を OOD 精度で 4.4% 上回ることを可能にし、エッジ展開への妥当性を示しました。
継続的適応: 再設定なしでドメインを超えてモデルが進化する長期の継続的 TTA 設定において、EVA-0 は安定性を維持（ResNet50-GN で 45.6% の精度）しますが、他の手法（FOA、DeYO など）は著しい劣化を被ります。
ブラックボックス適応: EVA-0 はブラックボックス設定で入力プロンプトを効果的に適応させ、2 回順伝播の制約下で FOA を 5.3% 上回ります。

意義と主張

本論文は、**「順伝播のみのモデル進化は、制限されたシナリオのための妥協点に過ぎず、適応型展開知能に向けた有望かつスケーラブルな道である」**と主張します。

ショートカット耐性のある目的関数、軌道制御、効率的な方向推定を統合することで、EVA-0 は、極めて厳しい展開制約（2 回順伝播、BP なし）の下でも、効果的かつ安定した、効率的なモデル進化が可能であることを実証しています。この研究は、モデルが重たい計算コストを伴う逆伝播なしに、実世界のリソース制限環境において自身のラベルなし経験から意味ある学習を行うことができることを示唆しています。