🤖 machine learning

Interleaved Noise Injection Improves Clean, Corrupted, and OOD Performance

本論文は、勾配ノルムの安定化と組み合わせたインターリーブ型のノイズ注入スケジュールの提案を行っており、これは理論的に二重の正則化メカニズムとして機能することで、最小限の計算コストで、クリーンなデータ、ノイズを含むデータ、および分布外のデータに対するモデルの堅牢性を大幅に向上させるものである。

原著者： Matt L. Wiemann, Peter Melchior, Andrew K. Saydjari

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Matt L. Wiemann, Peter Melchior, Andrew K. Saydjari

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに写真の中の動物を認識させる方法を教えようとしていると想像してみてください。あなたは猫の写真を見せ、ロボットは耳の形や尻尾の曲線を見分けることを学びました。しかし、もしその写真がぼやけていたり、雪に覆われていたり、変なカラーフィルターがかかっていたらどうなるでしょうか？完璧で鮮明な写真だけで訓練されたロボットは、混乱して完全に失敗してしまうかもしれません。これが、コンピュータがデータを見て学習する「機械学習」の世界です。コンピュータが真に優れたものになるために、彼らは「最適化」と呼ばれるプロセスを用います。これは、霧の立ち込める谷間で、最も低い地点を探そうとするハイカーのようなものです。目標は「最善」の答えを見つけることですが、地形には小さな窪み（局所解）があり、そこが底のように見えても実際にはそうではないことがあります。この浅い窪みに陥るのを避けるため、科学者たちはしばしば、トレーニングデータに少しの「ノイズ（雑音や乱れ）」を加えます。これは、ハイカーの足を揺さぶって、小さな穴から脱け出し、本当の谷底を見つけやすくするようなものです。しかし長い間、科学者たちは、背景音楽をフェードアウトさせるように、学習が進むにつれてノイズを徐々にゼロにすべきだと考えてきました。

ここで、新しいアイデアを想像してみてください。音楽をフェードアウトさせる代わりに、素早くオンとオフを切り替えるとしたらどうでしょう。曲を流し、次に静寂にし、また曲を流し、次に静寂にするのです。これはまさに、プリンストン大学の研究者たちが発見したことです。彼らは、「インターリーブ・ノイズ注入（interleaved noise injection）」、つまり、クリーンで完璧なデータと、乱れたノザイデータを交互に切り替える手法が、ロボットをより賢く、タフにし、ひどい状態の写真であっても動物を認識できるようにすることを発見しました。彼らは単に推測でこれを見つけたのではなく、なぜこれが機能するのかを説明するための数学的理論を構築し、CIFAR-100やImageNetといった有名な画像データセットを用いてテストを行いました。彼らの結果は、この単純な「オン・オフ」のスイッチが、追加の計算能力や新しいデータを必要とせずに、コンピュータを悪い学習習慣から脱出させるのに役立つことを示唆しています。

より賢いロボットのための「オン・オフ」スイッチ

この論文は、「インターリーブ・ノイズ注入」という巧妙な新しいトレーニング・スケジュールを紹介しています。ニューラルネットワーク（ロボットの脳）の訓練を、大きなテストに向けて勉強することに例えてみましょう。通常、あなたは教科書（クリーンなデータ）を使って勉強し、次に間違いのある練習問題（ノイズのあるデータ）を解くかもしれません。従来の方法では、「基礎を固めるために間違いのある問題から始め、その後にクリーンな教科書に切り替える」か、「クリーンな状態から始めて、徐々に間違いを増やしていく」と言われます。しかし、著者たちはこれらの方法には欠点があることを見出しました。切り替えが早すぎると、クリーンな詳細を忘れてしまいます。切り替えが遅すぎると、決まりきったパターンに陥ってしまいます。

代わりに、著者たちは「ピンポン」形式のスケジュールを提案しています。彼らはモデルを数エポック（学習の回数）の間、クリーンなデータで訓練し、その後、突然「インパルス・ノイズ（塩胡椒ノイズのような、パチパチとしたノイズ）」や「ガウス・ノイズ（ソフトなぼかしのようなノイズ）」に覆われたデータへと切り替えます。そして、再びクリーンなデータに戻ります。彼らはこのサイクルを繰り返します：クリーン、クリーン、クリーン、ノイズ、クリーン、クリーン、クリーン、ノイズ。この絶え間ない切り替えは、リセットボタンのように機能します。モデルがノイズのあるデータに直面しているとき、それは浅くて見つけやすい解（局所解）から「蹴り出され」、より深く、より堅牢な解を探すことを強制されます。そしてクリーンなデータに戻るとき、モデルは以前に学んだ重要な詳細を記憶しているため、すべてを忘れてしまうことがありません。

なぜノイズが重要なのか：2種類の「乱れ」

この論文は、非常に興味深い発見をしています。それは、すべてのノイズが同じではないということであり、異なるロボットの脳は異なる種類の乱れを好むということです。

インパルス・ノイズ（塩胡椒ノイズ）： これは、写真を撮った後に、いくつかのピクセルをランダムに完全に黒または白にするようなものです。著者たちは、これがResNet（人間の顔を一つ一つの特徴として見るように、画像を小さな局所的な塊として見るタイプのロボットの脳）に最も効果的であることを発見しました。インパルス・ノイズは、ロボットが特定の小さなピクセルに執着するのをやめさせ、代わりに全体像を学ぶように促します。これは、学生に対して「一文字ずつの綴りを暗記するのではなく、単語全体の形を学びなさい」と言うようなものです。
ガウス・ノイズ（ソフトなぼかし）： これは、画像全体に穏やかで均一なモヤを加えるようなものです。これは、画像全体を一度に見て、遠く離れた部分同士を繋げようとするVision Transformer (ViT) に適しています。ぼかしは、これらのモデルが、偽物の可能性が高い大きな明白なパターン（背景の質感など）に依存するのを止めさせ、実際の物体の局所的な詳細に集中させるように強制します。

著者たちは、もし間違ったノイズを間違ったロボットに使えば、それほど効果がないことも示しました。しかし、ノイズをロボットの「性格」に合わせれば、その結果は驚くべきものになります。

安定性の魔法：目が回らないために

この「オン・オフ」のアイデアには問題がありました。クリーンな写真から非常にノイズの多いものへ切り替えると、ロボットの学習信号（その「勾配」）が制御不能になり、大きすぎたり小さすぎたりして、訓練が不安定になることがあります。これを解決するために、著者たちは「勾配ノルム安定化（gradient-norm stabilization）」技術を考案しました。あなたが車を運転しているところを想像してください。デコボコ道（ノイズのあるデータ）に入ったとき、ただアクセルを踏み込むのではなく、滑らかな道での速度に基づいて速度を調整します。著者たちの手法はまさにこれを行っています。彼らは、クリーンなデータから得られた「押し」の強さに基づいて、ノイズのあるデータからロボットが得る「押し」の強さをスケーリングします。これにより、訓練はスムーズに保たれ、ロボットが脱線するのを防ぎます。

結果：より良く、より強く、より速く

研究者たちは、2つの主要なデータセット、CIFAR-100（100種類のオブジェクトのセット）とImageNet（1,000種類のオブジェクトを含む膨大なセット）でこの方法をテストしました。彼らは、この方法を「Cutout」（画像の一部を隠す手法）や「AugMix」（異なる画像のスタイルを混ぜ合わせる手法）といった、ロボットを頑健にするための他の一般的な方法と比較しました。

結果は目覚ましいものでした：

クリーンなデータ： ロボットは完璧な写真を見ている時間が短かったにもかかわらず、完璧な写真のみで訓練されたロボットよりも、実際にそれらを認識する能力が向上しました。
破損したデータ： 雪、ぼかし、デジタル的な不具合がある写真に対してテストを行った際、インターリーブ・ノイズを用いたロボットは、著しく高い精度を示しました。例えば、ImageNetデータセットにおいて、ResNet50モデルにインパルス・ノイズを加えることで、標準的な手法と比較して、破損した画像に対するエラー率が2%近く減少しました。
分布外（OOD）： これは「現実世界」のテストです。ロボットには、訓練されたものとは全く異なる画像（写真ではなく、例えば絵画など）が見せられました。インターリーブ法は、他のほとんどの手法よりも、こうした予期せぬ事態をうまく処理することができました。

最も素晴らしい点は、この手法に追加のコストがほとんどかからないことです。より多くの計算時間やデータは必要ありません。単にデータの提示順序を変えるだけなのです。著者たちは、5エポック（クリーン）ごとに1エポック（ノイズ）を切り替えるという単純な設定が、あらゆる場面でうまく機能することを発見しました。

これがどのように状況を変えるのか

この論文は、堅牢なAIの秘密は、単により多くのデータを見せることや、より大きなコンピュータを使うことではないことを示唆しています。それは、データを「どのように見せるか」にあります。クリーンなデータの「安全な」世界と、ノイズのある「混沌とした」世界を、リズムに乗ったインターリーブのパターンで混ぜ合わせることで、モデルは柔軟性を学びます。モデルは、通常自分を欺いてしまうような、注意をそらす小さな詳細を無視することを学び、世界が乱れても変わることのない、真の根底にあるパターンを見つけ出すことを学ぶのです。

著者たちは、これがシンプルかつ強力なツールであると結論づけています。将来、現実世界に対応するために、より複雑なロボットを構築する必要はないのかもしれません。ただ、適切なタイミングで、少しの「混沌」を混ぜながら教える必要があるだけなのかもしれないのです。

技術要約：インターリーブ型ノイズ注入によるクリーン、破損、およびOOD性能の向上

問題提起

確率的勾配降下法（SGD）とその派生手法は、非凸な損失曲面の最適化において標準的な手法であるが、性能の低い局所解に陥ることが多い。意図的なノイズ注入（通常はガウスノイズ）は、正則化として機能することで堅牢性と汎化性能を向上させることが知られているが、既存のノイズスケジュールの多くは重大なトレードオフを抱えている。単調減少スケジュールは、学習終盤における劣悪な局所解からの脱出能力を制限する。一方、「カリキュラム」（クリーンからノープリ）または「アンチカリキュラム」（ノイズからクリーン）のアプローチは、正則化能力を失うか、あるいはモデルがクリーンなデータに対して過学習し、以前に学習した特徴を破滅的に忘却するリスクがある。さらに、ノイズの種類（例：ガウスノイズ vs インパルスノイズ）とモデルアーキテクチャ（例：畳み込みニューラルネットワーク vs Vision Transformer）の間の具体的な相互作用は、最適化ダイナミクスの文脈において未だ十分に探索されていない。

手法

インターリーブ型ノイズ・カリキュラム

著者らは、ノイズを減衰させるのではなく、クリーンなエポックと破損したエポックを交互に繰り返すインターリーブ型ノイズスケジュールを提案している。このスケジュールは、 $P$ （ノイズなしのエポック数）と $L$ （ノイズありのエポック数）という2つのパラメータによって定義される。ノイズ注入のインジケータ $I(t)$ は、以下の矩形波関数となる：
$I(t) = \begin{cases} 1 & \text{if } t \mod (P + L) \geq P \\ 0 & \text{otherwise} \end{cases}$
これにより、「オン・オフ・オン・オフ」のパターンが作成され、オプティマイザがノイズを用いて損失曲面を探索するフェーズと、クリーンなデータを用いて決定境界を精緻化するフェーズを交互に切り替えることが可能になる。

正則化の理論的分析

論文では、2種類のノイズの効果を分析するために、クリーンなサンプル $x$ の周りでの損失関数 $L(\theta, \tilde{x})$ の2次テイラー展開を用いている：

インパルス（ソルト・アンド・ペッパー）ノイズ： $\tilde{x} = (1-m_t) \odot x + m_t \odot n$ （ここで $n$ はベルヌーイノイズ）としてモデル化される。期待損失の展開は、以下の3つの成分を明らかにする：
- クリーンな損失。
- ノイズレベル $\sigma_t$ と入力感度 $\nabla_x L$ に比例するヤコビアン正則化項。この項は、高コントラストな画素特徴に対する感度にペナルティを与える。
- 画素コントラストによって重み付けされたヘッセ行列の対角成分に比例する曲率正則化項。
- 結論： インパルスノイズは方向的なヤコビアン正則化を近似しており、局所的な画素の破損に対して頑健な大規模な特徴の学習を促す。
ガウスノイズ： $\tilde{x} = x + n_t$ （ここで $n_t \sim \mathcal{N}(0, \sigma_t I)$ ）としてモデル化される。期待損失の展開は、以下を生成する：
- クリーンな損失。
- ヘッセ行列のトレース ( $\text{Tr}(H_x)$ ) に比例する曲率正則化項。
- 結論： インパルスノイズとは異なり、ガウスノイズは局所的な画素コントラストに依存しない一様な曲率ペナルティを提供し、重み空間ではなく入力空間で動作するSharpness-Aware Minimization (SAM) と同様に機能する。

勾配ノルムの安定化

インターリーブ型ノイズにおける主要な課題は、クリーンなデータとノイズ入りのデータの切り替え時に発生する勾配強度の揮発性である。勾配の消失や爆発を防ぐため、著者らは動的なスケーリング係数 $p_t$ を導入している：
$p_t = f \cdot \frac{\|\nabla_\theta L(\theta_{t-1}, x)\|_2}{\|\nabla_\theta L(\theta_t, \tilde{x})\|_2}$
ここで $f$ はチューニングパラメータである。ノイズを含む更新は $p_t$ によってスケーリングされ、ノイズエポック中の更新の大きさがクリーンな勾度強度と同等になるように調整される。

主な貢献

インターリーブ型ノイズ・カリキュラム： 標準的なカリキュラム、アンチカリキュラム、および単調減少法を凌駕する、クリーンなエポックとノイズ入りのエポックを交互に繰り返すノイズスケジュールを導入した。
理論的定式化： インパルスノイズは方向的なヤコビアン正則化として機能し、ガウスノイズは曲率ペナルティとして機能することを導出した。これにより、なぜ異なるノイズタイプが異なるアーキテクチャに恩恵をもたらすのかを説明している。
勾配ノルムの安定化： データ分布の切り替えによって生じる訓練の揮発性を安定させるための新しい手法を導入し、最適化を不安定にすることなく高いノイズレベルの使用を可能にした。
アーキテクチャ固有の選好： CNN（ResNet）はインパルスノイズ（局所性バイアスの抑制）からより大きな恩恵を受け、Attentionベースのモデル（ViT）はガウスノイズ（偽の広域特徴を拾う傾向の抑制）からより大きな恩恵を受けるという経験的証拠を示した。
直交性とスタッキング： インターリーブ型ノイズ注入が、既存の堅牢化手法（Cutout, SAM, AugMix, VIPAug）の上に積み重ねることが可能であり、計算コストをほとんど増やすことなくさらなる改善をもたらすことを示した。

実験結果

本手法は、WideResNet、ResNet50、およびViTアーキテクチャを用い、CIFAR-100、CIFAR-100-C、ImageNet-1k、ImageNet-C、およびImageNet-Rを用いて評価された。

クリーン性能： ノイズがクリーン性能を低下させるという直感に反して、インターリーブ型スケジュールは、クリーンデータのみでの訓練と比較してクリーンなテスト精度を向上させた。例えば、CIFAR-100において、インターリーブ型インパルスノイズはベースラインと比較してクリーンエラーを0.9%減少させた。
破損およびOODへの堅牢性： 破損データセット（CIFAR-100-C、ImageNet-C）およびOODデータセット（ImageNet-R）において顕著な改善が見られた。
- ResNet50を用いたImageNet-1kでは、インターリーブ型インパルスノイズにより、ベースラインのSGDと比較して平均破損エラー（mCE）が1.8%、OODエラーが1.4%減少した。
- ViTでは、インターリーブ型ガウスノイズにより、ベースラインのAdamWと比較してmCEが3.4%、OODエラーが2.1%減少した。
拡張手法との比較： 本手法は、Cutout、SAM、AugMixなどの複雑な拡張スキームと同等またはそれ以上の性能を示した。AugMixとスタックした場合も、さらなる利得が得られた（例：CIFAR-100のクリーンエラーをさらに0.9%減少させ、mCEを0.4%減少させた）。
アブレーション研究：
- 勾配スケーリング ( $f$ ): $f \approx 0.4$ という値が、クリーン精度と破損への堅牢性の間で最良のトレードオフを提供することが判明した。
- 周期 ( $P$ ): 最適な性能は $P \in [5, 10]$ で得られた。ノイズが頻繁すぎるとクリーン精度を損ない、頻度が低すぎると正則化の強度が低下する。

意義と主張

本論文は、インターリーブ型ノイズ注入が、計算コストを実質的にゼロに抑えつつ、クリーン、ノイズ、およびOODデータのすべてにおけるモデル性能を向上させる、シンプルかつ効果的なツールであることを主張している。追加のフォワード/バックワードパスを必要とする手法（例：SAM）や複雑なデータ変換を必要とする手法とは異なり、本手法は前回のクリーンな勾配ノルムを追跡してノイズ更新をスケーリングするだけで済む。

著者らは、本手法の成功は以下の点に起因すると考えている：

局所解からの脱出： ノイズを含むエポックが「キック」を与え、オプティマイザが鋭く劣悪な局所解から脱出することを可能にする。
破滅的忘却の防止： クリーンなエポックが「リマインダー」として機能し、モデルが正確な特徴表現を保持することを保証する。
誘導バイアスへの対処： 適切なノイズタイプを選択することで（CNNにはインパルス、ViTにはガウス）、モデルの誘導バイアスによって助長される失敗モード（例：CNNにおける局所的な画素特徴への過度な依存、またはViTにおける偽の広域特徴の取得）を特異的に抑制する。

本研究は、ノイズを単なる堅牢性のための正則化ツールとしてではなく、最適化の目的関数自体を改善し、より平坦で汎化性能の高い極小値を導くためのメカニズムとして捉えるべきであることを示唆している。