🤖 machine learning

Interleaved Noise Injection Improves Clean, Corrupted, and OOD Performance

Cet article propose un programme d'injection de bruit entrelacé combiné à une stabilisation de la norme du gradient, qui fonctionne théoriquement comme un mécanisme de double régularisation pour améliorer significativement la robustesse du modèle contre les corruptions et les décalages de distribution sur des données propres, bruitées et hors distribution avec un coût computationnel minimal.

Auteurs originaux : Matt L. Wiemann, Peter Melchior, Andrew K. Saydjari

Publié 2026-07-17

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matt L. Wiemann, Peter Melchior, Andrew K. Saydjari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à reconnaître des animaux sur des photos. Vous lui montrez la photo d'un chat, et il apprend la forme des oreilles et la courbe de la queue. Mais que se passe-t-il si la photo est floue, recouverte de neige ou possède un filtre de couleur étrange ? Un robot entraîné uniquement sur des photos parfaites et nettes pourrait être confus et échouer complètement. C'est le monde de l'apprentissage automatique (machine learning), où les ordinateurs apprennent en observant des données. Pour devenir vraiment performants, ces ordinateurs utilisent un processus appelé optimisation, qui est comme un randonneur cherchant le point le plus bas dans une vallée brumeuse. Le but est de trouver la "meilleure" réponse, mais le paysage est parsemé de petits creux (minima locaux) qui ressemblent au fond, mais ne le sont pas. Pour éviter de rester coincé dans ces creux peu profonds, les scientifiques ajoutent souvent un peu de bruit — du statique aléatoire ou des bugs — aux données d'entraînement. C'est comme secouer les jambes du randonneur pour l'aider à sortir d'un petit trou et trouver le véritable fond de la vallée. Pendant longtemps, les scientifiques ont pensé qu'il fallait réduire progressivement le bruit jusqu'à zéro à mesure que le robot apprenait, comme on atténue une musique de fond.

Maintenant, imaginez une nouvelle idée : au lieu d'atténuer la musique, vous la laissez s'allumer et s'éteindre rapidement. Vous jouez la chanson, puis le silence, puis la chanson, puis le silence. C'est exactement ce que les chercheurs de l'Université de Princeton ont découvert. Ils ont trouvé que l'injection de bruit entrelacée — une méthode consistant à alterner entre des données propres et parfaites et des données désordonnées et bruitées — rend le robot plus intelligent, plus robuste et plus apte à reconnaître des animaux même lorsque les photos sont terribles. Ils n'ont pas seulement trouvé cela par hasard ; ils ont construit une théorie mathématique pour expliquer pourquoi cela fonctionne et l'ont testée sur des jeux de données d'images célèbres comme CIFAR-100 et ImageNet. Leurs résultats suggèrent que ce simple interrupteur "on-off" aide l'ordinateur à échapper aux mauvaises habitudes d'apprentissage sans nécessiter de puissance de calcul supplémentaire ou de nouvelles données.

L'interrupteur "On-Off" pour des robots plus intelligents

L'article présente un nouveau programme d'entraînement ingénieux appelé injection de bruit entrelacée. Imaginez l'entraînement d'un réseau de neurones (le cerveau du robot) comme l'étude pour un examen important. Habituellement, vous pourriez étudier avec un manuel (données propres) et peut-être faire quelques exercices avec des fautes de frappe (données bruitées). Les méthodes traditionnelles disent : "Commencez par les fautes de frappe pour construire des bases solides, puis passez au manuel propre", ou "Commencez par le propre et ajoutez progressivement des fautes de frappe". Mais les auteurs ont trouvé que ces méthodes présentent des failles. Si vous changez trop tôt, vous oubliez les détails précis ; si vous changez trop tard, vous restez coincé dans une routine.

Au lieu de cela, les auteurs proposent un programme de "ping-pong". Ils entraînent le modèle sur des données propres pendant quelques cycles (époques), puis passent soudainement à des données couvertes de "bruit d'impulsion" (comme du statique de type sel et poivre) ou de "bruit gaussien" (comme un flou doux) pendant un cycle, puis reviennent aux données propres. Ils répètent ce cycle : propre, propre, propre, bruité, propre, propre, propre, bruité. Ce changement constant agit comme un bouton de réinitialisation. Lorsque le modèle est sur les données bruitées, il est "secoué" hors d'une solution superficielle et facile à trouver (un minimum local) et forcé de chercher une solution plus profonde et plus robuste. Lorsqu'il revient aux données propres, il se souvient des détails importants qu'il a appris auparavant, de sorte qu'il n'oublie pas tout.

Pourquoi le bruit compte : deux types de "désordre"

L'article fait une découverte fascinante : tout le bruit n'est pas identique, et différents cerveaux de robots aiment différents types de désordre.

Bruit d'impulsion (Sel et Poivre) : C'est comme prendre une photo et rendre aléatoirement quelques pixels totalement noirs ou blancs. Les auteurs ont trouvé que cela fonctionne mieux pour les ResNets (un type de cerveau de robot qui regarde les images par petits morceaux locaux, comme un humain regardant un visage caractéristique par caractéristique). Le bruit d'impulsion force le robot à arrêter d'obséder sur des pixels spécifiques et minuscules pour plutôt apprendre la vue d'ensemble. C'est comme dire à un étudiant : "Ne vous contentez pas de mémoriser l'orthographe de chaque lettre ; apprenez la forme du mot entier."
Bruit Gaussien (Flou doux) : C'est comme ajouter un léger duvet uniforme à toute l'image. Cela fonctionne mieux pour les Vision Transformers (ViT), qui regardent l'image entière à la fois et tentent de connecter des parties distantes. Le flou force ces modèles à cesser de compter sur des motifs larges et évidents qui pourraient être faux (comme une texture d'arrière-plan) et à se concentrer sur les détails locaux réels de l'objet.

Les auteurs ont montré que si vous utilisez le mauvais bruit pour le mauvais robot, cela n'aide pas autant. Mais si vous associez le bruit à la "personnalité" du robot, les résultats sont incroyables.

La magie de la stabilité : ne pas avoir le vertige

Il y avait un problème avec cette idée de "on-off". Lorsque vous passez d'une photo propre à une photo super bruitée, le signal d'apprentissage du robot (son "gradient") peut devenir fou, devenant trop grand ou trop petit, ce qui rend l'entraînement instable. Pour corriger cela, les auteurs ont inventé une technique de stabilisation de la norme du gradient. Imaginez que vous conduisez une voiture. Lorsque vous rencontrez une route accidentée (données bruitées), vous n'appuyez pas simplement sur l'accélérateur ; vous ajustez votre vitesse en fonction de la vitesse à laquelle vous rouliez sur la route lisse. La méthode des auteurs fait exactement cela : elle ajuste la "poussée" que le robot reçoit des données bruitées en fonction de la force de la poussée reçue des données propres. Cela maintient l'entraînement fluide et empêche le robot de dérailler.

Les résultats : Meilleur, plus fort et plus rapide

Les chercheurs ont testé cette méthode sur deux ensembles de données majeurs : CIFAR-100 (un ensemble de 100 types d'objets) et ImageNet (un ensemble massif de 1 000 types d'objets). Ils ont comparé leur méthode à d'autres façons populaires de rendre les robots robustes, comme "Cutout" (cacher des parties de l'image) et "AugMix" (mélanger différents styles d'images).

Les résultats sont impressionnants :

Données propres : Même si le robot a passé moins de temps à regarder des photos parfaites, il est devenu meilleur pour les reconnaître que les robots entraînés uniquement sur des photos parfaites.
Données corrompues : Testés sur des photos avec de la neige, du flou ou des bugs numériques, les robots à bruit entrelacé étaient nettement plus précis. Par exemple, sur l'ensemble de données ImageNet, l'ajout de bruit d'impulsion à un modèle ResNet50 a réduit le taux d'erreur sur les images corrompues de près de 2 % par rapport à la méthode standard.
Hors distribution (OOD) : C'est le test du "monde réel". Les robots ont été confrontés à des images qui ne ressemblaient en rien à celles pour lesquelles ils avaient été entraînés (comme des dessins au lieu de photos). La méthode entrelacée les a aidés à mieux gérer ces surprises que presque toutes les autres méthodes.

La meilleure partie ? Cette méthode ne coûte presque rien de plus. Elle ne nécessite ni plus de temps de calcul, ni plus de données. Elle change simplement l'ordre dans lequel les données sont présentées. Les auteurs ont constaté qu'un réglage simple consistant à changer toutes les 5 époques (propre) avec 1 époque (bruité) fonctionnait très bien partout.

Pourquoi cela change les choses

L'article suggère que le secret d'une IA robuste ne réside pas seulement dans le fait de voir plus de données ou d'utiliser des ordinateurs plus puissants. Il s'agit de comment vous présentez les données. En mélangeant le monde "sûr" des données propres et le monde "chaotique" des données bruitées selon un motif rythmé et entrelacé, le modèle apprend à être flexible. Il apprend à ignorer les détails minuscules et distrayants qui piègent habituellement l'ordinateur, et il apprend à trouver les véritables schémas sous-jacents qui restent constants même quand le monde devient désordonné.

Les auteurs concluent qu'il s'agit d'un outil simple et puissant. Cela suggère qu'à l'avenir, nous n'aurons peut-être pas besoin de construire des robots plus complexes pour gérer le monde réel ; nous devrons peut-être simplement les enseigner avec un peu de chaos, activé et désactivé au bon moment.

Résumé Technique : L'injection de bruit entrelacé améliore les performances sur les données propres, corrompues et OOD

Énoncé du Problème

La descente de gradient stochastique (SGD) et ses variantes sont des méthodes standards pour optimiser les surfaces de perte non convexes, mais elles peinent souvent face à des minima locaux sous-performants. Bien que l'injection délibérée de bruit (généralement gaussien) soit connue pour améliorer la robustesse et la généralisation en agissant comme un régularisateur, les calendriers de bruit existants souffrent de compromis importants. Les calendriers de décroissance monotone limitent la capacité de l'optimiseur à échapper aux minima sous-optimaux en fin d'entraînement. Inversement, les approches de « curriculum » (du propre vers le bruité) ou « anti-curriculum » (du bruité vers le propre) risquent soit de perdre leur pouvoir de régularisation, soit de provoquer un sous-apprentissage des données propres ou un oubli catastrophique des caractéristiques précédemment apprises. De plus, l'interaction spécifique entre les types de bruit (par exemple, gaussien vs impulsionnel) et les architectures de modèles (par exemple, réseaux de neurones convolutifs vs Vision Transformers) reste sous-explorée dans le contexte de la dynamique d'optimisation.

Méthodologie

Curriculum de Bruit Entrelacé

Les auteurs proposent un calendrier de bruit entrelacé qui alterne entre des époques d'entraînement propres et corrompues, plutôt que de faire décroître le bruit ou de basculer une seule fois. Le calendrier est défini par deux paramètres : $P$ (époques sans bruit) et $L$ (époques avec bruit). L'indicateur d'injection de bruit $I(t)$ est une fonction de type créneau :
$I(t) = \begin{cases} 1 & \text{si } t \mod (P + L) \geq P \\ 0 & \text{sinon} \end{cases}$
Cela crée un motif « on-off-on-off », permettant à l'optimiseur d'alterner entre l'exploration de la surface de perte avec du bruit et l'exploitation des données propres pour affiner les frontières de décision.

Analyse Théorique de la Régularisation

Le papier fournit un développement de Taylor du second ordre de la fonction de perte $L(\theta, \tilde{x})$ autour d'un échantillon propre $x$ pour analyser les effets de deux types de bruit :

Bruit Impulsionnel (Sel et Poivre) : Modélisé par $\tilde{x} = (1-m_t) \odot x + m_t \odot n$ , où $n$ est un bruit de Bernoulli. Le développement de l'espérance de la perte révèle trois composantes :
- La perte propre.
- Un terme de régularisation du Jacobien proportionnel au niveau de bruit $\sigma_t$ et à la sensibilité de l'entrée $\nabla_x L$ . Ce terme pénalise la sensibilité aux caractures de pixels à haut contraste.
- Un terme de régularisation de la courbure proportionnel à la diagonale de la Hessienne, pondéré par le contraste des pixels.
- Conclusion : Le bruit impulsionnel approxime une régularisation du Jacobien directionnel, encourageant le modèle à apprendre des caractéristiques à grande échelle robustes à la corruption locale des pixels.
Bruit Gaussien : Modélisé par $\tilde{x} = x + n_t$ où $n_t \sim \mathcal{N}(0, \sigma_t I)$ . Le développement de l'espérance de la perte produit :
- La perte propre.
- Un terme de régularisation de la courbure proportionnel à la trace de la Hessienne ( $\text{Tr}(H_x)$ ).
- Conclusion : Contrairement au bruit impulsionnel, le bruit gaussien fournit une pénalité de courbure uniforme indépendante du contraste local des pixels, agissant de manière similaire à la minimisation de la netteté (Sharpness-Aware Minimization - SAM) mais opérant dans l'espace d'entrée plutôt que dans l'espace des poids.

Stabilisation de la Norme du Gradient

Un défi majeur avec le bruit entrelacé est la volatilité des magnitudes de gradient lors du passage entre des données propres et bruitées. Pour éviter l'évanouissement ou l'explosion des gradients, les auteurs introduisent un facteur d'échelle dynamique $p_t$ :
$p_t = f \cdot \frac{\|\nabla_\theta L(\theta_{t-1}, x)\|_2}{\|\nabla_\theta L(\theta_t, \tilde{x})\|_2}$
où $f$ est un paramètre de réglage. La mise à jour bruitée est mise à l'échelle par $p_t$ , garantissant que la magnitude des mises à jour pendant les époques de bruit reste comparable aux magnitudes de gradient des données propres.

Contributions Clés

Curriculum de Bruit Entrelacé : Introduction d'un calendrier de bruit qui alterne entre époques propres et bruitées, surpassant les méthodes de décroissance monotone, de curriculum et d'anti-curriculum sur les tâches de données propres, corrompues et hors distribution (OOD).
Formulation Théorique : Dérivation montrant que le bruit impulsionnel agit comme un régularisateur du Jacobien directionnel, tandis que le bruit gaussien agit comme une pénalité de courbure. Cela explique pourquoi différents types de bruit bénéficient à différentes architectures.
Stabilisation de la Norme du Gradient : Une technique novatrice pour stabiliser la volatilité de l'entraînement causée par le changement de distribution des données, permettant l'utilisation de niveaux de bruit élevés sans déstabiliser l'optimisation.
Préférences Spécifiques à l'Architecture : Preuves empiriques démontrant que les réseaux de neurones convolutifs (ResNet) bénéficient davantage du bruit impulsionnel (pour contrer le biais de localité), tandis que les modèles basés sur l'attention (ViT) performent mieux avec le bruit gaussien (pour contrer la tendance à capter des caractéristiques globales fallacieuses).
Orthogonalité et Empilement : Démonstration que l'injection de bruit entrelacé peut être empilée sur des méthodes de robustesse existantes (Cutout, SAM, AugMix, VIPAug) pour obtenir des améliorations supplémentaires avec un coût computationnel négligeable.

Résultats Expérimentaux

La méthode a été évaluée sur CIFAR-100, CIFAR-100-C, ImageNet-1k, ImageNet-C et ImageNet-R en utilisant les architectures WideResNet, ResNet50 et ViT.

Performance sur les Données Propres : Contrairement à l'intuition selon laquelle le bruit dégrade les performances sur les données propres, le calendrier entrelacé a amélioré la précision de test sur les données propres par rapport à un entraînement uniquement sur données propres. Par exemple, sur CIFAR-100, le bruit impulsionnel entrelacé a réduit l'erreur sur les données propres de 0,9 % par rapport à la référence.
Robustesse aux Corruptions et OOD : Des améliorations significatives ont été observées sur les jeux de données corrompus (CIFAR-100-C, ImageNet-C) et les jeux de données OOD (ImageNet-R).
- Sur ImageNet-1k avec ResNet50, le bruit impulsionnel entrelacé a réduit l'erreur de corruption moyenne (mCE) de 1,8 % et l'erreur OOD de 1,4 % par rapport à la référence SGD.
- Sur ViT, le bruit gaussien entrelacé a réduit le mCE de 3,4 % et l'erreur OOD de 2,1 % par rapport à la référence AdamW.
Comparaison avec les Augmentations : La méthode a égalé ou surpassé des schémas d'augmentation complexes tels que Cutout, SAM et AugMix. Lorsqu'elle était empilée avec AugMix, elle apportait des gains supplémentaires (par exemple, réduisant l'erreur propre de CIFAR-100 de 0,4 % supplémentaire et le mCE de 0,4 %).
Études d'Ablation :
- Échelle du Gradient ( $f$ ) : Une valeur de $f \approx 0,4$ a offert le meilleur compromis entre la précision sur les données propres et la robustesse aux corruptions.
- Période ( $P$ ) : La performance optimale s'est produite avec $P \in [5, 10]$ . Un bruit trop fréquent nuisait à la précision sur les données propres ; un bruit trop peu fréquent réduisait la force de régularisation.

Signification et Revendications

Le papier affirme que l'injection de bruit entrelacé est un outil simple et efficace qui améliore les performances du modèle sur les données propres, bruitées et OOD avec un coût de calcul quasi nul. Contrairement aux méthodes nécessitant des passages forward/backward supplémentaires (ex: SAM) ou des transformations de données complexes, cette méthode ne nécessite que le suivi de la norme du gradient propre précédent pour mettre à l'échelle les mises à jour bruitées.

Les auteurs soutiennent que le succès de cette méthode provient de sa capacité à :

Échapper aux Minima Locaux : Les époques de bruit fournissent des « coups » qui permettent à l'optimiseur d'échapper aux minima nets et sous-optimaux.
Prévenir l'Oubli Catastrophique : Les époques propres agissent comme des « rappels », garantissant que le modèle conserve des représentations de caractéristiques précises.
Cibler les Biais Inductifs : En sélectionnant le type de bruit approprié (impulsionnel pour les CNN, gaussien pour les ViT), la méthode pénalise spécifiquement les modes de défaillance encouragés par le biais inductif du modèle (ex: dépendance excessive aux caractéristiques de pixels locales pour les CNN ou aux caractéristiques globales fallacieuses pour les ViT).

Ce travail suggère que le bruit ne doit pas seulement être vu comme un outil de régularisation pour la robustesse, mais comme un mécanisme pour améliorer l'objectif d'optimisation lui-même, menant à des minima plus plats et plus généralisables.