🤖 machine learning

Interleaved Noise Injection Improves Clean, Corrupted, and OOD Performance

Dit artikel stelt een geïnterleavde ruisinjectieschema voor in combinatie met gradiënt-normstabilisatie, wat theoretisch functioneert als een dubbel regularisatiemechanisme om de robuustheid van het model tegen corrupties en distributieverschuivingen op schone, ruisige en out-of-distribution data aanzienlijk te verbeteren met minimale computationele kosten.

Oorspronkelijke auteurs: Matt L. Wiemann, Peter Melchior, Andrew K. Saydjari

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matt L. Wiemann, Peter Melchior, Andrew K. Saydjari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om dieren op foto's te herkennen. Je laat het een foto van een kat zien, en het leert de vorm van de oren en de kromming van de staart herkennen. Maar wat gebeurt er als de foto wazig is, bedekt met sneeuw, of een vreemd kleurfilter heeft? Een robot die alleen getraind is op perfecte, scherpe foto's, kan in de war raken en volledig falen. Dit is de wereld van machine learning, waar computers leren door naar data te kijken. Om echt goed te worden, gebruiken deze computers een proces dat optimalisatie wordt genoemd, wat lijkt op een wandelaar die probeert het laagste punt in een mistige vallei te vinden. Het doel is om het "beste" antwoord te vinden, maar het landschap zit vol met kleine kuilen (lokale minima) die op de bodem lijken, maar dat niet zijn. Om te voorkomen dat men vast komt te zitten in deze ondiepe kuilen, voegen wetenschappers vaak een beetje ruis toe—willekeurige statische ruis of glitches—aan de trainingsdata. Dit is alsof je de benen van de wandelaar een beetje schudt om hem uit een klein gat te helpen en de echte valleibodem te laten vinden. Maar lange tijd dachten wetenschappers dat je de ruis langzaam naar nul moest terugbrengen naarmate de robot leerde, zoals het zachter zetten van achtergrondmuziek.

Stel je nu een nieuw idee voor: in plaats van de muziek zachter te zetten, houd je het ritme aan door het snel aan en uit te zetten. Je speelt het nummer, dan stilte, dan het nummer, dan stilte. Dit is precies wat de onderzoekers aan de Princeton University hebben ontdekt. Ze ontdekten dat interleaved noise injection—een methode waarbij je afwisselend traint met schone, perfecte data en rommelige, ruisige data—de robot slimmer, sterker en beter maakt in het herkennen van dieren, zelfs wanneer de foto's verschrikkelijk zijn. Ze hebben dit niet simpelweg door te gokken ontdekt; ze hebben een wiskundige theorie gebouwd om uit te leggen waarom dit werkt en hebben het getest op beroemde beelddatasets zoals CIFAR-100 en ImageNet. Hun resultaten suggereren dat deze eenvoudige "aan-uit"-schakelaar de computer helpt om slechte leergewoonten te doorbreken zonder dat daar extra rekenkracht of nieuwe data voor nodig is.

De "Aan-Uit"-schakelaar voor Slimere Robots

Het artikel introduceert een slim nieuw trainingsschema genaamd interleaved noise injection. Denk bij het trainen van een neuraal netwerk (de robothersenen) aan het studeren voor een groot examen. Normaal gesproken studeer je misschien met een tekstboek (schone data) en doe je daarna misschien wat oefenopgaven met typfouten (ruisige data). Traditionele methoden zeggen: "Begin met de typfouten om een sterke basis te bouwen, en schakel dan over naar het schone tekstboek," of "Begin met schone data en voeg dan langzaam typfouten toe." Maar de auteurs ontdekten dat deze methoden gebreken hebben. Als je te vroeg schakelt, vergeet je de schone details; als je te laat schakelt, kom je in een sleur terecht.

In plaats daarvan stellen de auteurs een "pingpong"-schema voor. Ze trainen het model op schone data voor een paar rondes (epochs), en schakelen dan plotseling over naar data die bedekt is met "impulsruis" (zoals salt-and-pepper statische ruis) of "Gaussische ruis" (zoals een zachte waas) voor één ronde, om vervolgens weer terug te schakelen naar schone data. Ze herhalen deze cyclus: schoon, schoon, schoon, ruisig, schoon, schoon, schoon, ruisig. Dit constante schakelen werkt als een resetknop. Wanneer het model op de ruisige data werkt, wordt het uit een oppervlakkige, gemakkelijk te vinden oplossing (een lokaal minimum) "gekickt" en gedwongen om te zoeken naar een diepere, robuustere oplossing. Wanneer het terugschakelt naar schone data, herinnert het zich de belangrijke details die het eerder heeft geleerd, zodat het niet alles vergeet.

Waarom de Ruis Belangrijk Is: Twee Soorten "Rommel"

Het artikel maakt een fascinerende ontdekking: niet alle ruis is hetzelfde, en verschillende robotbreinen houden van verschillende soorten rommel.

Impulsruis (Salt-and-Pepper): Dit is alsof je een foto neemt en willekeurig een paar pixels volledig zwart of wit maakt. De auteurs vonden dat dit het beste werkt voor ResNets (een type robotbrein dat naar afbeeldingen kijkt in kleine, lokale stukjes, zoals een mens die naar een gezicht kijkt, kenmerk voor kenmerk). De impulsruis dwingt de robot om te stoppen met het obsessief observeren van specifieke kleine pixels en in plaats daarvan het grotere plaatje te leren zien. Het is alsof je tegen een student zegt: "Leer niet alleen de spelling van elke letter; leer de vorm van het hele woord."
Gaussische Ruis (Zachte Waas): Dit is alsof je een zachte, gelijkmatige waas over de hele afbeelding aanbrengt. Dit werkt het beste voor Vision Transformers (ViTs), die de hele afbeelding in één keer bekijken en proberen verre delen met elkaar te verbinden. De waas dwingt deze modellen om te stoppen met het vertrouwen op grote, voor de hand liggende patronen die misschien nep zijn (zoals een achtergrondtextuur) en te focussen op de werkelijke, lokale details van het object.

De auteurs toonden aan dat als je de verkeerde ruis voor het verkeerde robotbrein gebruikt, het niet veel helpt. Maar als je de ruis afstemt op de "persoonlijkheid" van de robot, zijn de resultaten verbazingwekkend.

De Magie van Stabiliteit: Niet Duizelig Worden

Er was een probleem met dit "aan-uit"-idee. Wanneer je van een schone foto naar een superruisige foto schakelt, kan het leersignaal van de robot (de "gradiënt") alle kanten op gaan, te groot of te klein worden, wat het trainen instabiel maakt. Om dit op te lossen, hebben de auteurs een techniek voor gradient-norm stabilisatie uitgevonden. Stel je voor dat je een auto bestuurt. Wanneer je een hobbelige weg raakt (ruisige data), trap je niet zomaan het gaspedaal in; je past je snelheid aan op basis van hoe hard je reed op de gladde weg. De methode van de auteurs doet precies dat: het schaalt de "duw" die de robot krijgt van de ruisige data op basis van hoe sterk de duw was van de schone data. Dit houdt het trainen vloeiend en voorkomt dat de robot van de weg raakt.

De Resultaten: Beter, Sterker en Sneller

De onderzoekers testten deze methode op twee belangrijke datasets: CIFAR-100 (een set van 100 soorten objecten) en ImageNet (een enorme set van 1.000 soorten objecten). Ze vergeleken hun methode met andere populaire manieren om robots robuust te maken, zoals "Cutout" (het verbergen van delen van de afbeelding) en "AugMix" (het mengen van verschillende beeldstijlen).

De resultaten waren indrukwekkend:

Schone Data: Hoewel de robot minder tijd doorbracht met het bekijken van perfecte foto's, werd hij zelfs beter in het herkennen ervan dan robots die alleen op perfecte foto's getraind zijn.
Gecorrumpeerde Data: Bij tests op foto's met sneeuw, onscherpte of digitale glitches, waren de met interleaved noise getrainde robots aanzienlijk nauwkeuriger. Zo verminderde het toevoegen van impulsruis aan een ResNet50-model op de ImageNet-dataset de foutmarge op gecorrumpeerde afbeeldingen met bijna 2% vergeleken met de standaardmethode.
Out-of-Distribution (OOD): Dit is de "echte wereld"-test. De robots kregen afbeeldingen te zien die totaal niet leken op waar ze op getraind waren (zoals tekeningen in plaats van foto's). De interleaved-methode hielp hen om deze verrassingen beter op te vangen dan bijna elke andere methode.

Het beste deel? Deze methode kost bijna niets extra. Het vereist geen extra computertijd of meer data. Het verandert alleen de volgorde waarin de data wordt getoond. De auteurs ontdekten dat een eenvoudige instelling van het wisselen elke 5 epochs (schoon) met 1 epoch (ruisig) overal uitstekend werkte.

Waarom Dit de Boel Verandert

Het artikel suggereert dat het geheim van een robuuste AI niet alleen gaat over het zien van meer data of het gebruiken van grotere computers. Het gaat over hoe je de data laat zien. Door de "veilige" wereld van schone data te mengen met de "chaotische" wereld van ruisige data in een ritmisch, afwisselend patroon, leert het model flexibel te zijn. Het leert om de kleine, afleidende details te negeren die de robot normaal gesproken in de war brengen, en het leert de ware, onderliggende patronen te vinden die hetzelfde blijven, zelfs wanneer de wereld rommelig wordt.

De auteurs concluderen dat dit een eenvoudig, krachtig hulpmiddel is. Het suggerekt dat we in de toekomst misschien niet complexere robots hoeven te bouwen om met de echte wereld om te gaan; we moeten ze misschien gewoon leren met een beetje chaos, die op precies het juiste moment aan en uit wordt gezet.

Technische Samenvatting: Interleaved Noise Injection verbetert prestaties op schone, gecorrumpeerde en OOD-data

Probleemstelling

Stochastische gradiëntafdaling (SGD) en varianten daarvan zijn de standaard voor het optimaliseren van niet-convexe verliesoppervlakken, maar ze hebben vaak moeite met onderpresterende lokale minima. Hoewel bewuste ruisinjectie (meestal Gaussisch) bekend staat om het verbeteren van robuustheid en generalisatie door te fungeren als een regularisator, kampen bestaande ruisschema's met aanzienlijke trade-offs. Monotone afname-schema's beperken het vermogen van de optimizer om laat in de training uit suboptimale minima te ontsnappen. Daarentegen riskeren "curriculum" (van schoon naar ruis) of "anti-curriculum" (van ruis naar schoon) benaderingen ofwel het verlies van regularisatiekracht, ofwel dat het model onderpresteert op schone data en eerder geleerde kenmerken catastrofaal vergeet. Bov�elijk blijft de specifieke interactie tussen ruistypes (bijv. Gaussisch versus impuls-ruis) en modelarchitecturen (bijv. Convolutionele Neurale Netwerken versus Vision Transformers) onderbelicht in de context van optimalisatiedynamiek.

Methodologie

Interleaved Noise Curriculum

De auteurs stellen een interleaved noise schedule voor die wisselt tussen schone en gecorrumpeerde trainings-epochs, in plaats van de ruis te laten afnemen of slechts één keer te wisselen. Het schema wordt gedefinieerd door twee parameters: $P$ (epochs zonder ruis) en $L$ (epochs met ruis). De ruisinjectie-indicator $I(t)$ is een blokgolffunctie:
$I(t) = \begin{cases} 1 & \text{als } t \mod (P + L) \geq P \\ 0 & \text{anders} \end{cases}$
Dit creëert een "aan-uit-aan-uit" patroon, waardoor de optimizer kan afwisselen tussen het verkennen van het verlieslandschap met ruis en het exploiteren van schone data om beslissingsgrenzen te verfijnen.

Theoretische Analyse van Regularisatie

Het artikel biedt een tweede-orde Taylor-expansie van de verliesfunctie $L(\theta, \tilde{x})$ rond een schone steekproef $x$ om de effecten van twee typen ruis te analyseren:

Impuls (Salt-and-Pepper) Ruis: Gemodelleerd als $\tilde{x} = (1-m_t) \odot x + m_t \odot n$ , waarbij $n$ Bernoulli-ruis is. De verwachte verliesexpansie onthult drie componenten:
- Het schone verlies.
- Een Jacobian-regularisatieterm proportioneel aan het ruisniveau $\sigma_t$ en de inputgevoeligheid $\nabla_x L$ . Deze term straft gevoeligheid voor hoog-contrast pixelkenmerken af.
- Een krommingsregularisatieterm proportioneel aan de diagonaal van de Hessiaan, gewogen door pixelcontrast.
- Conclusie: Impulsruis benadert directionele Jacobian-regularisatie, wat het model aanmoedigt om grootschalige kenmerken te leren die robuust zijn tegen lokale pixelcorruptie.
Gaussische Ruis: Gemodelleerd als $\tilde{x} = x + n_t$ waarbij $n_t \sim \mathcal{N}(0, \sigma_t I)$ . De verwachte verliesexpansie levert op:
- Het schone verlies.
- Een krommingsregularisatieterm proportioneel aan de trace van de Hessiaan ( $\text{Tr}(H_x)$ ).
- Conclusie: In tegen tegenstelling tot impulsruis biedt Gaussische ruis een uniforme krommingsstraf onafhankelijk van lokaal pixelcontrast, wat vergelijkbaar is met Sharpness-Aware Minimization (SAM), maar dan werkend in de inputruimte in plaats van de gewichtsruimte.

Gradiëntnorm-stabilisatie

Een primaire uitdaging bij interleaved ruis is de volatiliteit van gradiëntmagnitudes wanneer er tussen schone en ruisige data wordt gewisseld. Om verdwijnende of exploderende gradiënten te voorkomen, introduceren de auteurs een dynamische schaalfactor $p_t$ :
$p_t = f \cdot \frac{\|\nabla_\theta L(\theta_{t-1}, x)\|_2}{\|\nabla_\theta L(\theta_t, \tilde{x})\|_2}$
waarbij $f$ een afstemparameter is. De ruisige update wordt geschaald door $p_t$ , wat ervoor zorgt dat de magnitude van de updates tijdens ruis-epochs vergelijkbaar blijft met de schone gradiëntmagnitudes.

Belangrijkste Bijdragen

Interleaved Noise Curriculum: Introductie van een ruisschema dat wisselt tussen schone en ruisige epochs, wat beter presteert dan standaard curriculum, anti-curriculum en monotone afname-methoden op schone, gecorrumpeerde en Out-of-Distribution (OOD) taken.
Theoretische Formulering: Afleiding die aantoont dat impulsruis fungeert als een directionele Jacobian-regularisator, terwijl Gaussische ruis een krommingsstraf is. Dit verklaart waarom verschillende ruistypes verschillende architecturen ten goede komen.
Gradiënt-Norm Stabilisatie: Een nieuwe techniek om de volatiliteit van de training te stabiliseren die wordt veroorzaakt door het wisselen van datadistributies, wat het gebruik van hoge ruisniveaus mogelijk maakt zonder de optimalisatie te destabiliseren.
Architectuur-specifieke Voorkeuren: Empirisch bewijs dat Convolutionele Neurale Netwerken (ResNet) meer baat hebben bij impulsruis (het tegengaan van de lokaliteitsbias), terwijl Attention-gebaseerde modellen (ViT) beter presteren met Gaussische ruis (het tegengaan van de neiging om spookachtige grootschalige kenmerken op te pikken).
Orthogonaliteit en Stapeling: Demonstratie dat interleaved ruisinjectie kan worden gestapeld bovenop bestaande robuustheidsmethoden (Cutout, SAM, AugMix, VIPAug) om verdere verbeteringen te leveren met verwaarloosbare computationele kosten.

Experimentele Resultaten

De methode werd geëvalueerd op CIFAR-100, CIFAR-100-C, ImageNet-1k, ImageNet-C en ImageNet-R met behulp van WideResNet, ResNet50 en ViT architecturen.

Schone Prestaties: Tegen de intuïtie in dat ruis de schone prestaties verslechtert, verbeterde het interleaved schema de schone testnauwkeurigheid vergeleken met trainen op enkel schone data. Bijvoorbeeld, op CIFAR-100 verminderde interleaved impulse noise de schone fout met 0,9% ten opzichte van de baseline.
Corruptie en OOD Robuustheid: Significante verbeteringen werden waargenomen op gecorrumpeerde datasets (CIFAR-100-C, ImageNet-C) en OOD-datasets (ImageNet-R).
- Op ImageNet-1k met ResNet50 verminderde interleaved impulse noise de Mean Corruption Error (mCE) met 1,8% en de OOD-fout met 1,4% ten opzichte van de baseline SGD.
- Op ViT verminderde interleaved Gaussian noise de mCE met 3,4% en de OOD-fout met 2,1% ten opzichte van de baseline AdamW.
Vergelijking met Augmentaties: De methode presteerde gelijk aan of beter dan complexe augmentatieschema's zoals Cutout, SAM en AugMix. Wanneer gestapeld met AugMix, leverde het extra winst op (bijv. het verminderen van de CIFAR-100 schone fout met een extra 0,9% en mCE met 0,4%).
Ablatie-studies:
- Gradiëntschaling ( $f$ ): Een waarde van $f \approx 0,4$ bleek de beste balans te bieden tussen schone nauwkeurigheid en corruptierobustheid.
- Periode ( $P$ ): Optimale prestaties trad op met $P \in [5, 10]$ . Te frequente ruis schaadde de schone nauwkeurigheid; te onfrequente ruis verminderde de regularisatiekracht.

Betekenis en Claims

Het artikel claimen dat interleaved noise injection een eenvoudige, effectieve tool is die de prestaties van modellen op schone, ruisige en OOD-data verbetert met vrijwel nul computationele kosten. In tegen tegenover complexe transformaties die extra forward/backward passes vereisen (zoals SAM of AugMix), vereist deze methode alleen het bijhouden van de vorige schone gradiëntnorm om de ruisige updates te schalen.

De auteurs stellen dat het succes van deze methode voortkomt uit het vermogen om:

Lokale Minima te Ontsnappen: De ruis-epochs zorgen voor "kicks" die de optimizer in staat stellen om uit scherpe, suboptimale minima te ontsnappen.
Catastrofaal Vergeten te Voorkomen: De schone epochs fungeren als "herinneringen", waardoor het model nauwkeurige kenmerkrepresentaties behoudt.
Inductieve Biases te Targeten: Door het juiste type ruis te selecteren (impuls voor CNN's, Gaussisch voor ViT's), straft de methode specifiek de faalmodi af die door de inductieve bias van het model worden aangemoedigd (bijv. de overmatige afhankelijkheid van lokale pixelkenmerken in CNN's of spookachtige globale kenmerken in ViT's).

Het werk suggereert dat ruis niet slechts moet worden gezien als een regularisatietool voor robuustheid, maar als een mechanisme om de optimalisatie-objectief zelf te verbeteren, wat leidt tot vlakkere, meer generaliseerbare minima.