🤖 machine learning

Neither Adversarial Training Nor Purification: Emergent Adversarial Robustness from Oscillatory Predictive Learning

Dit artikel introduceert Oscillatory Predictive Learning (OPL), een raamwerk dat kunstmatige Kuramoto-oscillerende neuronen combineert met voorspellende zelfgesuperviseerde pretraining die concurrerende adversariële robuustheid bereikt op CIFAR-10 en CIFAR-100 zonder te vertrouwen op computationeel dure adversariële training of purificatie tijdens de testtijd.

Oorspronkelijke auteurs: Mohammed-Yassine Habibi, Klea Ziu, Martin Takáč, Makoto Yamada

Gepubliceerd 2026-09-09✓ Author reviewed ⓘ

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammed-Yassine Habibi, Klea Ziu, Martin Takáč, Makoto Yamada

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie zijn computersystemen voor computervisie opmerkelijk goed in het herkennen van objecten, van een kat in een boom tot een stopbord op straat. Echter, deze systemen hebben een verborgen kwetsbaarheid. Een mens kan naar een foto van een panda kijken en een panda zien, maar als een aanvaller een minuscuul, bijna onzichtbaar patroon van statische ruis aan de afbeelding toevoegt, kan de computer de afbeelding plotseling en vol vertrouwen identificeren als een gibbon. Deze kwetsbaarheid staat bekend als adversariële zwakte. Jarenlang was de standaardmanier om dit op te lossen het trainen van de computer door hem miljoenen van deze misleide afbeeldingen te tonen, om hem te dwingen te leren de ruis te negeren. Dit proces is ongelooflijk duur, vereist enorme hoeveelheden rekenkracht en tijd, en vertraagt het systeem vaak wanneer het daadwerkelijk wordt gebruikt. Onderzoekers vroegen zich al lang af of er een slimmere manier is om deze systemen vanaf het begin te bouwen, bijvoorbeeld door hun interne structuur van nature resistent te maken tegen dergelijke trucjes, in plaats van de oplossing simpelweg af te dwingen door middel van eindeloze training.

Een team van onderzoekers heeft een nieuwe aanpak voorgesteld die de noodzaak voor deze dure trainingssessies volledig omzeilt. In plaats van het model miljoenen gecorrumpeerde afbeeldingen te voeren, hebben ze een systeem gebouwd dat leert wat de volgende stap is in een sequentie van afbeeldingen, gecombineerd met een uniek intern mechanisme dat de ritmische synchronisatie nabootst die in de natuur wordt gevonden. Ze noemen deze methode Oscillatory Predictive Learning (Oscillerend Voorspellend Leren). De kern van het idee is om de computer een specifiek type interne "klok" of ritme te geven dat zijn verschillende onderdelen in sync houdt, waardoor het moeilijker wordt voor een kleine, kwaadwillige verandering om het hele systeem uit balans te brengen. Wanneer ze deze methode testten, ontdekten ze dat het systeem verrassend taai werd tegen aanvallen, waarbij het hoge niveaus van beveiliging bereikte zonder ooit een enkel adversarieel voorbeeld tijdens de training te hebben gezien.

De onderzoekers testten hun systeem op twee standaard datasets met afbeeldingen die worden gebruikt om computers te trainen: één met tien verschillende categorieën zoals vliegtuigen en auto's, en een andere met een honderd categorieën. Ze daagden het systeem uit met een rigoureuze reeks tests die ontworpen waren om de zwakke punten van het model te vinden. In de eerste test, die betrekking had op de dataset met tien categorieën, identificeerde hun nieuwe methode de afbeeldingen in 76,63% van de gevallen correct, zelfs wanneer de afbeeldingen onder een aanval lagen. Dit is een significante verbetering ten opzicht van andere methoden die vertrouwen op willekeur om aanvallen te weerstaan, die doorga af rond de 71% scoren. Wanneer ze overgingen naar de moeilijkere dataset met honderd categorieën, wist het systeem nog steeds stand te houden met een succespercentage van 50,44%. Deze resultaten zijn opmerkelijk omdat het systeem dit niveau van beveiliging bereikte zonder de zware computationele kosten die gewoonlijk nodig zijn om een model robuust te maken.

Om te begrijpen waarom dit werkte, braken het team hun creatie af in de twee belangrijkste onderdelen. Het eerste deel is een speciaal type neuraal netwerklaag dat oscillerende eenheden gebruikt, die lijken op kleine, gekoppelde pendules die elkaar beïnvloeden. Het tweede deel is een leermethode die het systeem leert om toekomstige weergaven van een afbeelding te voorspellen op basis van huidige weergaven. Wanneer ze deze onderdelen afzonderlijk testten, ontdekten ze dat de oscillerende structuur alleen een solide fundament van defensie bood, maar niet voldoende was op zichzelf. Het voorspellende leergedeelte, toegepast op een standaard computervisiemodel, deed bijna niets om aanvallen te stounen. Echter, toen ze de oscillerende structuur combineerden met het voorspellende leren, werd de defensie veel sterker. De voorspellende training leek de natuurlijke stabiliteit van de oscillerende onderdelen te versterken, waardoor een systeem ontstond dat veel veerkrachtiger was dan de som der delen.

De onderzoekers ontdekten ook dat deze robuustheid iets delicaats is, dat alleen bestaat onder zeer specifieke omstandigheden. Ze ontdekten dat de grootte van de interne "klok"-eenheden enorm belangrijk was. Wanneer de eenheden werden ingesteld op een specifieke, kleine dimensie, was het systeem zeer resistent tegen aanvallen. Maar wanneer ze de grootte van deze eenheden vergrootten om het systeem flexibeler en beter in het herkennen van afbeeldingen onder normale omstandigheden te maken, stortte de defensie plotseling in. Het systeem werd bijna volledig kwetsbaar voor aanvallen, ook al was het beter in het identificeren van schone afbeeldingen. Dit suggereert dat de beveiliging van het systeem niet voortkomt uit het simpelweg groter of krachtiger maken van het model. In plaats daarvan rust het op een strikte, nauwe set regels die de interne ritmes gesynchroniseerd houden. Als het systeem te veel vrijheid krijgt, verliest het zijn vermogen om manipulatie te weerstaan.

Dit werk suggereert een nieuwe weg voorwaarts voor het bouwen van veilige kunstmatige intelligentie. Het daagt de langgevestigde overtuiging uit dat de enige manier om een model robuust te maken het trainen op miljoenen adversariële voorbeelden is. Door een specifieke architecturale vormgeving te combineren met een zelflerende methode, lieten de onderzoekers zien dat robuustheid natuurlijk kan ontstaan uit de manier waarop het systeem is gebouwd en hoe het leert. Hoewel het systeem nog steeds verfijnd moet worden om te werken op grotere, complexere beelddatasets, bieden de bevindingen een veelbelovend alternatief voor de huidige, computationeel dure methoden. Het geeft aan dat door de interne dynamiek van een model zorgvuldig te ontwerpen, we AI kunnen creëren die niet alleen slim is, maar ook inherent moeilijk te misleiden.

Technische Samenvatting: Oscillatory Predictive Learning voor Adversariële Robuustheid

Probleemstelling

Adversariële robuustheid in computer vision wordt momenteel gedomineerd door twee computationeel kostbare paradigma's: adversariële training (het genereren van adversariële voorbeelden tijdens de optimalisatie) en adversariële zuivering (iteratieve denosing tijdens de testtijd). Deze methoden introduceren een aanzienlijke overhead, waarbij recente schalingsanalyses suggereren dat het simpelweg verhogen van de rekenkracht onder de huidige paradigma's onwaarschijnlijk de kloof naar menselijk niveau van robuustheid zal dichten. Bovien is er een gebrek aan sterke baselines voor visiemodellen die robuustheid bereiken zonder te vertrouwen op ofwel de generatie van adversariële voorbeelden, ofwel iteratieve zuivering. Dit artikel onderzoekt of empirische robuustheid in plaats kan voortkomen uit architecturale en representatieleer-gebaseerde inductieve biases.

Methodologie: Oscillatory Predictive Learning (OPL)

De auteurs stellen Oscillatory Predictive Learning (OPL) voor, een tweestapsframework dat specifieke architecturale dynamiek combineert met zelfgesuperviseerde pretraining, waarbij adversariële training volledig wordt vermeden.

1. Architecturaal Component: AKOrN

De encoder maakt gebruik van Artificial Kuramoto Oscillatory Neurons (AKOrN).

Mechanisme: In plaats van statische drempelunits gebruikt het netwerk gekoppelde Kuramoto-stijl oscillatoren. Elke ruimtelijke locatie in de feature map bevat $K$ oscillator-toestanden op een $(N-1)$ -sfeer ( $S^{N-1}$ ).
Dynamiek: Een Kuramoto-laag werkt elke oscillator bij met behulp van een gekoppeld dynamisch systeem (Gelijk. 1), waarbij een intrinsieke rotatiematrix ( $\Omega$ ), geleerde koppelingsgewichten ( $J$ ) en een input-afhankelijke drive-term ( $y$ ) worden geïntegreerd.
Inductieve Bias: De koppelingsterm stimuleert lokaal consistente configuraties in de feature space. Als een perturbatie een subset van lokale toestanden beïnvloedt, trekken de gekoppelde dynamieken de representatie terug naar een consistente configuratie, wat theoretisch de gevoeligheid voor lokale perturbaties vermindert.

2. Leercomponent: X-PhiNet

Het framework maakt gebruik van X-PhiNet voor predictieve zelfgesuperviseerde pretraining.

Doelstelling: Een non-contrastief leerprotocol dat leert door een getransformeerd beeld van een ander beeld te voorspellen, geïnspireerd door biologische temporele predictie (CA3/CA1 hippocampale modellen).
Rol: Het stimuleert representaties die predictief blijven over nabijgelegen observaties van dezelfde scène, wat stabiele latente structuren bevordert.
Interactie: De auteurs hypothetiseren dat predictieve pretraining fungeert als een complementaire inductieve bias voor de oscillerende dynamiek, waardoor de door de architectuur geboden robuustheid wordt versterkt.

3. Trainingspipeline

Fase 1 (Pretraining): De AKOrN-encoder wordt gepretrained met de X-PhiNet-doelstelling gedurende 400 epochs om view-consistente oscillerende representaties te leren.
Fase 2 (Fine-tuning): De pretraining-heads worden vervangen door een classificatie-head, en het model wordt gefinetuned op gelabelde data (CIFAR-10/100) gedurende 400 epochs met behulp van standaard cross-entropy loss.
Stochasticiteit: De standaard checkpoint gebruikt gerandomiseerde initiële oscillator-toestanden. Bijgevolg wordt robuustheid geëvalueerd als een stochastische classifier met AutoAttack-rand met Expectation over Transformation (EoT) ( $K=20$ samples) om gradiënten onder randomiteit correct te schatten.

Belangrijkste Bijdragen

Nieuw Framework: Introductie van OPL, dat state-of-the-art robuustheid bereikt op CIFAR-10 en CIFAR-100 zonder adversariële training of zuivering.
Efficiëntie: Demonstreert een route naar robuustheid met aanzienlijk lagere gemeten trainings-FLOPs vergeleken met representatieve adversariële getrainde modellen, omdat het de kosten van het genereren van adversariële voorbeelden tijdens optimalisatie vermijdt.
Ontkoppelde Analyse: Levert bewijs dat robuustheid voortkomt uit de interactie tussen componenten:
- AKOrN alleen biedt een sterke robuustheidsbias (64,98% op CIFAR-10).
- X-PhiNet alleen op een standaard ResNet levert bijna nul robuustheid op.
- Gecombineerd (OPL) levert 76,63% robuustheid op, wat een amplificatie van +11,65 procentpunt laat zien ten opzichte van AKOrN alleen.
Dynamische Gevoeligheid: Identificeert dat robuustheid geconcentreerd is in een smal dynamisch regime. Specifiek stort de robuustheid bijna discontinu in wanneer de oscillator-dimensie wordt verhoogd van $N=2$ naar $N=4$ , ondanks het feit dat $N=4$ modellen een hogere clean accuracy bereiken.

Experimentele Resultaten

Experimenten werden uitgevoerd op CIFAR-10, CIFAR-100 en CIFAR-10-C onder $\ell_\infty$ ( $\epsilon=8/255$ ) en $\ell_2$ dreigingsmodellen.

Belangrijkste Robuustheidsmetrieken (AutoAttack-rand, EoT $K=20$ ):
- CIFAR-10: OPL bereikt 76,63 ± 0,76% robuuste accuratesse. Dit presteert beter dan de vorige beste stochastische defensie (DiffPure: 71,29%) onder hetzelfde protocol.
- CIFAR-100: OPL bereikt 50,44% robuuste accuratesse.
Diagnostiek:
- Gradient Masking: De methode slaagt voor diagnostiek voor gradient masking; de robuuste accuratesse daalt monotoon met toenemende PGD-aanvalsterkte, en Square Attack (black-box) levert een hogere accuratesse op dan AutoAttack-rand, wat duidt op informatieve gradiënten.
- Transfer Attacks: OPL vertoont verbeterde weerstand tegen transfer attacks vergeleken met AKOrN alleen, wat suggereert dat predictieve pretraining de off-model stabiliteit verbetert.
- Corruptie Robuustheid: OPL behoudt een superieure accuratesse onder additieve Gaussische ruis vergeleken met ResNet en X-PhiNet-alleen baselines.
Ablatiebevindingen:
- Oscillator Dimensie ( $N$ ): Robuustheid is strikt geconcentreerd in de $N=2$ familie. Het verhogen van $N$ naar 4 verhoogt de clean accuracy (tot ~92%), maar doet de robuuste accuratesse bijna naar 0% instorten. Dit suggereert dat robuustheid geen bijproduct is van capaciteit, maar afhankelijk is van specifieke dynamische beperkingen (strikte graad-1 fase consensus).
- Unrolling Stappen ( $T$ ): Het verhogen van de unrolling stappen van 3 naar 5 vermindert zowel de clean als de robuuste accuratesse.

Betekenis en Claims

Het artikel beweert dat adversariële robuustheid kan voortkomen uit de interactie tussen gestructureerde encoder-dynamiek en predictief leren, wat de visie uitdaagt dat hoge robuustheid de generatie van adversariële voorbeelden tijdens training of iteratieve zuivering tijdens de testtijd vereist.

Complementair Pad: Het werk stelt een complementair pad naar robuustheid voor waarbij architecturale inductieve biases (oscillerende koppeling) en zelfgesuperviseerde doelstellingen (predictief leren) interageren om een robuust regime te creëren.
Computationele Efficiëntie: Door adversariële training te vermijden, biedt OPL een computationeel goedkoper pad naar robuustheid, wat significant is gezien de extreme schaleringskosten van huidige adversariële training-paradigma's.
Beperkingen en Reikwijdte: De auteurs merken bescheiden op dat hun experimenten beperkt zijn tot CIFAR-datasets en dat het mechanisme voor robuustheid (specifiek het $N=2$ regime) nog niet volledig theoretisch verklaard is. Ze beweren niet dat dit effect automatisch overdraagbaar is naar alle predictieve SSL-frameworks of grotere architecturen, en identificeren dit als toekomstig werk. Het artikel erkent ook een trade-off: hoewel robuustheid wordt bereikt zonder adversariële training, is de huidige clean accuracy (86,81%) lager dan die van hoog-capacitaire adversariële getrainde modellen.