Technische Samenvatting: TARO – Temporal Adversarial Rectification Optimization

Probleemstelling

Diepe neurale netwerken blijven kwetsbaar voor adversariële voorbeelden, waarbij onwaarneembare verstoringen leiden tot foutieve voorspellingen. Hoewel adversariële training een dominante verdediging is, lijdt deze onder hoge trainingskosten, specificiteit voor de tijdens het trainen gebruikte familie van verstoringen, en een afweging tussen schone nauwkeurigheid en robuustheid. Bijgevolg is adversariële zuivering opgekomen als een verdedigingsstrategie tijdens de inferentie, die erop gericht is potentieel adversariële invoer terug te brengen naar het natuurlijke beeldmanifold voordat classificatie plaatsvindt.

Standaard op diffusie gebaseerde zuiveringsmethoden injecteren Gaussisch ruis om adversariële structuren te verzwakken en het beeld te reconstrueren via een omgekeerd diffusieproces. Deze methoden staan echter voor een intrinsieke spanning tussen robuustheid en fideliteit:

• Ruisvermindering met lage ruis behoudt lokale beeldinhoud, maar kan adversariële artefacten behouden.
• Ruisvermindering met hoge ruis onderdrukt sterke verstoringen, maar riskeert het weggooien van klasrelevant detail of het afdrijven naar incorrecte semantische modi.

Recente evaluaties geven aan dat claims over stochastische zuivering vaak overdreven zijn wanneer aanvragen er niet in slagen door het zuiveringsproces te differentiëren of rekening te houden met stochastiek. Bovendien vertrouwen bestaande optimalisatiemethoden voor testtijd doorgaans op een enkel diffusieruisregime bij elke update, waardoor multi-schaalinformatie instort tot een enkele lokale schatting. Daarnaast vereisen varianten die bewust zijn van de tegenstander vaak hulpverstorende modellen die zijn getraind op specifieke aanvalsverdelingen, wat hun generaliseerbaarheid beperkt.

Methodologie: TARO

De auteurs stellen Temporal Adversarial Rectification Optimization (TARO) voor, een zuiveringskader voor testtijd dat diffusiestapjes behandelt als schaalafhankelijke ruisverminderingsexperts. In plaats van te vertrouwen op één ruisniveau, aggregeert TARO meerdere ruisverminderingsweergaven langs de diffusietrajectorie om een tijdsgeleide scoreprior te construeren.

Kernmechanisme: Affiene Temporele Aggregatie

TARO formuleert een grof-naar-fijn residu-doel door outputs van meerdere ruisexperts te combineren:

1. Temporeel Product-van-Experts (PoE): De methode definieert een continu-tijds prior waarbij de log-dichtheid een gewogen integraal is van diffusie-geïnduceerde verdelingen over stapjes.
2. Affiene Extrapolatie: In tegenstelling tot standaard PoE, dat niet-negatieve gewichten vereist (convexe interpolatie), staat TARO affiene aggregatie toe waarbij gewichten negatief kunnen zijn, zolang ze maar optellen tot één. Dit stelt de methode in staat grof-naar-fijn correcties uit te voeren die verder gaan dan standaard interpolatie.
3. Doelconstructie: Het doelbeeld $x_{target}$ wordt geconstrueerd als:
   $$x_{target} = u_K + \sum_{j=1}^{K-1} \gamma^{K-j}(u_j - u_{j+1})$$
   Waar $u_j$ de geruisverminderde output van een specifiek ruisregime (expert) voorstelt.
   • Experts met hoge ruis ($u_K$): Leveren globaal gladde structuren met verminderde gevoeligheid voor fragiele adversariële componenten.
   • Experts met lage ruis ($u_j$): Herstelen beeldspecifieke, klasrelevante details.
   • Leidingssterkte ($\gamma$): Beheerst de balans. Wanneer $\gamma > 1$, voert de methode een leiding-achtige extrapolatie uit, waarbij de correctierichting wordt versterkt die wordt gedefinieerd door het verschil tussen fijne en grove experts.

Optimalisatie en Regularisatie

• Optimalisatie: TARO update de invoer door een vast-doelverlies te minimaliseren $\|sg(x_{target}) - x_i\|^2_2$, waarbij $sg(\cdot)$ een stop-gradient-operatie aanduidt om het doel als vast te behandelen tijdens de update.
• Expert-consistentie Regularisatie: Om de versterkte temporele correctie te stabiliseren (vooral voor $\ell_2$-aanvallen waarbij cross-stapjes-residuen instabiel kunnen zijn), introduceert TARO een consistentieverlies $L_{cons} = \sum_{i<j} \|u_i - u_j\|^2_2$. Dit moedigt temporele experts aan om overeenstemming te bereiken over de gezuiverde schatting.
• Hybride Variant (TARO-AA): TARO is ontworpen om complementair te zijn aan likelihood-modellen die bewust zijn van de tegenstander (bijv. AAOpt). De hybride variant vervangt de single-scale diffusieprior in AAOpt door de temporele consensusprior van TARO, waardoor interne temporele rectificatie wordt gecombineerd met externe geleerde residumodellen.

Evaluatieprotocol

Het artikel benadrukt de noodzaak van optimalisatie-bewuste evaluatie. Aangezien TARO een innerlijke optimalisatielus omvat, moeten aanvallen:

• De volledige zuiveraar-classificator-samenstelling targeten.
• Rekening houden met stochastiek via Expectation over Transformation (EOT).
• Hoger-orde gradiënten behouden (graaf-consistente differentiatie) door de innerlijke optimalisatielus. De auteurs tonen aan dat het niet doen hiervan leidt tot ernstig opgeblazen robuustheidsschattingen als gevolg van gradiëntmaskering.

Belangrijkste Bijdragen

1. TARO-kader: Introductie van een zuiveraar voor testtijd die meerdere diffusieruisregimes aggregeert tot een affiene grof-naar-fijn ruisverminderingsdoel, waardoor effectief een robuuste globale structuur wordt gecombineerd met fijn-schaal semantisch behoud.
2. Theoretische interpretatie: Interpretatie van TARO als een affiene extensie van temporele product-van-experts aggregatie, met risicobeleven en lokale Gaussische interpretaties die de rol van de leidingssterkte $\gamma$ verklaren.
3. Uitgebreide evaluatie: Evaluatie onder sterke adaptieve aanvallen, waaronder PGD-EOT, BPDA-EOT, AutoAttack-EOT en DiffBreak. De studie toont aan dat TARO de zero-shot $\ell_\infty$-robuustheid verbetert en de robuustheid verder versterkt wanneer gecombineerd met adversary-aware likelihoods of consistentieregularisatie.
4. Studie van evaluatieprotocol: Een kritische analyse die aantoont dat betrouwbare adaptieve evaluatie van op optimalisatie gebaseerde zuiverders het behoud van hoger-orde gradiënten vereist, waardoor eerdere overschattingen van robuustheid in het veld worden gecorrigeerd.

Experimentele Resultaten

Experimenten werden uitgevoerd op CIFAR-10, CIFAR-100, CIFAR-10-C en Imagenette met WRN-28-10 en WRN-70-16 classificatoren.

• $\ell_\infty$ Robuustheid: TARO bereikt state-of-the-art robuustheid onder zuiveringsmethoden. Op CIFAR-10 met WRN-28-10 onder PGD-EOT bereikt TARO-3 88,57% robuuste nauwkeurigheid, wat beter is dan AAOpt (85,12%) en een hoge schone nauwkeurigheid behoudt (~93,45%).
• $\ell_2$ Robuustheid: Rauwe zero-shot TARO is zwakker tegen $\ell_2$-aanvallen. Het toevoegen van consistentieregularisatie of de adversary-aware likelihood (TARO-AA) herstelt de prestaties echter aanzienlijk. TARO-2 + Consistentie bereikt 88,99% robuuste nauwkeurigheid, wat beter is dan AAOpt (86,40%).
• DiffBreak-aanvallen: Onder de DiffBreak-laagfrequente aanval instorten standaard diffusiezuiverders tot 0,0% robuuste nauwkeurigheid. TARO-2-AA behoudt 90,10% robuuste nauwkeurigheid, wat aanzienlijk beter is dan AAOpt (85,41%).
• Transferabiliteit: TARO blijft effectief op de Imagenette-dataset en onder transfer-DiffBreak-instellingen.
• Ablaties:
  • Leidingssterkte ($\gamma$): De optimale $\gamma$ varieert per aanvalstype (bijv. $\gamma=1,5$ voor $\ell_\infty$, $\gamma=2,0$ voor $\ell_2$).
  • Gradiëntstroom: Het verwijderen van de stop-gradient-operatie vermindert de robuustheid slechts licht, wat bevestigt dat de winst voortkomt uit temporele multi-schaal rectificatie in plaats van gebroken gradiënten.
  • Onafhankelijkheid van classificator: De resultaten gelden voor verschillende classificator-ruggengraten (WRN-28-10 en WRN-70-16).

Betekenis en Claims

Het artikel claimt dat TARO een zero-shot rectificatiesignaal biedt dat direct is afgeleid van het voorgeöorde schone-beeld diffusiemodel, zonder hertraining of hulpverstorende modellen. De betekenis hiervan ligt in:

1. Oplossen van de afweging tussen robuustheid en fideliteit: Door gebruik te maken van een temporeel product-van-experts perspectief, vermijdt TARO zich te committeren aan één punt op het robuustheid-fideliteit spectrum, en balanceert het in plaats daarvan dynamisch globale correctie met semantisch detail.
2. Superioriteit onder adaptieve aanvallen: TARO toont veerkracht tegen sterke adaptieve aanvallen (BPDA-EOT, DiffBreak) waarbij standaard diffusiezuiverders falen, mits het evaluatieprotocol correct rekening houdt met de optimalisatielus.
3. Modulariteit: Het kader is compatibel met bestaande adversary-aware likelihood-modellen, en biedt een weg naar verdere robuustheidswinsten door temporele priors te combineren met geleerde residumodellen.

De auteurs erkennen beperkingen, waaronder verhoogde inferentielatentie door multi-schaal optimalisatie en het empirische karakter van de verdediging (gecertificeerde robuustheid ontbreekt). Zij concluderen dat TARO een stap vooruit is naar betrouwbaardere, transparantere en zorgvuldig geëvalueerde verdedigingen voor veiligheidskritieke toepassingen.