Sample-wise Targeted Adversarial Attacks on Test-time Adaptation

Technische Samenvatting: Steekproefsgewijze Gerichte Adversariële Aanvallen op Adaptatie tijdens het Testen

Probleemstelling
Adaptatie tijdens het testen (TTA) vermindert distributieverschuivingen effectief door modelparameters online bij te werken met behulp van ongelabelde teststromen. Deze afhankelijkheid van de ongelabelde stroom creëert echter een kritiek aanvalsoppervlak. Bestaande adversariële bedreigingen tegen TTA richten zich voornamelijk op ongegerichte degradatie of op klassen-gewijze gerichte aanvallen. Klassen-gewijze aanvallen, die alle steekproeven van een specifieke semantische klasse (bijvoorbeeld alle "stop"-borden) naar een doellabel forceren, zijn inherent onbeslist. Omdat TTA werkt met batches, trekt het forceren van een subset van steekproeven naar een doellabel onbedoeld vergelijkbare onschuldige steekproeven mee, wat resulteert in een opvallende, onnatuurlijke concentratie van het doellabel in de uitvoerdistributie. In implementatiescenario's waar grondwaarheidlabels niet beschikbaar zijn, dient deze distributie-anomalie als een eenvoudig detectiesignaal. Het artikel stelt dat een realistischer en gevaarlijker bedreigingsmodel vereist is: een model waarbij een aanvaller selectief slechts specifieke invoeren kan verkeerd classificeren terwijl de globale labeldistributie van onschuldige query's behouden blijft.

Methodologie
De auteurs stellen een raamwerk voor steekproefsgewijze gerichte aanvallen voor dat werkt onder een grijs-kaderinstelling. De aanvaller heeft toegang tot de initiële voorgetrainde modelarchitectuur en -parameters, maar geen toegang tot het serverzijde TTA-algoritme, de slachtofferdata of grondwaarheidlabels. De aanval berust op een specifieke trigger (bijvoorbeeld een patch of een sinusvormig patroon) die in de invoer van het slachtoffer wordt ingebracht. Het doel is om uitsluitend invoer die deze trigger draagt verkeerd te classificeren, terwijl ervoor wordt gezorgd dat niet-ge-triggerde invoer een voorspellingdistributie behoudt die consistent is met een onschuldige basislijn.

De generatie van de aanval maakt gebruik van een meta-learning-gebaseerde aanpak om het TTA-proces te simuleren met uitsluitend door de aanvaller gecontroleerde data. De optimalisatie omvat twee concurrerende doelen:

1. Primair Aanvalsdobbel ($L_{cls}$): maximaliseert het slagingspercentage van het verkeerd classificeren van trigger-dragende invoer naar een doellabel.
2. Secundair Stel-doel ($L_{stl}$): minimaliseert de divergentie in de uitvoerdistributie van het model op onschuldige invoer veroorzaakt door de aanwezigheid van adversariële steekproeven in dezelfde batch.

Een kritieke uitdaging die wordt geïdentificeerd, is de sterke gradient-misalignering tussen deze twee doelen; empirische analyse toont aan dat hun gradiënten in bijna alle optimalisatiestappen antagonistisch zijn (99,9% negatieve cosinus-similariteit). Standaard multi-task learning (MTL)-methodes, die zoeken naar symmetrische Pareto-compromissen, falen hier omdat ze aanvalssucces opofferen voor marginale winsten in stilte.

Om dit op te lossen, introduceren de auteurs een prioriteitsbewuste gradient-uitlijningsstrategie geformuleerd als een ellipsoïdaal vertrouwensgebied-probleem.

• Prioriteitsasymmetrie: De updaterichting wordt zo geconstrueerd dat deze dicht bij de aanvalgradiënt ($a$) blijft, terwijl beweging naar de stiltegradiënt ($c$) wordt bestraft als deze afwijkt van $a$.
• Ellipsoïdaal Vertrouwensgebied: De updaterichting $d$ is beperkt binnen een ellipsoïde gecentreerd rond $a$ met een metriek $M = I + \lambda uu^\top$, waarbij $u$ de afwijkingsrichting naar de stiltegradiënt voorstelt. Deze geometrie verkleint de toelaatbare stapgrootte langs de misaligneerde stilte-richting, terwijl de aanvalrichting behouden blijft.
• Theoretische Garantie: Het artikel biedt een stelling die bewijst dat deze uitgelijnde richting een monotoon dalen garandeert op het aanvalsdobbel, zelfs onder ernstige gradient-misalignering; een garantie die ontbreekt bij symmetrische baselines.

Belangrijkste Bijdragen

1. Formalisatie van het Bedreigingsmodel: Het artikel definieert een steekproefsgewijze gerichte bedreigingsmodel voor TTA, dat zich onderscheidt van eerdere klassen-gewijze aanvallen door strikte selectiviteit af te dwingen op basis van triggers in plaats van semantische klassen.
2. Nieuwe Optimalisatiestrategie: Het voorstellen van een meta-learning-raamwerk versterkt door prioriteitsbewuste gradient-uitlijning, dat expliciet omgaat met de antagonistische aard van aanval- en stilte-doelen zonder het primaire aanvalsdobbel op te offeren.
3. Theoretische Analyse: Levering van theoretische garanties die aantonen dat de voorgestelde ellipsoïdale updaterichting een effectieve optimalisatie van het aanvalsdobbel garandeert, zelfs wanneer gradiënten misaligneren.
4. Empirische Validatie: Uitgebreide experimenten die hoge aanvalsslagingspercentages aantonen terwijl de distributiestilte behouden blijft.

Experimentele Resultaten
De methode werd geëvalueerd op CIFAR-10-C, CIFAR-100-C en ImageNet-C over vijf TTA-protocollen (TENT, RPL, EATA, SAR, DeYO) met zowel patch- als SIG-triggers.

• Aanvalsslagingspercentage (ASR): De voorgestelde methode bereikt een aanzienlijk hoger ASR dan aangepaste baselines (RTTDP, FCA). Op CIFAR-10-C varieert het ASR van 89,59% tot 95,90% over TTA-methodes, vergeleken met 25–63% voor baselines. Op ImageNet-C overschrijdt het ASR 95% voor de meeste instellingen.
• Stilte (Distributie-consistentie): In tegenstelling tot klassen-gewijze aanvallen die grote KL-divergenties (bijvoorbeeld >0,03) en waarschijnlijkheidspieken veroorzaken, behoudt de voorgestelde methode een labeldistributie die bijna identiek is aan de basislijn zonder aanval (KL $\approx$ 0,006).
• Robuustheid tegen Verdedigingen: De aanval blijft effectief tegen bestaande verdedigingen, waaronder:
  • Steekproeffiltratie: Entropie-gebaseerde filtratie faalt omdat de aanval de onzekerheid minimaliseert om succes te garanderen, wat resulteert in adversariële steekproeven met lage entropie.
  • MedBN: De aanval behoudt een hoog ASR (~80%) tegen Median Batch Normalization, omdat de op standaard BN geoptimaliseerde adversariële trajectorie effectief overdraagt.
  • Exponentiële Glijdende Gemiddelde (EMA): Hoewel EMA aanvankelijk het ASR verlaagt, herstelt eenvoudige data-augmentatie op de adversariële steekproeven het ASR tot ~41%, wat suggereert dat de verdediging eenvoudig kan worden omzeild.

Betekenis en Claims
Het artikel claimt een kritieke kwetsbaarheid in huidige TTA-implementatieparadigma's te onthullen: het vermogen van aanvaller om gerichte verkeerde classificaties ("stille" fouten) in te brengen zonder standaard distributieverplaatsingsalarms te activeren. De auteurs benadrukken dat bestaande TTA-raamwerken geen intrinsieke robuustheid bezitten tegen dergelijke bedreigingen die gericht zijn op ontwijking. Door aan te tonen dat hoog-precisie aanvallen kunnen worden uitgevoerd terwijl de statistische natuurlijkheid van de uitvoerdistributie behouden blijft, onderstreept het werk de noodzaak van beveiligingsbewust ontwerpen voor adaptieve modellen, met name voor veiligheidskritische toepassingen zoals autonoom rijden en medische beeldvorming. De auteurs merken bescheiden beperkingen op, zoals de afhankelijkheid van het gezamenlijk batchen van getriggerte en slachtoffersteekproeven en de potentie dat dalingen in onschuldige nauwkeurigheid kunnen dienen als een secundair detectiesignaal, maar stellen dat de voorgestelde aanval een belangrijke stap voorwaarts is in het begrijpen van de veiligheidsrisico's van online adaptatie.