Auto-ART: Structured Literature Synthesis and Automated Adversarial Robustness Testing

Probleemstelling

Het veld van de evaluatie van adversarial robustness (weerstand tegen kwaadaardige aanval) kampt met fundamentele structurele tekortkomingen die het vertrouwen in betrouwbare ML-implementaties ondermijnen. De auteurs identificeren vier hoofdpunten:

1. Versnipperde protocollen: Er is geen eenduidige standaard voor evaluatie, wat leidt tot inconsistente resultaten.
2. Onopgemerkte gradient masking: Veel verdedigingsmechanismen lijken robuust omdat ze de gradiënten "verbergen" (masking), waardoor aanvalsalgoritmen falen zonder dat de onderliggende kwetsbaarheid is opgelost.
3. Enkelenorm-blik (Single-norm tunnel vision): Evaluaties focussen vaak op één norm (bijv. $\ell_\infty$), terwijl echte aanvallers ruimtelijke, semantische en compressie-stoornissen combineren.
4. Premature generalisatie: Er wordt te snel geconcludeerd dat modellen robuust zijn op gestileerde benchmarks (zoals CTF-taken), terwijl ze in productiecode (real-world) volledig falen.

Methodologie

De auteurs hanteren een tweeledige aanpak die literatuuronderzoek koppelt aan engineering:

1. Gestructureerde Literatuursynthese:

   • Er is een corpus van negen geverifieerde bronnen (publicaties uit ICML, NeurIPS, ICLR, UAI van 2020–2026) geanalyseerd.
   • Zes complementaire protocollen werden toegepast: citatieketen-tracering, gap-scanning, methodologie-audit, cross-paper synthese, assumptiestress-testen en kennismapping.
   • Dit resulteerde in een meta-wetenschappelijke analyse van wat de gemeenschap wel en niet weet, en welke aannames niet zijn gevalideerd.

2. Ontwikkeling van het AUTO-ART Framework:

   • Een open-source Python-framework dat direct de geïdentificeerde gaten in de literatuur oplost.
   • Het framework bevat een Pre-screening Gate die dure aanvalstests voorkomt door eerst snelle indicatoren te gebruiken.
   • Het voert Multi-norm evaluatie uit ($\ell_1, \ell_2, \ell_\infty$, semantisch, ruimtelijk) met rapportage van het "worst-case" scenario.
   • Het bevat Compliance Mapping naar reguliere kaders zoals NIST AI RMF, OWASP LLM Top 10 en de EU AI Act.

Belangrijkste Bijdragen

1. De AUTO-ART Architectuur:

   • 50+ Aanvallen: Gedekt over 7 categorieën (ontwijking, vergiftiging, extractie, inferentie, audio, NLP/LLM, en agentische aanvallen).
   • 28 Verdedigingsmodules: Inclusief TRADES, AWP, en certified training.
   • Robustness Diagnostic Index (RDI): Een snelle, aanval-onafhankelijke metriek die de robuustheid schat op basis van feature-ruimte scheiding. Dit is ongeveer 30x sneller dan volledige PGD-aanvallen.
   • First-Order Stationarity Condition (FOSC): Een detector voor gradient masking die controleert of de gradiëntnormen verdacht laag zijn, wat wijst op een vals veiligheidsgevoel.

2. Identificatie van Vijf Kritieke Research Gaps:

   • G1: Het verschil tussen gemiddelde en worst-case robuustheid (multi-attack) is catastrofaal groot.
   • G2: Er is een groot gat tussen prestaties op CTF-taken en echte productiecode voor LLM-agents.
   • G3: Stochastische verdedigingen (zoals diffusion purification) falen onder correcte gradiëntberekening.
   • G4: Proxy-metrieken (zoals RDI) zijn nog niet gevalideerd voor Vision Transformers en LLMs.
   • G5: Continu robuust trainen biedt geen garantie tegen "open-world" drift.

3. Reguliere Integratie:

   • Het framework genereert SARIF 2.1.0 rapporten en mapt resultaten direct naar eisen van de EU AI Act (Artikel 15) en OWASP standaarden.

Resultaten (Empirische Validatie)

De auteurs hebben AUTO-ART getest op de CIFAR-10 RobustBench leaderboard (10 modellen):

• Detectie van Gradient Masking: De pre-screening gate detecteerde gradient masking in 92% van de gemarkeerde configuraties.
• Betrouwbaarheid van RDI: De rangschikking van modellen door RDI stemt sterk overeen met volledige AutoAttack-resultaten (Kendall $\tau \geq 0.81$).
• Worst-Case Gaten: Multi-norm evaluatie onthulde een gat van 23,5 procentpunten tussen de gemiddelde robuustheid en de worst-case robuustheid bij state-of-the-art modellen. Modellen die als "veilig" werden beschouwd op basis van $\ell_\infty$-tests, bleken kwetsbaar voor $\ell_1$-aanvallen.
• Efficiëntie: De pre-screening biedt een snelheidswinst van ongeveer 30x ten opzichte van volledige AutoAttack-tests. Bij het detecteren van masking kan de totale evaluatietijd met 5-6x worden verkort door gericht te testen in plaats van exhaustief.
• Compliance: Het framework dekt 90% van de OWASP LLM Top 10 risico's volledig.

Betekenis en Conclusie

Dit paper is uniek omdat het voor het eerst een gestructureerde meta-wetenschappelijke analyse combineert met een uitvoerbaar engineering-framework. De auteurs concluderen dat de huidige evaluatiepraktijk structureel gefaald heeft: "gemiddelde" robuustheid is een misleidende metriek die catastrofale worst-case falen maskeert.

De kernboodschap is dat robuustheid alleen geloofwaardig is als de evaluatieprotocol even rigoureus is als de verdediging zelf. AUTO-ART biedt de infrastructuur om dit te bereiken door gradient masking te detecteren, multi-norm scenario's te testen en direct te koppelen aan juridische en veiligheidsregels. De auteurs stellen drie nieuwe technische richtingen voor: worst-case multi-norm training, architectuur-afhankelijke kalibratie van metrieken voor ViTs/LLMs, en ecologisch valide benchmarks voor agenten.