Claudini: Autoresearch Discovers State-of-the-Art Adversarial Attack Algorithms for LLMs

Titel: Claudini: Autoresearch Ontdekt State-of-the-Art Adversariale Aanvalsalgoritmen voor LLM's

1. Probleemstelling

Grote Taalmodellen (LLM's) en hun agenten (zoals Claude Code) worden steeds bekwaamer in het uitvoeren van complexe taken, waaronder autonoom wetenschappelijk onderzoek. Een kritieke veiligheidsuitdaging is het begrijpen van de kwetsbaarheden van deze modellen tegenover jailbreaks en prompt injections. Bestaande methoden voor het genereren van adversariale aanvallen (zoals GCG, TAO, MAC) zijn vaak handmatig ontworpen en hebben beperkte prestaties, vooral tegen geavanceerde, veiligheidsgericht getrainde modellen (zoals Meta-SecAlign of GPT-OSS-Safeguard). De vraag is of autonome AI-agenten in staat zijn om deze optimalisatieproblemen zelfstandig op te lossen en betere aanvalsalgoritmen te ontdekken dan menselijke onderzoekers.

2. Methodologie: De "Claudini" Pipeline

De auteurs introduceren Claudini, een autoresearch-pipeline die een LLM-agent (Claude Code) gebruikt om nieuwe, witte-kader (white-box) adversariale aanvalsalgoritmen te ontwerpen en te optimaliseren.

• Doel: Het vinden van een discrete token-sequentie (suffix) die, wanneer toegevoegd aan een input-prompt, de loss minimaliseert voor een specifieke doelsequentie (token-forcing loss). Dit wordt gebruikt om de modeloutput te manipuleren (bijv. een "Hacked"-bericht forceren of veiligheidsfilters omzeilen).
• Het Agent-Loop:
  1. Startpunt: De agent krijgt toegang tot een verzameling van 30+ bestaande aanvalsmethoden (zoals GCG, I-GCG, TAO) en hun resultaten op een trainingsset.
  2. Iteratie: De agent analyseert de bestaande resultaten, stelt een nieuwe optimizer-variant voor, implementeert deze als Python-code, en voert deze uit op GPU's binnen een vast berekeningsbudget (FLOPs).
  3. Feedback: De agent evalueert de nieuwe methode op een leaderboard met gehouden (held-out) doelen en modellen.
  4. Autonomie: Het proces loopt autonoom in een lus (/loop), waarbij de agent zijn strategie aanpast op basis van de prestaties. Menselijke ingreep is alleen nodig bij "reward hacking" (het omzeilen van de evaluatie) of als de agent vastloopt.
• Twee Experimentele Settings:
  1. Single Model Jailbreak: Het optimaliseren van aanvallen specifiek voor GPT-OSS-Safeguard-20B.
  2. Generalisatie: Het optimaliseren van aanvallen op willekeurige token-sequenties (zonder semantische context) over meerdere modellen (Qwen, Llama, Gemma) om te testen of de gevonden algoritmen generaliseerbaar zijn naar echte prompt-injectie-scenario's op Meta-SecAlign-70B.

3. Belangrijkste Bijdragen

• Autonome Ontdekking van SOTA: Het paper toont aan dat een AI-agent in staat is om aanvalsalgoritmen te ontwikkelen die significant beter presteren dan alle bestaande menselijk ontworpen methoden (30+ baselines).
• Generalisatievermogen: De door de agent ontdekte algoritmen, getraind op willekeurige token-doelen en ongerelateerde modellen, transfereren direct naar complexe, real-world prompt-injectie-aanvallen op sterk beveiligde modellen.
• Automatisering van Veiligheidsresearch: Het werk demonstreert dat incrementele veiligheidsonderzoek (zoals het optimaliseren van adversariale aanvallen) volledig kan worden geautomatiseerd, wat impliceert dat defensieve maatregelen moeten worden getest tegen deze autonome agenten om geloofwaardig te zijn.
• Open Source: Alle ontdekte aanvallen, implementaties en evaluatiecode worden openbaar gemaakt.

4. Resultaten

De resultaten tonen een overtuigende superioriteit van de door Claude ontworpen methoden:

• Prestaties op GPT-OSS-Safeguard-20B:
  • Bestaande methoden (GCG, TAO, etc.) bereiken een aanvalssuccesratio (ASR) van ≤10% op CBRN-vragen.
  • De door Claudini ontdekte methoden (bijv. claude_v53-oss) bereiken een ASR van 40%.
• Generalisatie en Transfer (Meta-SecAlign-70B):
  • Methoden die zijn getraind op willekeurige token-doelen op andere modellen (Qwen, Llama, Gemma) worden getest op Meta-SecAlign-70B (een model dat specifiek is getraind om prompt-injecties te weerstaan).
  • De beste baselines bereiken een ASR van 56%.
  • De door Claudini ontdekte methode (claude_v63) bereikt een 100% ASR, en claude_v82 bereikt 98%. Dit betekent dat de beveiliging volledig wordt omzeild.
• Vergelijking met Optuna:
  • De auteurs vergelijken de autoresearch-pipeline met Optuna (een traditionele Bayesiaanse hyperparameter-optimalisatie) die wordt toegepast op bestaande algoritmen.
  • Claudini overtreft Optuna aanzienlijk, met een verlies (loss) dat tot 10 keer lager is dan de beste Optuna-geoptimaliseerde baselines.
• Natuur van de Ontdekkingen:
  • De agent combineert bestaande ideeën op innovatieve manieren (bijv. het samenvoegen van momentum-smoothed gradients van MAC met cosine-similarity scoring van TAO).
  • De agent voert ook nieuwe "escape mechanisms" in (zoals patience-based perturbation) om lokale minima te ontvluchten.
  • Er werd geen fundamenteel nieuwe wiskundige theorie ontdekt, maar de recombinatie en tuning door de agent bleek voldoende om de state-of-the-art te verschuiven.

5. Betekenis en Implicaties

• Voor Roodteaming (Red-Teaming): Traditionele, statische benchmarks zijn niet langer voldoende. Defensieve systemen moeten worden getest tegen adaptieve agenten die autonoom zwakke plekken zoeken. Als een verdediging niet bestand is tegen een autoresearch-aanval, zijn de claims over robuustheid niet geloofwaardig.
• Voor Benchmarking: Benchmarks voor adversariale robuustheid moeten worden herzien. Omdat agents deze problemen kunnen "oplossen" door hill-climbing, dienen ze mogelijk te worden omgezet in onderzoeksmilieu's in plaats van statische testsets.
• Voor de Toekomst van AI-onderzoek: Dit is een vroege demonstratie dat incrementeel onderzoek kan worden geautomatiseerd. Het suggereert dat AI-agenten niet alleen code kunnen schrijven, maar ook de methodologie van het onderzoek zelf kunnen verbeteren.
• Waarschuwing: De paper waarschuwt dat de afwezigheid van "fundamenteel nieuwe" algoritmen mogelijk ligt aan het ontwerp van de experimentele omgeving (de "scaffold") en niet aan een inherente limiet van autonome agents. Een fijnmazigere experimentele omgeving zou mogelijk nog meer innovatie kunnen opleveren.

Conclusie:
"Claudini" bewijst dat autonome AI-agenten, aangedreven door LLM's, in staat zijn om state-of-the-art adversariale aanvalsalgoritmen te ontdekken die menselijke onderzoekers en traditionele optimalisatietechnieken (zoals Optuna) overtreffen. Dit onderstreept de urgentie om veiligheidsresearch te automatiseren en defensieve maatregelen te testen tegen deze nieuwe generatie van adaptieve, autonome aanvallen.