Technische Samenvatting: Adversarial ML voor LLM's Maakt Geen Vooruitgang

Probleemstelling

Het artikel betoogt dat het vakgebied van Adversarial Machine Learning (Adversarial ML) een achteruitgang heeft geleden in zijn vermogen om meetbare vooruitgang te boeken sinds de verschuiving van de focus van eenvoudige, goed gedefinieerde classificatiemodellen naar Large Language Models (LLM's). Waar de vroege Adversarial ML zich richtte op "speelgoedproblemen" met duidelijke doelstellingen (bijv. het verkeerd classificeren van een afbeelding onder begrensde pixelperturbaties), presenteren de huidige generatie generatieve modellen voor algemeen gebruik problemen die fundamenteel minder duidelijk gedefinieerd, moeilijker op te lossen en uitdagender om te evalueren zijn.

De auteurs stellen dat de overgang naar generatieve modellen voor algemeen gebruik de wiskundige en experimentele strengheid heeft weggenomen die voorheen de vergelijking van aanvallen en verdedigingen mogelijk maakte. Bijgevolg loopt het vakgebied het risico nog een decennium lang werk te produceren dat er niet in slaagt om betekenisvolle, reproduceerbare wetenschappelijke vooruitgang of robuuste beveiligingsgaranties te leveren.

Methodologie

Dit artikel is een position paper in plaats van een empirische studie met nieuwe experimentele resultaten. De methodologie van de auteurs bestaat uit een kritische analyse van de huidige staat van het vakgebied door middel van:

1. Conceptuele Analyse: Het deconstrueren van de evolutie van adversarial problemen van classificatie naar generatieve modellen, waarbij specifieke structurele veranderingen in probleemdefinitie, oplossingsruimtes en evaluatiemetrieken worden geïdentificeerd.
2. Casestudies: Het systematisch onderzoeken van zes specifieke onderzoeksgebieden om te illustreren hoe de verschuiving naar LLM's de moeilijkheden verergert:
   • Jailbreaks
   • Un-finetunable Models (Niet-fijn te stemmen modellen)
   • Poisoning en Backdoors (Vergiftiging en Achterdeurtjes)
   • Prompt Injections
   • Membership Inference
   • Machine Unlearning
3. Synthese van Tegenargumenten: Het adresseren van alternatieve visies die suggereren dat het vakgebied vooruitgang boekt of dat de toegenomen complexiteit een noodzakelijke stap is naar het oplossen van echte wereldproblemen.

Belangrijkste Bijdragen en Bevindingen

1. Problemen zijn moeilijker te definiëren

De auteurs identificeren drie kerndimensies waar de definitie ambigu is geworden:

• Succes Definiëren: In tegen afstelling bij classificatie (waar succes een foutclassificatiepercentage is), omvat LLM-veiligheid subjectieve, kwalitatieve doelen (bijv. "onschadelijkheid", "behulpzaamheid"). Succesmetrieken vertrouwen vaak op "LLM-als-beoordelaar"-systemen, wat circulariteit, bias en kwetsbaarheid introduceert voor precies de aanvallen die ze meten.
• De Aanvalsruimte Begrenzen: Traditionele robuustheid vertrouwde op begrensde invoerruimtes (bijv. $\ell_p$-normen). Voor LLM's is de aanvalsruimte effectief onbegrensd (elke tekstinvoer), en de dreigmodellen zijn uitgebreid naar modelmodificatie (fine-tuning, pruning) in plaats van alleen invoerperturbatie. Er is geen consensus over wat een "geldige" of "nieuwe" adversarial prompt vormt.
• Data Afbakenen: Het concept van een afzonderlijke trainingsset en een gehouden-testset is opgelost. LLM's worden getraind op enorme, overlappende internetcorpora waar de grenzen tussen trainings- en testdata, en tussen individuele datapunten, vervagen. Dit maakt concepten als "membership" of "unlearning" van specifieke datapunten slecht gedefinieerd.

2. Problemen zijn moeilijker op te lossen

• Ineffectieve Optimalisatie: Gradiëntgebaseerde optimalisatie, die de vooruitgang in beeldclassificatie dreef, is grotendeels ineffectief voor LLM's vanwege discrete tekstinvoer en het gebrek aan een formele verliesfunctie voor veiligheid.
• Afhankelijkheid van Menselijke Inspanning: Omdat geautomatiseerde optimalisatie moeite heeft, zijn de sterkste aanvallen op LLM's nu vaak mensgestuurd (bijv. sociale manipulatie, persona-modulatie) in plaats van algoritmisch. Dit voorkomt de systematische ontdekking van worst-case scenario's.
• Gebrek aan Geprincipeerde Verdedigingen: Zonder formele doelstellingen of begrensde aanvalsruimtes zijn verdedigingen grotendeels ad-hoc (bijv. outputfiltering, virtuele adversarial training). Deze verdedigingen kunnen niet formeel worden geanalyseerd of gecertificeerd, wat leidt tot evaluaties die robuustheid vaak overschatten.

3. Problemen zijn moeilijker te evalueren

• Reproduceerbaarheidscrisis: Veel state-of-the-art LLM's zijn closed-source, worden stilzwijgend bijgewerkt en worden via API's uitgerold. Dit gebrek aan transparantie maakt het onmogelijk om resultaten te reproduceren, verschillende benaderingen eerlijk te vergelijken of vooruitgang in de loop van de tijd bij te houden.
• Evaluatie van Nut: Verdedigingen die schadelijke outputs voorkomen, verslechteren vaak de algemene bruikbaarheid van het model (bijv. het weigeren van alle verzoeken). Het meten van de afweging tussen veiligheid en nut is subjectief en contextafhankelijk, en mist de gestandaardiseerde metrieken (zoals nauwkeurigheid) die in traditionele ML worden gebruikt.

4. Inzichten uit Casestudies

Het artikel beschrijft hoe deze uitdagingen zich manifesteren in specifieke domeinen:

• Jailbreaks: Succes wordt gedefinieerd door "schadelijke" inhoud, wat een gebrek aan een formele definitie heeft. Optimalisatie is moeilijk, wat leidt tot een afhankelijkheid van handmatige prompt engineering.
• Un-finetunable Models: Het dreigmodel omvat nu aanvallers die gewichten van het model kunnen wijzigen, waardoor de zoekruimte wordt uitgebreid van invoergradiënten naar parametergradiënten (orders van grootte groter).
• Poisoning/Backdoors: De meerfasige training van LLM's (pre-training + fine-tuning) en de schaal van data maken het computationeel onhaalbaar om modellen vanaf nul te hertrainen om zuivere baselines voor evaluatie vast te stellen.
• Prompt Injections: Het evalueren hiervan vereist realistische agent-omgevingen met toolgebruik, die duur zijn om te simuleren en vaak vertrouwen op LLM-beoordelaars, wat de evaluatiebias opnieuw introduceert.
• Membership Inference & Unlearning: Het gebrek aan duidelijke databorder en de onmogelijkheid om contrafeitelijke modellen te creëren (hertrainen zonder een specifiek punt) maakt het onmogelijk om rigoureus te bewijzen dat data is "vergeten" of dat een sample deel uitmaakte van de training set.

Resultaten en Claims

Het artikel presenteert geen nieuwe experimentele gegevens, maar synthetiseert de bestaande literatuur om de volgende claims te ondersteunen:

• Stagnatie: Het vakgebied slaagt er niet in om betekenisvolle vooruitgang te boeken omdat de problemen niet langer "toy" problemen zijn met rigoureuze kaders.
• Evaluatiefout: Huidige evaluatiemethoden (LLM-beoordelaars, ad-hoc benchmarks) zijn onvoldoende om vooruitgang te volgen of verdedigingen betrouwbaar te vergelijken.
• De "Real-World" Misvatting: Hoewel sommigen beweren dat het bestuderen van onbegrensde, echte wereldproblemen noodzakelijk is, beweren de auteurs dat zonder formele subproblemen om wetenschappelijke onderzoek te verankeren, het vakgebied niet het onderscheid kan maken tussen echte beveiligingsverbeteringen en artefacten van opaciteit in evaluatie.
• Risico op Obscuriteit: De trend naar complexe, opaciteit-gevoelige verdedigingssystemen (security through obscurity) kan kortetermijnveiligheid bieden, maar belemmert het wetenschappelijke begrip dat nodig is voor langetermijnrobuustheid.

Betekenis

Het artikel dient als een waarschuwend standpunt voor de Adversarial ML-gemeenschap. De betekenis ligt in:

1. Herformulering van het Narratief: Het daagt het heersende optimisme uit dat nieuwere modellen inherent veiliger zijn, door te stellen dat het onvermogen om verdedigingen rigoureus te evalueren een mogelijke stagnatie maskeert.
2. Oproep tot Rigor: Het pleit voor een terugkeer naar goed gedefinieerde, formele subproblemen (vergelijkbaar met $\ell_p$-gebonden perturbaties) als een voorwaarde voor wetenschappelijke vooruitgang. De auteurs stellen dat zonder het vermogen om zorgvuldig afgebakende formele problemen op te lossen, de bredere uitdaging van LLM-beveiliging niet kan worden aangepakt.
3. Methodologische Begeleiding: Het suggereert dat papers expliciet moeten vermelden of hun doel real-world security is (waar vage definities acceptabel kunnen zijn voor directe schadebeperking) of wetenschappelijke vooruitgang (die formele, rigoureuze kaders vereist).

De auteurs concluderen dat tenzij de gemeenschap erin slaagt rigoureuze definities, optimalisatiemethoden en reproduceerbare benchmarks te herstellen, het vakgebied het risico loopt nog een decennium lang te falen in het produceren van betekenisvolle vooruitgang in het beveiligen van LLM's.