Technische Samenvatting: Talk is (Not) Cheap: Een Taxonomie en Audit van de Dekking van Benchmark voor LLM-aanvallen

Probleemstelling

De snelle proliferatie van onderzoek naar de beveiliging van Large Language Models (LLM) heeft een gefragmenteerd landschap gecreëerd waarin het bedreigingsoppervlak slecht wordt begrepen en de evaluatie-infrastructuur niet is afgestemd op de werkelijke risico's. De auteurs identificeren drie onderling verbonden problemen:

1. Gebrek aan kwantitatieve taxonomie: Bestaande surveys behandelen slechts 50–150 papers handmatig, wat niet schaalbaar is met de groei van het veld (nu meer dan 932 unieke papers met 6.300+ vermeldingen van aanvallen in het corpus van de auteurs).
2. Fragmentatie van namen: Aanvallen worden frequent opnieuw ontdekt met lichte variaties, wat leidt tot meerdere oppervlaktelijke namen voor dezelfde techniek (bijvoorbeeld de GCG-aanval verschijnt onder 29 verschillende namen in 376 papers), wat de reproduceerbaarheid en meta-analyse belemmert.
3. Blind vlekken in evaluatie: Huidige benchmarks missen "externe validiteit". Hoewel individuele benchmarks intern consistent kunnen zijn, is het onduidelijk of de collectieve evaluatie-infrastructuur het volledige aanvalsoppervlak dekt. Zonder een duidelijke kaart van het bedreigingslandschap kunnen verdedigingskaders gebruikers tot ongedefinieerde mate kwetsbaar laten.

Methodologie

De auteurs hebben een datagedreven raamwerk opgezet om de dekking van LLM-aanvalsbenchmarks te auditen tegen het daadwerkelijke bedreigingsoppervlak.

Corpus en Extractie

• Data Bron: Een corpus van 932 arXiv-papers gepubliceerd tussen H1 2023 en H1 2026, afkomstig uit de Promptfoo LLM Security Database.
• Extractiepijplijn: Gemini 3.1 Pro werd gebruikt om aanvallen tijdens inferentie te extraheren (exclusief aanvallen in de trainingsfase zoals data poisoning). Het proces leverde 6.366 initiële vermeldingen van aanvallen op.
• Normalisatie: Door middel van case-normalisatie, het samenvoegen van aliassen en het verwijderen van dubbele gegevens werden de vermeldingen gereduceerd tot 2.521 unieke aanvalsgroepen. Dit proces omvatte handmatige curatie van meer dan 50 variantclusters om de fragmentatie van namen op te lossen.
• Validatie: Een classificatiesysteem met drie niveaus (Direct zoeken, Fuzzy matching, Semantische matching) werd toegepast. Menselijke evaluatie van 200 gestratificeerde steekproeven leverde 92,0% nauwkeurigheid op, en de onderlinge overeenstemming tussen annotatoren op het niveau van matrixcellen bedroeg 86,1%.

Taxonomie en Constructie van de Matrix

De auteurs ontwikkelden twee complementaire structuren:

1. 507-Leaf Taxonomie: Een hiërarchische structuur die aanvallen organiseert in vijf categorieën voor inferentie (Jailbreaking, Prompt Injection, Informatieopenbaarmaking, Serviceverstoring, Decoding Manipulatie) en één orthogonale categorie voor methoden voor Aanvalsgeneratie. 401 bladeren zijn gevuld door het corpus; 106 zijn placeholders afgeleid van threat modeling.
2. 4×6 Doel × Techniek Matrix: Gebaseerd op het STRIDE-bedreigingsmodel, koppelt deze matrix aanvallen op basis van:
   • Doelrijen (4): Safety & Alignment Bypass, System & Tool Hijacking, Information Exfiltration en Service Disruption.
   • Techniekcolommen (6): Instructional, Persuasion, Obfuscation, Cross-Modal, Indirect Injection en Model Internals.
   • Classificatielogica: Aanvallen worden toegewezen aan cellen op basis van de specifieke verdedigingslaag die ze omzeilen (bijvoorbeeld inputfilters versus alignment-training) en het adversariële doel.

Audit van Benchmarkdekking

De auteurs hebben zes publieke benchmarks (HarmBench, InjecAgent, AgentDojo, AdvBench, JailbreakBench, StrongREJECT) op de matrix in kaart gebracht door geëvalueerde methoden te koppelen aan hun corresponderende taxonomiebladeren en matrixcellen.

Belangrijkste Resultaten

1. Extreme Concentratie en Fragmentatie

• Onderzoeksmisbalans: Safety & Alignment Bypass domineert de literatuur en is goed voor 74,4% van alle taxonomiebladeren (377/507).
• Naamchaos: De GCG-aanval is het meest geciteerde maar inconsistent benoemde, en verschijnt in 29 vormen. Zestig taxonomiebladeren fungeren als "opvangnetten", waarbij elk meer dan 10 verschillende technieken absorbeert, wat de schijnbare nieuwheid opblaast en vergelijking bemoeilijkt.
• Temporale trends: Hoewel Safety Bypass dominant blijft, daalde het aandeel unieke aanvalsgroepen van 92% naar 74% tussen H2 2023 en H1 2026, met een overeenkomstige stijging in System Hijacking en Information Exfiltration. De nieuwheidsgraad stabiliseerde echter op ongeveer 18%, wat suggereert dat het veld rijpt maar nog steeds groeit.

2. Kritieke Evaluatiekloven

De audit toont aan dat de drie belangrijkste benchmarks (HarmBench, InjecAgent, AgentDojo) niet-overlappende cellen bezetten en gezamenlijk maximaal 25% van de 24-cell matrix dekken.

• Zero Overlap: HarmBench richt zich uitsluitend op Safety Bypass (met behulp van Obfuscation, Persuasion, Instructional en Cross-Modal technieken), terwijl InjecAgent en AgentDojo zich richten op Indirect Injection voor System Hijacking en Information Exfiltration.
• Grote Blinde Vlekken:
  • Service Disruption (Hele Rij): Geen enkele benchmark evalueert aanvallen die gericht zijn op beschikbaarheid (bijvoorbeeld resource exhaustion, denial-of-wallet). Ondanks gepubliceerde aanvallen die een token-versterking van 46× en een toename van de latentie met 100× bereiken, heeft deze categorie geen gestandaardiseerde evaluatie.
  • Model Internals (Hele Kolom): Geen enkele benchmark evalueert mechanismen zoals activation steering, logit suppression of side-channel probing. Aanvallen in deze categorie (bijvoorbeeld logit suppression) hebben een aanvalsuccespercentage van 96% op standaardgedrag aangetoond, maar blijven ongetest door de bestaande infrastructuur.
  • Safety Bypass × Indirect Injection: Geen enkele benchmark test of indirecte injectie via externe data de veiligheidsalignatie kan omzeilen om schadelijke inhoud te produceren.

3. Structurele Eigenschappen

Het artikel identificeert dat het veld lijdt aan "dataset misalignement" (benchmarks die te smal bemonsteren uit de techniekruimte) en "metrics misalignement" (gebrek aan metrics voor kosten, latentie of witte-doos-toegang die vereist zijn voor bepaalde aanvallen). De concentratie van onderzoek op Safety Bypass creëert systematische blinde vlekken waar aanvallen in productieomgevingen het kostbaarst zijn.

Betekenis en Claims

Het artikel claimt dat de primaire bijdrage niet alleen het vinden van kloven is, maar het bieden van een herbruikbaar raamwerk voor validatie buiten benchmarks om. Door over te stappen van het beoordelen of een enkele benchmark meet wat het beweert (interne validiteit) naar het auditen of de evaluatie-infrastructuur van het veld collectief het bedreigingsoppervlak dekt (externe validiteit), bieden de auteurs een mechanisme om evaluatiekloven in de loop van de tijd te volgen.

De auteurs stellen dat:

• Het huidige evaluatielandschap structureel onvolledig is, waardoor hele STRIDE-bedreigingscategorieën (Service Disruption, Model Internals) zonder gestandaardiseerde publieke evaluatie blijven.
• De vrijgegeven taxonomie, aanvalrecords en dekkingstoewijzingen als uitbreidbare artefacten dienen. Naarmate nieuwe benchmarks ontstaan, kunnen ze worden gekoppeld aan dezelfde matrix, waardoor de gemeenschap objectief kan bepalen of dekkingkloven worden gedicht.
• Het aanpakken van deze kloven nieuwe meetinfrastructuur vereist (bijvoorbeeld per-request resource accounting voor Service Disruption) die huidige benchmarks op prompt-niveau niet kunnen bieden.

Het werk concludeert dat de concentratie van benchmarks op een smal stuk van het aanvalsoppervlak een structureel probleem is, geen toeval, en dat het dichten van deze kloven essentieel is voor de rijping van de LLM-beveiligingsevaluatie.