Technische Samenvatting: AI-beveiligingsbeleid moet systemen en niet modellen targeten

Probleemstelling

Het artikel adresseert een kritieke lacune in het AI-beveiligingsbeleid: de heersende aanname dat het beperken van de toegang tot frontier-AI-modellen (bijvoorbeeld Anthropic's "Mythos" of OpenAI's "Trusted Access"-modellen) offensieve capaciteiten effectief mitigeert. De auteurs betogen dat deze aanpak gebrekkig is omdat de offensieve capaciteiten die dergelijke beperkingen motiveren – specifiek autonome kwetsbaarheidsontdekking en het omzeilen van veiligheidsmaatregelen – voornamelijk resideert in het systeemstelsel (coördinatie, architectuur, evolutionaire optimalisatie) en niet in de modelgewichten zelf.

De centrale hypothese is dat gecoördineerde multi-agent systemen die kleine, open-weight modellen (1,2 miljard parameters) draaien op handelsware-hardware, de capaciteitsklasse van beperkte frontier-modellen kunnen reproduceren, waardoor beperkingen op toegang tot een enkel model ontoereikend zijn als verdedigingsstrategie.

Methodologie

De auteurs presenteren swarm-attack, een open-source framework voor adversariele testen, en voeren twee distincte experimenten uit om hun hypothese te valideren.

1. Het Swarm Framework

De kern van de methodologie is een gecoördineerde zwerm van lichtgewicht Large Language Models (LLM's) die opereren op consumentenhardware. Belangrijke architecturale kenmerken zijn:

• Populatiegebaseerd zoeken: In plaats van een enkele agent opereren meerdere instanties (bijvoorbeeld vijf modellen van 1,2 miljard parameters) parallel.
• Gedeeld geheugen: Agents delen succesvolle aanvalsstrategieën en bevindingen.
• Evolutionaire optimalisatie: Strategieën evolueren over generaties met behulp van crossover en mutatiesnelheden om aanvallen te verfijnen.
• Roldifferentiatie: Agents krijgen specifieke rollen toegewezen (bijvoorbeeld rollenspelen op basis van persona, obscuratie, evolutionaire mutatie) om diverse aanvalsvectoren te verkennen.

2. Experiment 1: Adversariele Veiligheidstesten

• Doel: Frontier-modellen GPT-4o en Claude Sonnet-4.
• Opzet: Een zwerm van vijf modellen van 1,2 miljard parameters (LFM2.5-1.2B-Thinking) lanceerde 225 aanvallen per doelwit over 15 generaties.
• Evaluatie: De auteurs bekritiseren de standaard "Technische Succesratio" (LLM-as-judge scoring) omdat deze valse positieven genereert door formatconformiteit te belonen boven daadwerkelijke schade. Zij introduceren de Effectieve Schaderatio (EHR), gedefinieerd als het aandeel aanvallen dat handmatig geverifieerde, actievere schadelijke inhoud produceert.
• Vergelijking: De prestaties van de zwerm tegenover frontier-modellen werden vergeleken met de prestaties van dezelfde zwerm die autonoom draait zonder het stelsel.

3. Experiment 2: Ontdekking van Softwarekwetsbaarheden

• Doel: Een opzettelijk kwetsbare C-toepassing ("SwarmApp") met 9 ingeplante kwetsbaarheden verspreid over 9 distincte CWE-categorieën (bijvoorbeeld bufferoverlopen, integer-overlopen, commando-injectie).
• Opzet: Het experiment vergeleek twee configuraties:
  • Geassisteerde pijplijn: Het 1,2B-model ingebed in een volledig systeemstelsel inclusief handgemaakte exploit-zaden, regex-patroondetectie, rollen-gespecialiseerde prompts, post-hoc CWE-normalisatie en AddressSanitizer (ASan) runtime-verificatie.
  • Autonome configuratie: Hetzelfde model dat draait zonder de handgemaakte stelselcomponenten, uitsluitend vertrouwend op zijn eigen redenering om fuzz-invoer te genereren en kwetsbaarheden te citeren.
• Maten: Recall van kwetsbaarheden (crash-geverifieerd en citatie-geverifieerd) en runtime op consumentenhardware (MacBook M-serie).

Belangrijkste Resultaten

Experiment 1: Veiligheid omzeilen

• GPT-4o: De zwerm bereikte een Effectieve Schaderatio van 45,8%, waarbij 49 responsen van kritieke ernst werden geproduceerd met gedetailleerde aanvalsmethodologieën en sabotagetechnieken. Het succespercentage verdubbelde binnen 15 generaties van zelfoptimalisatie.
• Claude Sonnet-4: Ondanks een "Technische Succesratio" van 40% (gebaseerd op LLM-judge scoring), was de Effectieve Schaderatio 0%. Het model slaagde erin aanvalsprompts opnieuw te interpreteren of weigerde expliciet schadelijke inhoud, zelfs wanneer het technisch "gejailbreakt" was volgens de metrieken van de rechter.
• Vinding: Veiligheidseigenschappen variëren aanzienlijk tussen modellen; sommige vertrouwen op inputfiltering (die kan worden omzeild), terwijl anderen veiligheid dieper in de generatie inbedden.

Experiment 2: Ontdekking van Kwetsbaarheden

• Geassisteerde pijplijn: Het volledige systeemstelsel bereikte 100% recall (9/9 kwetsbaarheden) in ongeveer vier minuten op een consumentenlaptop.
• Autonoom model: Toen stelselcomponenten (zaden, regex, normalisatie) werden uitgeschakeld, bereikte het 1,2B-model 0/9 crash-geverifieerde recall en slechts 2/9 citatie-geverifieerde recall.
• Vinding: Het 1,2B-model kon verdachte code-regels identificeren, maar slaagde er niet in om het type kwetsbaarheid correct te classificeren of de multi-stap invoer te construeren die nodig is om crashes te triggeren. De gehele capaciteitskloof (9/9 vs. 0/9) was toe te schrijven aan het systeemstelsel, niet aan de intrinsieke redeneercapaciteit van het model.

Belangrijkste Bijdragen

1. Empirisch Bewijs van Reproduceerbaarheid: Het artikel demonstreert dat de capaciteitsklasse die beperkte releases motiveert (autonome kwetsbaarheidsontdekking en veiligheidsomzeiling) tegen effectief nul kosten reproduceerbaar is met open-weight modellen en handelsware-hardware.
2. Introductie van Effectieve Schaderatio (EHR): De auteurs stellen EHR voor als een superieure metriek voor veiligheidsbeoordeling, en betogen dat de "Technische Succesratio" vaak faalt in het onderscheid maken tussen formatconformiteit en daadwerkelijke generatie van schadelijke inhoud.
3. Onderscheid tussen Systeem en Model: De studie kwantificeert de bijdrage van het "stelsel" versus het "model", en toont aan dat bij complexe taken zoals kwetsbaarheidsontdekking de systeemarchitectuur (coördinatie, tool-integratie, evolutionair zoeken) de primaire drijver van capaciteit is, niet de modelgrootte.
4. Open-source Framework: De release van swarm-attack biedt een reproduceerbare, open testomgeving voor het meten van adversariele robuustheid, onafhankelijk van toegang tot proprietaire API's.

Betekenis en Claims

Het artikel betoogt dat AI-beveiligingsbeleid moet verschuiven van beperkingen op modelniveau naar beoordeling van capaciteit op systeemniveau.

• Inverteerde Economie: De kosten van offensieve capaciteit zijn ingestort. Aanvallers hebben geen toegang meer nodig tot frontier-modellen van miljarden dollars; ze hebben alleen open-source modellen en een goed ontworpen systeemstelsel nodig. Omgekeerd blijven de verdedigingskosten hoog omdat ze de breedte van gedragingen van steeds capabelere modellen moeten bestrijken.
• Beleidsgewijze Implicaties: Het beperken van de toegang tot een enkel frontier-model biedt geen betekenisvol "verdedigingsvenster" omdat de onderliggende capaciteiten al beschikbaar zijn via kleinere, open modellen die in effectieve stelsels zijn ingebed.
• Aankoop en Regulering: Organisaties die AI inkopen voor kritieke infrastructuur moeten adversariele robuustheid (specifiek EHR) evalueren in plaats van te vertrouwen op door leveranciers gepubliceerde benchmarks. Het artikel stelt voor dat de "Effectieve Schaderatio" moet worden aangenomen als operationele standaard voor regelgeving zoals de EU AI-wet.
• Strategisch Actiemiddel: Open-source swarm-frameworks vertegenwoordigen een strategisch actiemiddel voor onafhankelijke beveiligingsbeoordeling, waardoor afhankelijkheid wordt voorkomen van dezelfde providers wiens producten worden getest.

De auteurs concluderen dat hoewel de drempel voor volledig autonome kwetsbaarheidsontdekking met kleine modellen hoog blijft, de drempel voor capaciteit op pijplijn-niveau effectief nul is. Daarom zijn toegang beperkingen op frontier-modellen alleen ontoereikende beveiligingsmechanismen.