🤖 AI

Proteus: A Self-Evolving Red Team for Agent Skill Ecosystems

Het artikel introduceert Proteus, een zelfevoluerend red-teamkader dat aantoont dat huidige vaardigheidsverificatiesystemen veiligheidsrisico's aanzienlijk onderschatten, door te laten zien hoe adaptieve, feedbackgestuurde aanvallers audits iteratief kunnen omzeilen om dodelijke agent-vaardigheidsvarianten te creëren.

Oorspronkelijke auteurs: Zhaojiacheng Zhou

Gepubliceerd 2026-05-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhaojiacheng Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je "vaardigheden" voor je AI-assistent kunt downloaden, net zoals je apps op je telefoon downloadt. Deze vaardigheden vertellen de AI hoe specifieke taken uit te voeren, zoals het controleren van je bankrekening of het beheren van je agenda. Maar wat als een hacker een "vergiftigde" vaardigheid creëert die onschuldig lijkt, maar stiekem je data steelt?

Dit artikel introduceert Proteus, een digitale beveiligingsonderzoeker die is ontworpen om te testen hoe goed onze huidige veiligheidsmaatregelen deze vergiftigde vaardigheden kunnen opsporen.

Hieronder volgt een uiteenzetting van hoe het werkt, met gebruikmaking van eenvoudige analogieën:

1. Het Probleem: Het "Whac-A-Mole"-spel

Momenteel wordt wanneer iemand een nieuwe vaardigheid indient, deze gecontroleerd door een Security Auditor (een digitale bewaker). De bewaker controleert de code van de vaardigheid en de beschrijving (documentatie) om te zien of deze gevaarlijk is.

De Tekortkoming: De meeste beveiligingstests controleren de vaardigheid slechts eenmaal. Als de bewaker "Goedkeuring" geeft, wordt de vaardigheid geïnstalleerd.
De Realiteit: Een slimme hacker geeft niet op na het indienen van één slechte vaardigheid. Ze kijken waarom de bewaker het heeft afgewezen, passen de vaardigheid lichtjes aan en proberen het opnieuw. Ze blijven dit doen totdat ze een versie vinden die langs de bewaker glijdt maar toch de schade aanricht.

Het artikel noemt dit "Adaptieve Lekage". Het is het risico dat een hacker blijft proberen totdat hij het slot breekt.

2. De Oplossing: Proteus (De Zelf-ontwikkelende Hacker)

De onderzoekers hebben Proteus gebouwd, een AI-agent die fungeert als een meedogenloze, lerende hacker. In plaats van slechts één keer te proberen de bewaker te bedriegen, speelt Proteus een meertraps spel:

Indienen: Het stuurt een vaardigheid naar de bewaker.
Luisteren: Als de bewaker "Nee" zegt, leest Proteus de reden (bijvoorbeeld "Deze code ziet er verdacht uit" of "De beschrijving komt niet overeen met de code").
Evolutioneren: Proteus gebruikt die feedback om de vaardigheid te herschrijven. Het kan de code wijzigen, de beschrijving herschrijven of de manier waarop de vaardigheid verbinding maakt met andere tools, herschikken.
Herhalen: Het blijft dit doen totdat het een versie vindt die de bewaker passeert en succesvol de schadelijke actie uitvoert (zoals het stelen van data) in een veilige, gesimuleerde zandbak.

3. De Vijf Aandachtsgebieden van de Aanval

Proteus verandert niet slechts één ding; het valt de vaardigheid aan vanuit vijf verschillende hoeken tegelijk, net als een meester-slotenmaker die verschillende gereedschappen probeert:

Het Doel: Wat probeert de vaardigheid te doen?
De Structuur: Hoe is de vaardigheid georganiseerd?
De Code: De feitelijke instructies.
Het Kanaal: Hoe het met de buitenwereld communiceert.
De Documentatie: De geschreven beschrijving die uitlegt wat de vaardigheid doet.

Proteus kan wijzigingen in al deze gebieden combineren om de bewaker in de war te brengen.

4. Het "Ronde Contract" (Het Testarena)

Om ervoor te zorgen dat Proteus echt echte gaten vindt, hebben de onderzoekers een strikte testarena gebouwd met drie stappen voor elke poging:

De Audit: Laat de bewaker het door?
De Zandbak: Draait de vaardigheid daadwerkelijk zonder vast te lopen?
Het Orakel: Heeft het daadwerkelijk het schadelijke ding gedaan (zoals het verwijderen van een bestand of het stelen van een wachtwoord)?

Proteus telt alleen als een "overwinning" als het alle drie de stappen doorstaat.

5. Wat Ze Vonden

De onderzoekers testten Proteus tegen twee echte beveiligingsbewakers (één open-source en één van een grote techbedrijf) en twee verschillende AI-modellen.

De Resultaten: Proteus was angstaanjagend effectief.
- In slechts 5 rondes van proberen, slaagde het er 40% tot 90% van de tijd in om de bewakers te omzeilen.
- Het vond niet slechts één truc; het vond 438 verschillende manieren om het systeem te breken.
- Zelfs de sterkste bewaker die ze testten (AI-Infra-Guard) slaagde er ongeveer 41% van de tijd niet in om Proteus te stoppen.
- De "Overdracht"-truc: Toen Proteus leerde hoe het één bewaker kon breken, kon het diezelfde trucs vaak gebruiken om de andere bewaker te breken zonder iets nieuws te hoeven leren.

6. De Grote Conclusie

Het artikel concludeert dat onze huidige manier van controleren van AI-vaardigheden het gevaar onderschat. We controleren vaardigheden als een beveiligingsbewaker die naar één foto van een persoon kijkt. Maar een echte aanvaller is als een gedaantewisselaar die zijn gezicht blijft veranderen totdat de bewaker hem binnenlaat.

Proteus bewijst dat als we geen systemen bouwen die kunnen omgaan met aanvallers die leren en zich aanpassen, onze AI-ecosystemen enorme, verborgen gaten zullen hebben die hackers gemakkelijk kunnen exploiteren.

Kortom: We dachten dat onze beveiligingsbewakers goed waren in het opsporen van slechte vaardigheden. Dit artikel toont aan dat als een slechte actor slim genoeg is om te leren van zijn fouten, die bewakers eigenlijk vrij makkelijk te bedriegen zijn.

Technische Samenvatting: Proteus – Een Zelfontwikkelende Red Team voor Agent Vaardigheidsecosystemen

1. Probleemformulering: Adaptieve Lekkage

Het artikel adresseert een kritieke lacune in de beveiligingsevaluatie van vaardigheden van Large Language Model (LLM)-agenten. Hoewel bestaand onderzoek risico's heeft geïdentificeerd in statische, handgemaakte kwaadaardige vaardigheden, faalt het grotendeels om het residu-risico te meten dat overblijft wanneer een aanvaller een vaardigheid iteratief herwerkt aan de hand van feedback van auditors en runtime-omgevingen.

De auteurs definiëren Adaptieve Lekkage als het implementatierisico waarbij een begrensde aanvaller een vaardigheid van een derde partij iteratief kan herwerken totdat deze tegelijkertijd:

De statische of op LLM gebaseerde audit passeert.
Succesvol wordt uitgevoerd in de doel-runtime.
Geverifieerde, door een orakel detecteerbare schade veroorzaakt.

Huidige evaluaties behandelen auditors als eenmalige classifiers tegen vaste invoer. Omdat open-source auditors (zoals SkillVetter, AI-Infra-Guard) echter vaak hun regelsets en bevindingen publiceren, kunnen aanvangers lokaal auditresultaten reproduceren. Dit creëert een "grey-box"-kanaal waarbij een aanvaller gestructureerde auditbevindingen en runtime-traces kan gebruiken om hun aanval over meerdere rondes te verfijnen, een vermogen dat niet wordt vastgelegd door single-shot red-teaming of schalar-feedback-baselines.

2. Methodologie: Het Proteus-kader

Proteus is een grey-box, zelfontwikkelend red-teamkader dat is ontworpen om adaptieve lekkage te meten. Het werkt via een gesloten-lus systeem bestaande uit vier gekoppelde componenten:

A. De Vijf-As Vaardigheids-Aanvalruimte

Proteus decomposeert een vaardigheidsvariant $s$ in een 5-tupel $(o, \tau, c, \kappa, d)$ :

$o$ (Doel): Het aanvalsdooel (bijv. data-exfiltratie, privilege-escalatie).
$\tau$ (Topologie): De structuur van de vaardigheidsketen (enkele vaardigheid of $k$ -keten).
$c$ (Code): Het uitvoerbare artefact.
$\kappa$ (Bijwerkingskanaal): Het mechanisme voor schade (bijv. bestandsschrijving, netwerk-egress).
$d$ (Documentatie): De contextbepalende documentatie die in de prompt van de agent wordt geladen.

B. Het Grey-Box Rondecontract

Elke evaluatieronde volgt een defender-onafhankelijke pijplijn: Audit $\to$ Sandbox $\to$ Orakel.

Audit: De vaardigheid wordt ingediend bij een auditor (bijv. SkillVetter of AI-Infra-Guard).
Sandbox: Als de audit slaagt, wordt de vaardigheid uitgevoerd in een gecontaineriseerde omgeving (OpenClaw).
Orakel: Een op regels gebaseerde rechter verifieert of de uitvoering de beoogde bijwerking (dodelijkheid) heeft geproduceerd.
Feedback-vierling: Het systeem retourneert een gestructureerd tupel $\langle b, \ell, F, R \rangle$ $⟨ b, ℓ, F, R ⟩$ :
- $b$ : Booleaanse audituitspraak (omzeild?).
- $\ell$ : Booleaanse dodelijkheidsuitspraak (schade bereikt?).
- $F$ : Gestructureerde auditbevindingen (reden codes, ernstniveaus, aanwijzingen voor bewijs).
- $R$ : Runtime-trace/advies (bijv. welke sensoren werden geactiveerd of geblokkeerd).

C. Zelfontwikkelende Mutator

De red-team-agent is een op LLM gebaseerde tool-use-lus die de feedback-vierling consumeert als contextgebonden zijinformatie (een "verbaal gradiënt") in plaats van een schalar beloning. Het maakt gebruik van een catalogus van 12 mutatie-operatoren (bijv. purpose-coherent-embed, code-offload, thematic-chain-insert) om de vijf assen van de vaardigheid te wijzigen.

D. Drie-Lagen Evolutieproces

Proteus hanteert een geneste zoekstrategie:

Laag 1 (Vrije Ontdekking): Zoekt vrij binnen het ouderdoel om de eerste succesvolle omzeiling te vinden ( $b \land \ell$ ).
Laag 2 (Paduitbreiding): Genereert na succes alternatieve implementaties van hetzelfde aanvalsdooel (bijv. cron vervangen door systemd-timers) zonder het hoofdrondebudget te verbruiken.
Laag 3 (Oppervlakte-uitbreiding): Transfereert geleerde implementatiepatronen (structurele motieven) naar nieuwe aanvalsdooelen, en test of de aanvaller kan generaliseren buiten het initiële zaadje.

3. Experimentele Opstelling

Auditors: SkillVetter (open-source, MIT-0) en AI-Infra-Guard (Tencent, Apache-2.0).
Doelen: GPT-5.4-mini en GLM-5.
Mutators: DeepSeek-V4-Pro en Kimi-2.6.
Zaadjes: 20 kwaadaardige zaadvaardigheden gegenereerd via grafgeleide ketensamenstelling over een 47k-nodes vaardigheidsgraf (ClawHub).
Budget: $T=5$ rondes voor Fase-1; buiten-budget uitbreiding voor Fase-2.

4. Belangrijkste Resultaten

Fase-1: Iteratieve Omzeiling

Over acht configuratiecellen bereikte Proteus een Aanvals Succesratio (ASR@5) van 40–90%.

Leercurves: Proteus vertoonde positieve leercurves (LCS), wat aangeeft dat de succespercentages significant toenamen met elke ronde feedback.
Vergelijking met Baselines:
- Blackbox Baseline: Wanneer alleen een schalar pass/fail-uitspraak werd gegeven (geen gestructureerde bevindingen), plateauerde het succespercentage op ~43% met een verwaarloosbare leerhelling.
- PyRIT: Een standaard externe red-teaming tool (alleen narratieve herschrijving) bereikte slechts 5/20 succesvolle zaadjes, wat de noodzaak benadrukt om code en topologie te muteren, niet alleen documentatie.
Auditorprestaties: De sterkere auditor, AI-Infra-Guard, verlaagde de succespercentages met 10–30 procentpunten ten opzichte van SkillVetter, maar Proteus bereikte er nog steeds tot 41,3% succes tegen.

Fase-2: Pad- en Oppervlakte-uitbreiding

Na het vinden van een succesvolle variant breidde Proteus het aanvalsoppervlak uit:

Totaal Varianten: Genereerde 438 gezamenlijk omzeilende en dodelijke varianten.
SkillVetter: Omzeild bij $\ge 93\%$ in elke uitbreidingscel.
AI-Infra-Guard: Keurde nog steeds 25–41% van de varianten goed.
Oppervlakte-uitbreiding: De agent slaagde erin aanvalspatronen over te dragen naar nieuwe doelen (bijv. van persistentie naar data-exfiltratie) met behulp van gedeelde structurele motieven, wat emergente generalisatie aantoont.

Cross-Auditor Transfer

Een cruciale bevinding is de overdraagbaarheid van geleerde aanvallen. 87,7% van de varianten die tegen de sterkere AI-Infra-Guard waren ontwikkeld, omzeilde ook SkillVetter zonder enige nieuwe mutatie. Dit suggereert dat adaptieve lekkage niet auditor-specifiek is, maar een fundamentele kwetsbaarheid in het vaardigheidsverificatieparadigma vertegenwoordigt.

5. Betekenis en Claims

Het artikel beweert dat huidige vaardigheidsverificatie het residu-risico aanzienlijk onderschat wanneer het wordt geëvalueerd tegen adaptieve, feedback-gedreven aanvallen.

Meetkloof: Bestaande beveiligingsstudies behandelen auditors als statische classifiers. Proteus toont aan dat wanneer een aanvaller toegang heeft tot gestructureerde feedback (het "grey-box"-kanaal), ze aanvallen iteratief kunnen verfijnen om zowel statische analyse als op LLM gebaseerde narratieve controles te omzeilen.
De "Verbaal Gradiënt": De studie valideert empirisch dat het gebruik van gestructureerde auditbevindingen als contextgebonden zijinformatie aanzienlijk effectiever is dan schalar beloningen. Het samenvoegen van feedback tot een binaire uitspraak verlaagt de leerhelling met een orde van grootte.
Dubbelkanaals Kwetsbaarheid: De resultaten benadrukken dat de combinatie van code-executie en contextbepalende documentatie een dubbel aanvalsoppervlak creëert. Succesvolle aanvallen vereisen vaak gecoördineerde mutaties over meerdere assen (bijv. het herschrijven van het narratief om te matchen met de code, terwijl de payload wordt uitbesteed aan een binair bestand).
Ecosysteemrisico: Het hoge percentage cross-auditor transfer impliceert dat kwetsbaarheden die tegen één auditor zijn ontdekt, waarschijnlijk ook bij anderen blijven bestaan, wat wijst op een systemisch risico in het agent-vaardigheidsecosysteem dat niet kan worden opgelost door simpelweg auditors te verwisselen.

De auteurs concluderen dat adaptieve lekkage een meetbare, significante bedreiging is die nieuwe verdedigingsmechanismen vereist die kunnen omgaan met iteratieve, feedback-gedreven tegenstanders, in plaats van te vertrouwen op eenmalige statische audits.