💬 NLP

RedAct: Redacting Agent Capability Traces for Procedural Skill Protection

Dit artikel introduceert RedAct, een framework dat procedurele vaardigheden in executietracen van AI-agenten beschermt door gevoelige informatie selectief te anonimiseren terwijl bewijslast voor auditing behouden blijft, waardoor ongeautoriseerde vaardigheidsoverdracht effectief wordt voorkomen zonder de verantwoording in gevaar te brengen.

Oorspronkelijke auteurs: Shuwen Xu (May), Zhitao He (May), Yi R. (May), Fung

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuwen Xu (May), Zhitao He (May), Yi R. (May), Fung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok inhuurt om een complex, geheim familierecept te bereiden voor een dinerfeest. De chef laat een video-opname achter van het hele kookproces: de exacte hoeveelheden die werden gebruikt, het specifieke merk kruiden, de precieze temperatuur van de oven en de unieke trucjes die werden gebruikt om een aangebrande saus te herstellen.

Als je deze video online plaatst zodat mensen kunnen zien hoe de chef het deed (voor transparantie), kan een concurrerende chef de video bekijken, de geheime trucjes kopiëren en hetzelfde gerecht gaan verkopen zonder dat hij ooit het recept zelf heeft geleerd. Hij heeft niet het fysieke receptenboek gestolen; hij heeft alleen de "hoe-to" uit de video gereconstrueerd.

Dit artikel, REDACT, pakt precies dit probleem aan voor AI-agenten (slimme computerprogramma's die hulpmiddelen gebruiken zoals rekenmachines, code-editors of zoekmachines).

Het Probleem: De "Video-lek"

Wanneer AI-agenten complexe problemen oplossen (zoals het analyseren van medische gegevens of het repareren van financiële modellen), laten ze een "spoor" achter—een gedetailleerd logboek van elke gedachte, elke klik met een hulpmiddel en elke beslissing die ze hebben genomen.

Het Goede: Deze logs helpen mensen om te controleren of de AI correct werkt en om bugs op te lossen.
Het Slechte: Deze logs bevatten vaak het "geheime ingrediënt" van de AI—eigendomsrechtelijke formules, specifieke drempelwaarden en slimme strategieën die het bedrijf bezit. Als deze publiekelijk worden vrijgegeven, kunnen andere AI-systemen deze logs bekijken, de geheimen leren en de vaardigheden repliceren zonder te betalen voor de oorspronkelijke training.

De auteurs noemen dit "Black-Box Trace Disclosure." Het is alsof je iemand een kaart van je schatzoektocht geeft die precies laat zien waar het goud begraven ligt, zelfs als je de oorspronkelijke sleutel van de kaart niet geeft.

De Oplossing: REDACT

Het team heeft een systeem ontwikkeld genaamd REDACT (Redacting Agent Capability Traces) om deze geheimen te beschermen terwijl het mensen toch in staat stelt het werk te zien. Denk aan een slimme editor die de kookvideo bekijkt en deze bewerkt voordat hij online gaat.

REDACT doet twee hoofdzaken:

1. De "Slimme Blur" (Selectief herschrijven)

In plaats van simpelweg het hele deel zwart te maken (wat het nutteloos maakt om te controleren of de chef daadwerkelijk heeft gekookt), gebruikt REDACT een "Slimme Blur".

Wat het behoudt: Het behoudt de stappen die bewijzen dat het werk is uitgevoerd. Bijvoorbeeld: "De chef controleerde de oventemperatuur" of "De saus werd als veilig geverifieerd." Dit stelt auditors in staat om te bevestigen dat het proces geldig was.
Wat het verbergt: Het vervangt de specifieke geheimen door generieke beschrijvingen. In plaats van "Voeg 3,42 g zout toe en laat pruttelen op 185°F," zegt het: "Voeg de juiste hoeveelheid kruiden toe en laat pruttelen op de passende temperatuur."
Het Resultaat: De video ziet er nog steeds uit als een echte kookshow, maar een concurrerende chef kan het exacte recept niet meer kopiëren.

2. De "Onzichtbare Inkt" (Gedrags-watermerken)

Om ervoor te zorgen dat mensen de video niet stelen en beweren dat zij het zelf hebben gemaakt, voegt REDACT "onzichtbare inkt" toe aan de logs.

Dit zijn geen verborgen woorden, maar eerder gedragshabitussen. De AI kan bijvoorbeeld geprogrammeerd zijn om altijd de kamertemperatuur te controleren voordat hij aan een taak begint, of om een specifieke zin te zeggen zoals "Laten we de hulpmiddelen even dubbelchecken" na een fout.
Als iemand probeert de vaardigheden van de AI te gebruiken, kunnen ze per ongeluk deze gewoontes kopiëren. De oorspronkelijke eigenaar kan dan nieuwe AI-gedragingen scannen om te zien of deze specifieke "tikjes" bevatten, wat bewijst dat de nieuwe AI heeft geleerd van de originele video.

De Testkeuken (CAPTRACEBENCH)

Om te bewijzen dat dit werkt, bouwden de auteurs een enorme testkeuken genaamd CAPTRACEBENCH.

Ze creëerden 75 verschillende complexe taken (zoals het analyseren van DNA-sequenties of het repareren van code) over 7 velden (zoals biologie, financiën en techniek).
Ze bevatten 154 specifieke "vaardigheden" (de geheime recepten).
Ze lieten andere AI-systemen proberen te leren van de "ruwe" video's versus de "REDACT-ed" video's.

De Resultaten

De experimenten toonden aan dat:

Ruwe video's zijn gevaarlijk: Wanneer AI-systemen de ongeëditeerde logs bekeken, waren ze in staat om ongeveer 45% tot 67% van de geheime vaardigheden te kopiëren. Ze werden in feite klonen van de oorspronkelijke expert.
REDACT stopt de diefstal: Na het gebruik van REDACT daalde het vermogen van andere AI's om de vaardigheden te stelen naar nul (of zelfs onder nul, wat betekent dat ze slechter presteerden dan wanneer ze helemaal geen hulp hadden gehad). De "Slimme Blur" heeft de herbruikbare geheimen succesvol verwijderd.
De audit werkt nog steeds: Zelfs met de geheimen verborgen, bevatten de logs nog steeds genoeg informatie voor mensen om te verifiëren dat het werk correct is uitgevoerd.
De onzichtbare inkt werkt: De gedrags-watermerken werden 93% tot 100% van de tijd gedetecteerd wanneer de vaardigheden werden gestolen, met bijna geen valse alarmen.

In het kort

Het artikel betoogt dat het vrijgeven van AI-logs vergelijkbaar is met het vrijgeven van een kookvideo: het is geweldig voor transparantie, maar gevaarlijk voor intellectueel eigendom. REDACT is een hulpmiddel dat deze logs bewerkt om de "geheime recepten" te verbergen terwijl het "bewijs van het koken" behoudt, en onzichtbare markeringen toevoegt om iedereen te betrappen die probeert het werk te kopiëren. Het stelt bedrijven in staat om het werk van hun AI veilig te delen zonder hun concurrentievoordeel weg te geven.

Technisch Overzicht: REDACT – Redacteren van de Trace-capaciteiten van Agenten voor de Bescherming van Procedurele Vaardigheden

1. Probleemmotivatie en Definitie

Naarmate tool-gebruikende agenten transformeren van onderzoeks-prototypes naar ingezette systemen in domeinen zoals biomedische wetenschappen, financiën en techniek, vertrouwen ze steeds vaker op propriëtaire "vaardigheden" (skills)—gestructureerde pakketten van procedurele kennis inclusief workflows, codetemplates en domeinheuristieken. Om transparantie en verantwoording te waarborgen, geven deze agenten vaak executietraces vrij (trajecten van redenering, acties en observaties). Dit creëëert echter een fundamentele spanning: hoewel traces ondersteuning bieden bij auditing, leggen ze ook de onderliggende procedurele vaardigheden bloot.

Recent werk op het gebied van vaardigheidsleren en -evolutie heeft aangetoond dat de ervaring van een agent kan worden gedestilleerd in herbruikbare vaardigheden, wat de prestaties bij downstream-taken aanzienlijk verbetert. Dit transformeert de release van traces in een probleem van de bescherming van procedurele activa. Een downstream-partij met toegang tot enkel de vrijgegeven traces kan propriëtaire formules, drempelconfiguraties, tool-call-sequenties en validatieroutines herstellen zonder toegang te nodig te hebben tot modelgewichten of private skill-bestanden.

De auteurs formaliseren dit risico als Black-Box Trace Disclosure. In deze setting observeren downstream-hergebruiksmethoden enkel vrijgegeven artefacten ( $z = \phi(x, \tau)$ ) en hebben zij geen toegang tot private skill-bestanden, modelgewichten, verborgen staten of serverprompts. Het centrale risico is niet het kopiëren van de uiteindelijke antwoorden, maar het herstel van herbruikbare beschermde procedures die toepasbaar zijn over herhaalde implementaties.

2. Methodologie: REDACT-framework

Om dit aan te pakken, stellen de auteurs REDACT (Redacting Agent Capability Traces) voor, een framework voor de beschermde release van traces dat in twee complementaire lagen opereert:

2.1 Key-Information-Guided Rewriting

Deze laag lokaliseert en abstraheert beschermde procedurele informatie, terwijl verifieerder-kritieke bewijslast behouden blijft. Het proces gaat ervan uit dat de eigenaar van de vaardigheid toegang heeft tot het beschermde skill-pakket ( $s$ ) vóór de release.

Key-Item Lokalisatie: Een LLM-gebaseerde extractor ( $g_\eta$ ) identificeert taak-niveau beschermde items ( $K_{prot}$ ) uit de taakinstructie en het skill-pakket. Deze items omvatten formules, constanten, drempelwaarden, gespecialiseerde tool-keuzes en validatieroutines.
Menselijke Review: Een lichtgewicht stap die geïdentificeerde items dedupliceert en canoniseert (bijv. het samenvoegen van synonieme termen).
Trace Rewriting: Een LLM-gebaseerde rewriter ( $\rho_\theta$ $ρ_{θ}$ ) construeert de beschermde trace ( $z_{RA}$ $z_{R A}$ ). Deze abstraheert tussenliggende beurten die beschermde sleutelitems onthullen naar beschrijvingen op taakniveau, terwijl strikt het volgende wordt behouden:
- Uiteindelijke outputs.
- Bewijs van tool-gebruik (namen, executievolgorde).
- Verifieerder-kritieke velden (schema-sleutels, vereiste kolommen).
- De executievolgorde die noodzakelijk is voor auditing.

Het resultaat is een trace die informatiever is dan een "alleen-antwoord" release, maar minder bruikbaar als een herbruikbare procedure dan een ruwe trajectorie.

2.2 Behavioral Watermarking

Om herkomsttracking mogelijk te maken zonder de taaksemantiek te beïnvloeden, injecteert het framework gedrags-watermerken in geselecteerde traces.

Hook Families: Het systeem definieert klassen van functioneel neutrale gedragingen (hooks) die kunnen worden ingevoegd en later gedetecteerd.
- Standalone Hooks: Ingevoegd op vaste posities (bijv. "Ritual Marker" aan het begin/einde, "Env Check" voor het proberen van de omgeving).
- Contextuele Hooks: Ingevoegd na specifieke condities, zoals tool-resultaten ("Cross Check") of foutmeldingen ("Error Anchoring").
Injectieschema: Voor een trace-corpus $C$ en ratio $r$ selecteert het systeem geschikte traces en injecteert een onschadelijk actie-observatiepatroon samen met een activatiezin ( $\kappa_h$ ).
Detectie: Op het moment van detectie bevraagt de eigenaar van de vaardigheid een vermoedelijke student-model met de activatiezin en past een detector ( $W_{detect}$ ) toe op de gegenereerde trajectorie om te bepalen of het gedragspatroon is gereproduceerd.

3. Benchmark: CAPTRACEBENCH

Om dit probleem op schaal te evalueren, hebben de auteurs CAPTRACEBENCH geconstrueerd, de eerste benchmark voor de evaluatie van de bescherming van procedurele vaardigheden.

Omvang: 75 gespecialiseerde long-horizon taken over 7 domeinen (Life Sciences, Chemie, Aarde & Klimaat, Techniek, Financiën & Economie, Media & Web, Software & Security).
Skills: 154 gecureerde vaardigheden die diverse hergebruikscenario's dekken.
Ontwerp: Taken vereisen multi-step tool-gebruik en bevatten door mensen geschreven instructies, uitvoerbare omgevingen en automatische verifieerders. De benchmark is gestratificeerd in Easy, Medium en Hard moeilijkheidsgraden op basis van procedurele complexiteit.
Evaluatieprotocol: Een "teacher" agent genereert een trajectorie. Een disclosure-beleid geeft een publiek artefact vrij. Een "student" agent probeert dezelfde taak op te lossen met enkel het vrijgegeven artefact. Succes wordt gemeten aan de hand van het vermogen van de student om de automatische verifieerder te passeren, wat aangeeft of de beschermde procedurele kennis succesvol is gerecupereerd.

4. Experimentele Resultaten

De auteurs evalueerden REDACT tegen vier downstream hergebruikmethoden: Single-Agent Skill Extraction, Multi-Agent Skill Evolution, Agent Workflow Retrieval Reuse, en Trajectory Fine-tuning.

4.1 Kwetsbaarheid van Raw Traces

Ruwe executietraces bleken kwetsbare aanvalsoppervlakken te zijn. Over verschillende modellen en hergebruikmethoden heen lieten ruwe traces downstream-agenten toe om aanzienlijke procedurele waarde te herstellen:

Normalized Skill Transfer (NST): Ruwe traces leverden een NST op van 44,7–67,1%, wat betekent dat downstream-agenten een aanzienlijk deel van het voordeel van de skill herstelden dat voortkwam uit oracle-toegang tot private bestanden.
Skill Recovery: Geëxtraheerde vaardigheden uit ruwe traces benaderden bijna de gap naar oracle-vaardigheden, waarbij een gemiddelde Step Success Rate (SSR) van 73,5% werd bereikt vergeleken met de 76,5% van de oracle-vaardigheden.

4.2 Effectiviteit van REDACT

REDACT verminderde het vermogen van downstream-methoden om beschermde vaardigheden te hergebruiken aanzienlijk:

Skill Suppression: Na het herschrijven daalde de gemiddelde SSR voor skill extraction, evolution en retrieval naar respectievelijk 67,5%, 66,3% en 65,5%. Cruciaal is dat deze waarden vielen tot of onder de No-Skill baseline (68,0%).
NST Reductie: De genormaliseerde skill transfer daalde van 44,7–67,1% (raw) naar maximaal -5,9% (protected), wat aangeeft dat de beschermde traces geen procedureel voordeel boden ten opzichte van het helemaal niet hebben van skills.
Informatielekkage: Recovered Protected Information (RPI) nam met 37–48% af over alle kanalen.
Harde Taken: De bescherming was het meest kritiek voor harde taken, waar ruwe traces een SSR-winst van 6,5–10,5% boden boven de baseline, die REDACT comprimeerde tot maximaal 4,8% (of onder de baseline voor sommige methoden).

4.3 Herkomstdetectie

Gedrags-watermerken boden sterk bewijs van hergebruik:

True Detection (TD): Standalone hooks (bijv. "Env Check") bereikten een True Detection rate van 93,6–100,0% op student-modellen.
False Alarm (FA): De False Alarm rate bleef laag, maximaal 1,9%.
Contextuele Hooks: Hoewel moeilijker te detecteren (16,4–32,2% TD), introduceerden ze nul false alarms, wat suggereert dat ze alleen worden gereproduceerd wanneer de student specifieke executie-contexten behoudt.

4.4 Audit Integriteit

REDACT behield de bruikbaarheid van traces voor auditing:

Bewijsbehoud: Finale antwoorden, tool-namen, verifieerderpaden en schema-velden werden behouden op 91,0–96,6% van het niveau van de ruwe traces.
Operationele Stabiliteit: Tool-call aantallen en trace-lengtes bleven binnen de 90–110% range van de ruwe traces.
Menselijke Beoordeling: Beschermde traces ontvingen hoge scores voor natuurlijkheid (7,14/10) en audit-bruikbaarheid (6,48/10) met een hoge inter-annotator overeenstemming.

5. Betekenis en Claims

Het artikel frameert publieke agent-traces als security interfaces. De primaire betekenis ligt in het aantonen dat selectieve redactie effectief de lekkage van procedurele capaciteit kan verminderen zonder het bewijs te verwijderen dat nodig is voor transparantie en auditing.

Belangrijke claims zijn onder meer:

Nieuw Evaluatieprobleem: De formalisering van het herstel van herbruikbare vaardigheden uit agent-traces als een "black-box trace disclosure" probleem.
Benchmark Creatie: De introductie van CAPTRACEBENCH om de bescherming van procedurele vaardigheden te evalueren over diverse domeinen en moeilijkheidsgraden.
Dual-Layer Verdediging: De demonstratie dat het combineren van selectieve trace-rewriting (om herbruikbare inhoud te verwijderen) met gedrags-watermarking (om herkomst te volgen) een levensvatbare strategie biedt voor de bescherming van propriëtaire agent-vaardigheden.
Gebalanceerde Trade-off: De resultaten tonen aan dat het mogelijk is om traces vrij te geven die debugging en reproduceerbaarheid ondersteunen, terwijl de specifieke formules, drempelwaarden en routines die de propriëtaire intellectuele eigendom vormen, worden weggestreept.

De auteurs merken beperkingen op en erkennen dat hun evaluatie gebruikmaakt van gecontroleerde taken met automatische verifieerders, terwijl real-world implementaties mogelijk te maken hebben met ruiziger traces en zwakkere verifieerder-feedback. Ze benadrukken ook dat gedrags-watermerken moeten worden beschouwd als statistisch bewijs van herkomst in plaats van cryptografisch bewijs van eigendom.