Technische Samenvatting: TRACE – Een twee-kanaals robuuste attributie-watermerk

1. Probleemformulering en Dreigingsmodel

Het artikel behandelt de kritieke uitdaging van herkomstattributie voor Large Language Model (LLM) agents in een specifieke adversariële setting: het reseller-dreigingsmodel.

• Context: LLM-agents interageren met gebruikers via resellers die de agent kunnen herbranden of het onderliggende model kunnen vervangen. Wanneer er geschillen ontstaan over aansprakelijkheid of gebruik, is het primaire bewijs het trajectlogboek (een verslag van tool calls, observaties en uitgevoerde acties), en niet de interne redenering van het model.
• De Adversary (Tegenstander): De reseller heeft volledige lees- en schrijfrechten op het trajectlogboek omdat zij dit moeten verwerken voor facturatie en meting. Zij zijn de entiteit die het bewijsmateriaal auditeert.
• De Aanval: De reseller probeert attributie te verwijderen door twee specifieke "witwasbewegingen" uit te voeren:
  1. Verwijdering (Deletion): Het inkorten van het logboek (stappen of observaties weglaten) om provider-identificerende records te verwijderen.
  2. Herschrijven (Rewriting): Het parafraseren van observaties en het hernoemen van tools naar de namespace van de reseller, terwijl de structurele skelet van het logboek (de sequentie van beslissings/observatie-tags) behouden blijft.
• De Beperking van Bestaande Methoden: Eerdere agent-watermerken (bijv. Agent Guide, AgentMark) vertrouwen op een enkel signaal dat gekoppeld is aan ofwel inhoud of positie.
  • Inhoud-gebaseerde sleutels falen bij herschrijven (omdat de inhoud wordt gewijzigd).
  • Positie-gebaseerde sleutels falen bij verwijdering (omdat de sequentie uit de pas loopt).
  • Bestaande methoden missen robuustheid tegen een adversary die zelf de eigenaar is van het bewijsmateriaal.

2. Methodologie: Het TRACE-schema

De auteurs stellen TRACE voor, een watermerk-schema met twee kanalen dat twee onafhankelijke, complementaire watermerken op een enkel traject superponeert. Het kernontwerpprincipe is dat elk kanaal zich richt op een andere invariant die behouden blijft door de ene aanvalsklasse, maar wordt vernietigd door de andere.

A. Het Selectiekanaal (Inhoud-gekoppeld)

• Doel: Robuustheid tegen Verwijdering.
• Mechanisme:
  • Drager: De specifieke actie ($b_i$) die door de agent wordt geselecteerd op elk besluitvormingspunt.
  • Sleutelvorming (Keying): Afgeleid van de lokale inhoud van de voorafgaande actiegeschiedenis ($A_{i-1}$) en een geheime sleutel ($key_1$).
  • Inbedding: Gebruikt een vervormingsvrije exponentiële race (gebaseerd op de Gumbel-max trick). De agent samplet exact uit zijn oorspronkelijke distributie $P_i$, maar de "winnaar" van de race wordt bepaald door een met een sleutel gekoppelde willekeurige waarde.
  • Detectie: De detector speelt de race opnieuw af met het geobserveerde traject en de sleutel. Als de geobserveerde actie de "winnaar" was van de met een sleutel gekoppelde race, genereert dit een hoge score.
  • Robuustheid: Omdat de sleutel afhankelijk is van de inhoud, zorgt het verwijderen van een observatierecord alleen voor desynchronisatie van de sleutel voor de directe volgende groep (impactradius van één). De detector synchroniseert onmiddellijk na de verwijdering weer.
  • Kosten: Het signaal wordt begrensd door de Shannon-entropie van de beslissing. Deterministische beslissingen (entropie = 0) leveren geen signaal op; beslissingen met een hoge entropie leveren sterkere signalen op.

B. Het Tally-kanaal (Positie-gekoppeld)

• Doel: Robuustheid tegen Herschrijven.
• Mechanisme:
  • Drager: Het aantal records ($k_i$) in een beslissingsgroep (specifiek, of een redundante observatie-record wordt toegevoegd).
  • Sleutelvorming (Keying): Afgeleid strikt van het skelet van het traject (de sequentie van beslissings/observatie-tags) en een geheime sleutel ($key_2$). Het is onafhankelijk van de tekstuele inhoud.
  • Inbedding: Voor groepen waar aan de sleutel-voorwaarde wordt voldaan, voegt de embedder een context-neutraal redundant record toe. Dit record is een deterministische functie van de prefix, roept geen tools aan en veroorzaakt geen bijwerkingen, waardoor het de toekomstige beslissingen van de agent niet verandert.
  • Detectie: De detector telt de records in elke groep en vergelijkt deze met het verwachte patroon afgeleid van het skelet.
  • Robuustheid: Herschrijf-aanvallen behouden het skelet (de tag-sequentie). Daarom blijven de groepsgrenzen en aantallen ongewijzigd. Het tally-kanaal is onvoorwaardelijk invariant onder elke herschrijf-aanval.

C. Gezamenlijke Detectie

De detector berekent een $z$-score voor beide kanalen. Het verwerpt de nulhypothese (dat het traject niet met een watermerk is voorzien) als de minimale $p$-waarde van de twee kanalen onder een drempelwaarde ligt. De twee kanalen zijn zo ontworpen dat ze onafhankelijk zijn onder de nulhypothese.

3. Belangrijkste Bijdragen

1. Formeel Dreigingsmodel: Het artikel formaliseert het reseller-dreigingsmodel waarbij de adversary volledige lees- en schrijfrechten heeft op het bewijsmateriaal, waarbij Verwijdering en Herschrijven worden gedefinieerd als onderscheidende aanvalsklassen.
2. Twee-kanalen Architectuur: TRACE is het eerste agent-watermerk dat tegelijkertijd het volgende bereikt:
   • Vervormingsvrije actiekeuzes: De distributie van de agent blijft bewezen onveranderd.
   • Zelf-synchronisatie onder verwijdering: Het selectiekanaal herstelt zich na een enkele verwijdering.
   • Onvoorwaardelijke invariantie onder herschrijven: Het tally-kanaal blijft ongewijzigd onder elke herschrijf-aanval die het skelet behoudt.
3. Theoretische Garanties:
   • Utiliteitsbehoud: Bewijs dat het selectiekanaal de actie-distributie van de agent niet wijzigt (Theorem 5.1).
   • Entropie-detecteerbaarheid Afruil: Bewijs dat de signaalsterkte wordt ondergrenst door de helft van de entropie van de beslissing (Theorem 5.2).
   • Gezamenlijke Wisingskosten (Erasure Cost): Bewijs dat het gelijktijdig wissen van beide kanalen de adversary dwingt ofwel het skelet te bewerken (wat hen blootstelt aan consistentie-audits), ofwel een constante fractie van de traject-acties te corrumperen, wat effectief de servicekwaliteit vernietigt (Theorem 5.4).
4. Nieuwe Aanval-baseline: Introductie van de LLM Rewriter, een geïnformeerde, plausibiliteit-behoudende aanval die acties vervangt door andere maar plausibele alternatieven, dienend als een rigoureuze benchmark voor herschrijf-robuustheid.

4. Experimentele Resultaten

Het schema is geëvalueerd op ToolBench (kort horizon, ~1.4 beslissingsgroepen/taak) en ALFWorld (lange horizon, ~23-25 beslissingsstappen/taak).

• Utiliteit: TRACE evenaart het succespercentage van de on-watermarked agent (Base) op beide benchmarks. In tegen tegenstelling hiertoe leden vertekende watermerken (zoals de Red-Green baseline) aanzienlijke dalingen in het succespercentage (tot 8.1 punten op ALFWorld) door verschuivingen in de waarschijnlijkheidsmassa bij lage-entropie beslissingen.
• Detectiekracht:
  • Schone Logboeken: TRACE bereikt extreem hoge detectiescores ($z \approx 100$ voor selectie op ALFWorld).
  • Verwijdering: Het selectiekanaal blijft detecteerbaar zelfs onder 70% stap-verwijdering ($z$ daalt van 11.34 naar 4.06 maar blijft boven de drempelwaarde).
  • Herschrijven: Het tally-kanaal blijft exact invariant ($z$ blijft constant op ~14.34) onder 100% herschrijvingssterkte. Daartegenover staan de inhoud-gebaseerde baselines (RG, AM-F) die onder herschrijving bijna naar nul of negatieve scores zakken.
  • Gecombineerde Aanvallen: Alleen het "hoekgeval" van hoge verwijdering (70%) gecombineerd met hoge herschrijving (>60%) onderdrukt beide kanalen. Dit komt overeen met een scenario waarin de reseller de bruikbaarheid van de dienst al heeft vernietigd.

5. Betekenis en Claims

Het artikel claimt dat TRACE een structurele oplossing biedt voor het provenance-probleem in de resale-setting, waarbij het verder gaat dan empirische robuustheid naar wiskundige garanties.

• Verantwoordelijkheid: Het maakt attributie mogelijk, zelfs wanneer de entiteit die de logboeken beheert (de reseller) de adversary is.
• Complementaire Invarianten: Het werk toont aan dat robuustheid kan worden bereikt door het signaal te splitsen over complementaire invarianten (inhoud vs. skelet), waardoor gegarandeerd wordt dat geen enkele aanvalsklasse het watermerk kan vernietigen zonder het product zelf te vernietigen.
• Vervormingsvrij: Het bewijst dat gedragsmatig watermerken kunnen worden bereikt zonder de taakprestaties van de agent te verslechteren, wat een cruciale vereiste is voor implementatie.
• Beperkingen: De auteurs merken op dat detectie toegang vereist tot de kandidaat-actiesets op het moment van audit en dat het tally-kanaal het logboekvolume vergroot (opslagoverhead) in plaats van het aantal tool calls. Ze erkennen ook dat als een reseller de agent van de provider volledig verlaat en de taak opnieuw uitvoert op een ander model, het watermerk afwezig zal zijn, hoewel deze afwezigheid zelf de misrepresentatie signaleert.

Het artikel concludeert dat hoewel een enkel-signaal schema geen enkele adversary kan overleven die volledige controle heeft over het bewijsmateriaal, een twee-kanalen benadering die gebruikmaakt van complementaire inbeddingen de kosten van het "witwassen" van het logboek prohibitief hoog kan maken.