Technische Samenvatting: SLAM (Structural Linguistic Activation Marking)

Probleemstelling

De wijdverbreide implementatie van Large Language Models (LLM's) vereist betrouwbare herkomstattributie om door AI gegenereerde tekst te onderscheiden van door mensen geschreven inhoud. Huidige watermerkschema's staan voor een fundamentele afweging tussen detecteerbaarheid, tekstkwaliteit en robustheid.

Dominante paradigma's (zoals KGW, EWD, Unigram) werken door de verdeling van de volgende token van het model te beïnvloeden (bijvoorbeeld via selectie van tokens op een 'groene lijst'). Hoewel dit efficiënt is, brengt deze aanpak een meetbare kwaliteitskost met zich mee: op Gemma-2-modellen verliezen deze methoden 7,5–11,5 beloningspunten en vertonen ze ingestorte ratio's voor conditionele perplexiteit (0,30–0,42), wat wijst op repetitieve en onnatuurlijke output. Omgekeerd bereiken recente methoden op basis van spaarse auto-encoders (SAE), zoals SAEMark, bijna verliesloze kwaliteit, maar lijden ze onder hoge rekenkundige overhead (sampling van $N=50$ kandidaten per stap) en kwetsbaarheid voor semantische verschuivingen en eenvoudige tekstbewerkingen.

Methodologie: SLAM

SLAM (Structural Linguistic Activation Marking) stelt een white-box watermerkschema voor dat detectie ontkoppelt van token-frequentiebias. In plaats van te veranderen welke tokens worden gesampled, schrijft SLAM het watermerk in de structurele geometrie van de reststroom van het model.

Kernmechanisme

1. Structuurkenmerk-mijnbouw:

   • De auteurs construeren een contrastieve dataset van 46.579 zinnenparen die 104 linguïstische fenomenen bestrijken (syntactische alternaties, tijd, morfologie, discours). Deze paren houden de semantische inhoud constant terwijl ze de structurele vormen variëren (bijvoorbeeld actief versus passief).
   • Met behulp van Spaarse Auto-Encoders (SAE's) die op de reststroom zijn getraind, identificeert de methode specifieke, gelokaliseerde subruimten die deze structurele kenmerken coderen.
   • Een samengesteld scoresysteem (contrastieve magnitude $\times$ zuiverheid $\times$ cross-domein consistentie) isoleert SAE-richtingen die robuust reageren op structurele veranderingen in plaats van semantische inhoud.

2. Richtingsconstructie (SVD):

   • Voor fenomenen waarbij structurele concepten verspreid zijn over meerdere zwak-discriminerende kenmerken (vaak bij grotere modellen zoals Gemma-2 9B), voert SLAM Singular Value Decomposition (SVD) uit op de contrastieve differentiematrix.
   • Dit levert $k$ orthogonale structurele modi op. De methode ondersteunt zowel sturing met één enkel kenmerk ($k=1$) als sturing van samengestelde subruimten ($k>1$), waardoor het effectief kan schalen naar grotere modellen.
   • Bidirectionele Mijnbouw: Het systeem mijnbouwt richtingen voor zowel de doelstructuur als zijn inverse, waardoor de pool van stuurbare richtingen verdubbelt om botsingspercentages tijdens selectie te verminderen.

3. Causale Sturing en Injectie:

   • Tijdens generatie koppelt SLAM zich aan de reststroom op specifieke lagen (bepaald door de laag met piekactivatie van het fenomeen).
   • Het voegt een geschaalde vector ($\alpha \cdot v_{structure}$) toe aan de reststroom van nieuw gegenereerde tokens. Dit beïnvloedt het model om een specifieke syntactische variant te produceren (bijvoorbeeld passief) zonder de lexische keuze van individuele tokens te beperken.
   • Kenmerkselectie: Een per-document subset van kenmerken wordt geselecteerd via HMAC-gesloten gewogen sampling om uniciteit en beveiliging te garanderen.
   • Early-Stop Generatie: Het systeem genereert maximaal $N=4$ kandidaten en retourneert de eerste die een gekalibreerde detectiedrempel haalt ($\hat{z} \ge 2.0$), wat de overhead aanzienlijk verlaagt ten opzichte van methoden voor kandidaat-scoring.

4. Detectie:

   • Detectie vereist één forward pass van het model. De activaties van de reststroom worden geprojecteerd op de vooraf berekende structurele richtingen om een Stouffer $z$-score te berekenen.
   • Er is geen forward pass van de SAE nodig tijdens de detectie, waardoor het proces rekenkundig efficiënt is.

Belangrijkste Bijdragen

1. Contrastieve Mijnbouwpipeline: Een pipeline die structurele SAE-richtingen isoleert via een samengestelde score over 104 fenomenen en 5 semantische domeinen, wat domein-invariantie garandeert.
2. PCA-Bidirectionele Structurele Richtingen: Een op SVD gebaseerde methode om orthogonale samengestelde richtingen te construeren ($k>1$), waardoor SLAM kan omgaan met verspreide structurele representaties in grotere modellen (9B+) en een instelbare afweging tussen kwaliteit en detectie biedt.
3. Efficiënt White-Box Schema: Een compleet watermerksysteem met HMAC-gesloten selectie en een early-stop generatielus. Het vereist een orde van grootte minder LLM-aanroepen dan SAEMark ($N \le 4$ versus $N=50$) en werkt met een bescheiden overhead ($\sim 1,6\times$ generatietijd).
4. Empirische Validatie: Uitgebreide evaluatie op Gemma-2 2B en 9B tegen zes baselines over vier families van kwaliteitsmetrieken en zeven robuustheidsaanvallen.

Experimentele Resultaten

Geëvalueerd op voorgeprogrammeerde Gemma-2 2B en 9B-modellen:

• Detectieprestaties: SLAM bereikt 100% True Positive Rate (TPR) bij een False Positive Rate (FPR) van 2,3% voor beide modelgroottes.
• Kwaliteitsbehoud:
  • Beloningskloof: SLAM leidt tot een beloningsstraf van slechts $\Delta$Reward = -1,3 (2B) en -1,9 (9B). Dit is aanzienlijk lager dan baselines op basis van token-distributie (KGW, EWD, Unigram), die 7,5–11,5 punten verliezen.
  • Natuurlijkheid: SLAM behoudt output-distributiemetrieken (distinct-n, Self-BLEU, MAUVE) en ratio's voor conditionele perplexiteit (1,24/1,36) veel dichter bij de niet-gewatermerkte baseline dan andere methoden. In tegenstelling tot methoden op basis van token-distributie, veroorzaakt het geen repetitieve tekst (instorting van PPL-ratio's).
  • Grammatica: De rates voor grammaticafouten blijven dicht bij baseline-niveaus.
• Robuustheidsprofiel:
  • Woordniveau-aanvallen: SLAM is 100% robuust tegen synoniemvervanging, woordverwijdering, woordvervanging en herschikking van zinnen.
  • Parafrase-aanvallen: SLAM is kwetsbaar voor parafrase met herschikking van de syntaxis (bijvoorbeeld DIPPER), waarbij de TPR daalt tot ongeveer 10–12%. Het artikel merkt echter op dat dergelijke aanvallen een kwaliteitskost opleggen aan de aanvaller (verslechtering van de tekst), en deze kwetsbaarheid is het omgekeerde van methoden op basis van token-distributie (die robuust zijn tegen parafrase maar kwetsbaar voor bewerkingen op woordniveau).

Betekenis en Beweringen

Het artikel beweert dat SLAM aantoont dat kwaliteit en detectie niet hoeven te worden afgewogen wanneer het watermerk wordt gecodeerd op het juiste niveau van linguïstische abstractie (structurele geometrie versus tokenfrequenties).

• Mechanistisch Inzicht: Door te sturen welke structurele variant het model produceert in plaats van welke tokens het samplet, laat SLAM het lexische oppervlak en de semantische betekenis in wezen onbeperkt. Dit verklaart zijn superieure prestaties op beloningsmodellen, perplexiteit en diversiteitsmetrieken.
• Complementaire Robuustheid: Het artikel positioneert de kwetsbaarheid van SLAM voor parafrase met herschikking van de syntaxis als een berekende, aanvaardbare kost voor het bereiken van bijna verliesloze generatiekwaliteit, in contrast met het kenmerk van "repetitieve tekst" van methoden die tokenbias toepassen.
• Schalbaarheid: Het gebruik van samengestelde subruimten ($k>1$) wordt geïdentificeerd als de cruciale enable voor het schalen van structurele watermerking naar grotere modellen waar kenmerken verspreid zijn.

De auteurs concluderen dat, hoewel SLAM white-box-toegang vereist en gevoelig is voor ernstige structurele herschrijving, het een superieure balans biedt tussen detecteerbaarheid en kwaliteitsbehoud voor herkomstattributie in vergelijking met bestaande benaderingen op basis van token-distributie en semantische scoring.