Technische Samenvatting: Echo's binnen het Redeneren: Stille en Effectieve Watermerking via Chain of Thought

1. Probleemstelling

Grote Taalmodellen (LLM's) met Chain-of-Thought (CoT) redeneercapaciteiten vertegenwoordigen waardevol intellectueel eigendom, maar staan bloot aan ernstige bedreigingen van ongeautoriseerde diefstal en ongeoorloofde commercialisatie. Bestaande black-box watermerkingmethoden worstelen met het vinden van een evenwicht tussen robuustheid en modelnut.

• Backdoor-gebaseerde benaderingen vertrouwen op vaste trigger-actiepatronen, wat modellen dwingt tot overfitting, waardoor de betrouwbaarheid bij complexe taken en generalisatie wordt aangetast. Ze zijn ook kwetsbaar voor detectie en filtering als triggers lekken.
• Modelbewerkingsgebaseerde benaderingen behandelen watermerken als statische kennis die via starre sjablonen moet worden gememoriseerd, waardoor ze breekbaar zijn tegen distributieveranderingen of adaptieve aanvallen op promptstructuren.
• Fundamentele Beperking: Beide paradigma's verifiëren eigendom doorgaans door het Eindantwoord te wijzigen. Dit creëert een zero-sum-conflict tussen correctheid (nut) en watermerkstevigheid. Het wijzigen van het eindantwoord degradeert vaak de prestaties van het model op downstream-taken.

Het artikel stelt dat er een paradigma bestaat om zowel onopgemerkt te blijven als effectief te zijn, terwijl de modelbetrouwbaarheid strikt wordt behouden, door de verificatieruimte te verschuiven van het eindantwoord naar het Chain-of-Thought (CoT) redeneerproces.

2. Methodologie: BiCoT

De auteurs stellen BiCoT (Bi-level Chain-of-Thought) voor, een watermerkingframework dat eigendomssignalen inbedt in de interne geometrie van redeneersporen in plaats van in de uiteindelijke output. De methode werkt in drie fasen:

A. Geometrische Formulering (Fase I)

BiCoT modelleert de latente toestand van de LLM als een traject op een hoogdimensionale Redeneermanifold.

• Structurele Ankers: Via gradiënt-salientie-analyse identificeren de auteurs dat specifieke tokens (bijvoorbeeld cijfers in wiskundig redeneren, logische connectieven in andere domeinen) fungeren als "structurele ankers" die redeneerdynamiek disproportioneel beheersen.
• Manifold-uitlijning: Het framework definieert een privé Signatuurruimte ($S_v$) geparametriseerd door een eenheidsvector $v$.
  • Ankertokens: Hun verborgen toestanden worden beperkt tot in te storten op de signatuurruimte ($\cos(h_t, v) \to 1$).
  • Controletokens: Gewone linguïstische tokens (connectoren, stopwoorden) worden gedwongen orthogonaal te blijven ten opzichte van de signatuur ($\cos(h_t, v) \to 0$) om semantische capaciteit en redeneerbetrouwbaarheid te behouden.
• Causale Halo: Tokens die direct op een anker volgen, worden behandeld als een aparte categorie; ze kunnen korte-range residuale uitlijning vertonen maar vervallen snel, zodat het watermerk de gewone tekst niet globaal verontreinigt.

B. Watermerkinjectie (Fase II)

Het injectieproces wordt geformuleerd als een Bi-level Optimalisatie probleem:

• Binnenste Lus: Berekent een virtuele verstoring van de verborgen toestand ($\delta^*$) die de projectie van ankerstaten op de signatuurruimte maximaliseert.
• Buitenste Lus: Update modelparameters ($\theta$) om een gecombineerde doelstelling te minimaliseren:
  1. Task Loss ($L_{task}$): Zorgt ervoor dat het model prestaties behoudt op downstream redeneertaken.
  2. Geometrische Loss ($L_{geo}$): Dwingt de ineenstorting van ankers naar de signatuur en orthogonaliteit van controletokens af.
  3. Consistentie Regularisator ($L_{KL}$): Handhaaft lokale consistentie tussen het gewatermerkte model en het basismodel op CoT-voorvoegsels.
     Dit ontwerp koppelt het watermerk aan redeneringsrelevante representaties, waardoor verwijdering moeilijk wordt zonder de kenmerken te verstoren die coherent redeneren ondersteunen.

C. Robuuste Ruimteregistratie (Fase III)

Om representatiedrift veroorzaakt door aanvallen (bijvoorbeeld fine-tuning, kwantisatie) aan te pakken, introduceren de auteurs Robuste Ruimteregistratie (RSR).

• Sentinel-tokens: Een set vooraf geïdentificeerde tokens die gevoelig zijn voor de signatuurruimte, worden gebruikt als sondes.
• Drift-calibratie: De verificateur schat de systematische distributiedriftvector ($\hat{\mu}_{drift}$) door de mediaanafwijking van sentinel-tokens ten opzichte van hun basisstatistieken te berekenen.
• Hernieuwde uitlijning: De waargenomen logits worden gecorrigeerd door de geschatte drift af te trekken, waardoor de gedriftede manifold effectief wordt teruggecentreerd naar de canonieke signatruimte voordat hypothese-toetsing plaatsvindt.
• Verificatie: Het systeem voert een hypothese-toets uit op de gekalibreerde logits van sentinel-tokens met uitsluitend Top-$k$ log-kansen (black-box toegang).

3. Belangrijkste Bijdragen

1. Causale Analyse van CoT: Het artikel onthult dat CoT-generatie een distincte causale hiërarchie bezit waarbij specifieke "structurele ankers" redeneerdynamiek beheersen. Het toont aan dat CoT een rijker, hoger-capaciteit en diverser drager voor signalen biedt dan het laag-entropische eindantwoord.
2. BiCoT Framework: Een nieuw watermerkingparadigma dat eigendom inbedt in de geometrie van de redeneermanifold. Het maakt gebruik van bi-level optimalisatie om het watermerk te verstrengelen met het redeneerproces zelf, terwijl controletokens orthogonaal worden behandeld om het nut te behouden.
3. Robuuste Verificatie (RSR): Een black-box verificateur die representatiedrift aankan via sentinel-gebaseerde registratie, waardoor betrouwbare detectie wordt gewaarborgd, zelfs onder modelniveau-verstoringen en adaptieve aanvallen.

4. Experimentele Resultaten

Experimenten werden voornamelijk uitgevoerd op Qwen2.5-7B-Instruct en gevalideerd over Mistral-7B, DeepSeek-7B en Qwen2.5-14B.

• Detecteerbaarheid: BiCoT bereikt 1.0 AUC en 100% Watermark Success Rate (WSR) bij 0,1% en 1,0% False Positive Rates (FPR) over alle geteste modellen, wat aanzienlijk beter presteert dan baselines zoals iSeal, llmmap en SEAL.
• Betrouwbaarheid: Het gewatermerkte model behoudt downstream-prestaties. Bij redeneertaken (GSM8K) is de prestatiedegradatie marginaal ($\approx -0,0083$). Bij zinsniveau-begrijptaken zijn schommelingen minimaal, waarbij sommige taken zelfs lichte winsten laten zien.
• Robuustheid:
  • Modelniveau-aanvallen: Het watermerk blijft detecteerbaar (AUC $\approx$ 1.0) onder Gaussisch ruis, full-parameter Supervised Fine-Tuning (SFT), Parameter-Efficient Fine-Tuning (PEFT/LoRA) en agressieve kwantisatie (8-bit).
  • Outputniveau-aanvallen: De methode is veerkrachtig tegen adaptieve aanvallen, inclusief een gerichte "ANCHOR"-aanval waarbij de adversary expliciet cijfertokens maskeert tijdens inferentie. Het watermerk blijft bestaan door de intrinsieke herverdeling van aandachtsmechanismen.
• Ablatiestudies: Het verwijderen van de watermerkloss resulteert in prestaties van willekeurig gissen. Het verwijderen van het Re-anchoring (RSR)-mechanisme veroorzaakt een catastrofale daling in detectie onder drift, wat de noodzaak ervan valideert.

5. Betekenis en Claims

Het artikel beweert dat BiCoT de fundamentele afweging tussen watermerkstevigheid en modelnut oplost door het verificatiesignaal te ontkoppelen van het eindantwoord. Door eigendom in te bedden in de geometrie van het redeneerproces, bereikt de methode:

• Onopgemerkt blijven: Het watermerk is onzichtbaar in de uiteindelijke outputtekst en vertrouwt niet op breekbare triggers.
• Effectiviteit: Het biedt robuuste detectie tegen adaptieve aanvallen en modeldrift.
• Betrouwbaarheid: Het behoudt strikt de redeneercapaciteiten en generalisatie van het model.

De auteurs benadrukken dat deze aanpak modelprovenance en intellectuele eigendomsbescherming ondersteunt voor open-source en commerciële LLM's zonder hun nut als redeneermotoren te compromitteren. Het werk gaat uit van een logprob-geactiveerde black-box setting (toegang tot Top-$k$ next-token kansen), wat de auteurs als een praktische grens voor veel moderne API-implementaties beschouwen, in plaats van een onrealistische orakel-aanname.