Rethinking LLM Watermark Detection in Black-Box Settings: A Non-Intrusive Third-Party Framework

1. Het Probleem

Huidige methoden voor het detecteren van watermerken in teksten gegenereerd door Large Language Models (LLM's) lijden onder een fundamenteel gebrek aan onafhankelijkheid en transparantie:

• Geheime Sleutels: De meeste bestaande watermerksystemen (zoals KGW) gebruiken een "secret-key" aanpak. De detectie is strak gekoppeld aan de injectie; om een watermerk te verifiëren, moet de detector toegang hebben tot dezelfde geheime sleutel die door de provider wordt gebruikt.
• Gebrek aan Toezicht: Dit maakt onafhankelijke audits door derden (zoals regelgevers, rechters of platformmoderators) onmogelijk zonder de beveiliging van het model te compromitteren. Als de sleutel wordt gedeeld, kunnen kwaadwillenden het watermerk nabootsen of verwijderen.
• Vertrouwensprobleem: Zonder toegang tot de sleutel moeten toezichthouders blindelings vertrouwen op de claims van de serviceprovider, wat het proces ondoorzichtig maakt.
• Beperking van Bestaande Oplossingen: Nieuwere pogingen tot "publiek verifieerbare" watermerken vereisen vaak nog steeds een specifieke koppeling tussen injectie en detectie, waardoor ze niet neutraal of herbruikbaar zijn voor verschillende modellen en schema's.

Het doel is dus een black-box framework te creëren dat een Trusted Third Party (TTP) in staat stelt om watermerken te verifiëren zonder toegang tot de geheime sleutel, het injectie-algoritme of de interne staat van het model.

2. Methodologie: TTP-Detect

Het paper introduceert TTP-Detect, een raamwerk dat detectie ontkoppelt van injectie door het probleem te herformuleren als een relatieve hypothese-toetsing in plaats van een absolute drempelwaarde-toetsing.

Kernarchitectuur

Het proces verloopt in drie stappen:

1. Proxy-gebaseerde Representatie-extractie:

   • Omdat watermerksignalen subtiel zijn, gebruikt TTP-Detect een proxy-model (een apart LLM dat is getraind op de specifieke provider) om de tekst te vertalen naar een representatieruimte.
   • Dit model wordt getraind met een "discriminative instruction tuning" doel: het leert onderscheid te maken tussen watermerkteksten en niet-watermerkteksten van dezelfde provider, zonder de sleutel te kennen.
   • De output is een vectorrepresentatie ($z$) die zowel semantische betekenis als watermerk-discriminerende signalen vastlegt.

2. Relatieve Meetmodules (Relative Measurements):

   • In plaats van te kijken naar absolute waarden, vergelijkt TTP-Detect de query-tekst ($t_q$) met twee referentiedatastels: een set watermerkteksten ($T_{wm}$) en een set niet-watermerkteksten ($T_o$), beide gegenereerd door de provider.
   • Er worden vier complementaire modules gebruikt om de "affiniteit" van de query met de watermerkdistributie te meten:
     • Lokale Consistentie Test: Meet of de query-vektor lokaal wordt omringd door watermerksamples in de feature-ruimte (gebaseerd op k-nearest neighbors en kernel-dichtheid).
     • Globale Geometrie Test: Gebruikt de Mahalanobis-afstand (voor gecorreleerde verstoringen) en Energy-distance (voor niet-Gaussische verdelingen) om te zien of de query dichter bij de watermerkcluster ligt dan bij de niet-watermerkcluster.
     • Adaptieve Rangtest: Analyseert de generatie-dynamiek via de negatieve log-waarschijnlijkheid (NLL) van tokens. Het meet globale vloeiendheid en lokale volatiliteit, en past de richting van de rangtest aan op basis van de referentiedata (om te voorkomen dat een vaste richting wordt aangenomen).

3. Ensemble en Detectie:

   • De scores van de vier modules worden samengevoegd tot een enkele ensemble-score via een lichtgewicht ensemble (logistieke regressie).
   • De drempelwaarde ($\tau$) wordt gekalibreerd om een specifieke False Positive Rate (FPR) te garanderen, wat essentieel is voor juridisch bruikbare bewijslast.

3. Belangrijkste Bijdragen

1. Pionierende Formulering: Het introduceert het eerste raamwerk voor key-agnostische (sleutel-onafhankelijke) watermerkverificatie in black-box settings, wat onafhankelijke auditing mogelijk maakt zonder beveiliging te riskeren.
2. Decoupling van Injectie en Detectie: Door detectie te herformuleren als een relatieve hypothese-toets, wordt het systeem niet langer afhankelijk van de specifieke implementatie van het watermerk-algoritme.
3. Universele Robuustheid: Het framework is ontworpen om te werken met diverse watermerkschema's (logits-based, sampling-based, unbiased) en is robuust tegen diverse aanvallen (zoals herschrijven, synonymenvervanging en parafraseren).

4. Resultaten

De auteurs hebben TTP-Detect getest op verschillende modellen (Llama-3.1-8B, OPT-6.7B) en datasets (C4, OpenGen) tegen een breed scala aan watermerkschema's (KGW, Unigram, SynthID, SWEET, Unbiased, SymMark, MorphMark).

• Detectieprestaties: TTP-Detect bereikt superieure prestaties vergeleken met de bestaande baseline (UPV). Voor veel schema's (zoals Unigram en SymMark) wordt een AUROC van 1.000 en een F1-score van 1.000 behaald. Zelfs voor moeilijke, "unbiased" schema's (zoals SynthID en Unbiased) behoudt het hoge detectieniveaus.
• Robuustheid tegen Aanvallen: Het framework toont hoge weerstand tegen zes soorten aanvallen, variërend van lokale bewerkingen (woordverwijdering/synoniemen) tot complexe parafraseren (Dipper, GPT-5.1). De gemiddelde AUROC blijft vaak boven de 0.95, zelfs onder zware aanvallen.
• Ablatie-studies:
  • De keuze van het proxy-model is niet kritiek; verschillende modellen presteren vergelijkbaar.
  • De Adaptieve Rangtest blijkt de meest invloedrijke module, vooral voor robuustheid tegen parafraseren.
  • Het gebruik van referentiedata ($N=16$) is cruciaal voor schema's met zwakke signalen.
• Efficiëntie: De TTP-zijde (de auditor) heeft een lage rekentijd (minder dan 2 seconden voor de analyse), hoewel het genereren van referentiedata door de provider de grootste kostenpost is.

5. Betekenis en Impact

TTP-Detect biedt een praktische oplossing voor het governance-probleem van AI-generatie. Het stelt onafhankelijke toezichthouders in staat om:

• Neutrale audits uit te voeren zonder toegang tot proprietair intellectueel eigendom (de sleutel).
• Juridisch bruikbaar bewijs te genereren met gecontroleerde foutmarges.
• De kloof te overbruggen tussen de technische implementatie van watermerken en de realiteit van juridische en regulatorische toezicht.

Het paper concludeert dat hoewel schema's die specifiek zijn ontworpen om bias te minimaliseren nog steeds een uitdaging vormen, TTP-Detect een belangrijke stap is naar een schaalbaar, niet-intrusief en betrouwbaar systeem voor het verifiëren van de herkomst van AI-gegenereerde inhoud.