Technische Samenvatting: Dataset-watermerking voor Gesloten LLM's met Bewijsbare Detectie

Probleemformulering

Grote Taalmodellen (LLM's) worden frequent getraind op enorme, losjes gecurateerde datasets die per ongeluk propriëtaire data of evaluatiebenchmarks kunnen bevatten. Dit fenomeen, vaak verergerd door "benchmaxxing" (optimaliseren voor benchmarkprestaties tijdens post-training), roept zorgen op over datacontaminatie en de betrouwbaarheid van model-evaluaties. Hoewel recent werk dataset-watermerking heeft onderzocht—het inbedden van detecteerbare signalen in datasets voorafgaand aan publicatie om hun gebruik in modeltraining te auditeren—lijden bestaande methoden onder twee kritieke beperkingen:

1. Toegangsvereisten: Eerdere benaderingen (bijv. STAMP, Radioactive) vertrouwen op open-modeltoegang, waarbij zichtbaarheid vereist is in modelinterne aspecten zoals log-kansen, next-token-verdelingen of perplexiteitscores. Ze zijn inefficiënt tegen gesloten-modeltoegang (black-box API), wat de standaard is voor de meeste commerciële chatbots.
2. Gebrek aan Theoretische Garanties: Bestaande methoden missen vaak rigoureuze, distributie-vrije theoretische grenzen voor de vals-positieve rate (FPR) van detectie.

Dit artikel adresseert het probleem van het detecteren of een specifieke dataset is gebruikt om een doel-LLM te trainen, gegeven uitsluitend black-box API-toegang tot de modeloutput, terwijl er bewijsbare statistische garanties worden geboden over de detectiebetrouwbaarheid.

Methodologie

Het voorgestelde kader opereert in twee fasen: Inbedding en Detectie. De kernintuïtie maakt gebruik van de bekende neiging van deep learning-modellen om spurious features en statistische correlaties in trainingsdata te memoriseren.

1. Inbeddingsfase (Watermerkinjectie)

De data-eigenaar herschrijft de dataset om een detecteerbaar statistisch signaal in te brengen zonder de bruikbaarheid van de dataset te veranderen:

• Generatie van Geheime Sleutel: Een geheime sleutel ($sk$) wordt gevormd door willekeurig een set woordparen te samplen uit de vocabulaire van de dataset.
• Constructie van Lexicale Varianties: Voor elk woord in de sleutel wordt een set lexicaal varianten (synoniemen, co-voorkomende termen) gegenereerd.
• Herschrijven voor Co-voorkomen: De dataset wordt herschreven met behulp van een LLM (bijv. ChatGPT) om de co-voorkomingsfrequentie van de geselecteerde woordparen te verhogen.
  • Samples die varianten van beide woorden in een paar bevatten, worden behouden of versterkt.
  • Samples die één woord bevatten maar niet hun paar, worden aangepast om het paar op te nemen.
  • Cruciaal wordt co-voorkomen gedefinieerd op sample-niveau; woorden hoeven niet opeenvolgend te zijn, alleen aanwezig binnen hetzelfde sample.
    Dit proces introduceert gecontroleerde, kunstmatige correlaties die onwaarschijnlijk van nature ontstaan in niet-gewatermerkte data.

2. Detectiefase (Statistische Toetsing)

Gegeven een doelmodel $M$ en de geheime sleutel $sk$, queryt de auditor het model om tekst te genereren en analyseert de co-voorkomingsstatistieken van de woordparen.

• Correlatiemeting: De methode berekent de Pearson-correlatie tussen indicatorvariabelen voor de aanwezigheid van woordparen in gegenereerde tekst.
• Afwijkingsberekening: Het berekent de afwijking ($A_{w_i, w_j}$) tussen het co-voorkomingsgedrag in de modeloutput en een referentie (niet-gewatermerkte) dataset.
• Detectiescore: Een score wordt berekend door het fractie van geheime sleutelparen die een afwijkingsdrempel $\tau$ overschrijdt, te vergelijken met het fractie van niet-sleutelparen dat dezelfde drempel overschrijdt.
• Beslissingsregel: Als de detectiescore een drempel $t$ overschrijdt, wordt de aanwezigheid van het watermerk verklaard.

Theoretische Garanties

Het artikel biedt een distributie-vrije en model-agnostische bovengrens voor de Vals-Positieve Rate (FPR).

• Stelling 4.1: Onder de nulhypothese (het model is niet getraind op de gewatermerkte data) is de kans op een vals positief begrensd door $e^{-2t'^2d}$, waarbij $d$ de grootte van de geheime sleutel is en $t'$ een functie is van de detectiedrempel.
• Deze garantie geldt voor elke vaste LLM-architectuur of trainingsprocedure, zonder aannames over de onderliggende data-distributie of modelinterne aspecten.

Belangrijkste Bijdragen

1. Eerste Gesloten-Model Dataset-watermerking: De auteurs introduceren de eerste dataset-watermerkmethode die in staat is het gebruik van trainingsdata te detecteren met uitsluitend black-box API-toegang, waardoor de noodzaak voor log-kansen of interne modeltoestanden wordt geëlimineerd.
2. Bewijsbare Detectie: De methode biedt theoretische garanties voor de vals-positieve rate die onafhankelijk zijn van de modelarchitectuur of de data-distributie.
3. Robuustheid in Data-mengsels: De aanpak blijft effectief zelfs wanneer het gewatermerkte dataset slechts een klein fractie (ongeveer 1%) van de totale fine-tuning tokens uitmaakt.
4. Behoud van Bruikbaarheid: Het watermerkingproces behoudt de semantische integriteit en bruikbaarheid van de benchmarkdatasets, zodat ze geldig blijven voor model-evaluatie.

Experimentele Resultaten

De methode werd geëvalueerd op LLaMA-3-8B en Gemma-2-2B over drie benchmarks: MMLU, ARC-easy en ARC-challenge.

• Vanilla-instelling: De methode bereikte statistisch significante detectie ($p < 0.01$) over alle modellen en datasets. In tegenstelling hiermee slaagde de "Radioactive"-baseline er niet in om betekenisvolle signalen te produceren onder gesloten-modeltoegang ($p \approx 0.2\text{--}0.3$).
• Partiële Contaminatie (Data-mengsel): De methode slaagde erin watermerken te detecteren toen het gewatermerkte data slechts 1,1%–1,3% van de totale fine-tuning tokens uitmaakte. Bij een meer extreme verhouding van 0,5% behield LLaMA-3-8B significante detectie, terwijl Gemma-2-2B een verminderde gevoeligheid vertoonde, wat suggereert dat grotere modellen injecteerde statistische signalen beter kunnen behouden.
• Robuustheid tegen Aanpassingen: Het watermerk vertoonde superieure robuustheid tegen lichtgewicht tekstaanpassingen (willekeurige verwijdering, synoniemsubstitutie, emoji-invoeging) in vergelijking met baselines. Terwijl baselines zoals Radioactive zagen dat p-waarden boven significantiedrempels stegen na 20% aanpassing, behield de voorgestelde methode lage p-waarden.
• Behoud van Bruikbaarheid:
  • Benchmarkprestaties: Modellen geëvalueerd op gewatermerkte datasets vertoonden prestaties vergelijkbaar met die op originele datasets, waarbij de relatieve rangschikking van modellen behouden bleef.
  • Semantische Similariteit: De herschreven datasets behielden een hoge semantische similariteit (SBERT-scores) met de originelen.
  • Lexicale Overlap: De voorgestelde methode bereikte aanzienlijk hogere n-gram-overlappen (3-gram, 4-gram) in vergelijking met KGW-gebaseerde watermerking, wat wijst op minder agressief herschrijven.

Betekenis en Beperkingen

Het artikel positioneert dit werk als een hulpmiddel voor auditing van datasetgebruik, waardoor data-aanbieders kunnen verifiëren of hun propriëtaire of benchmarkdata is opgenomen in modeltraining via black-box queries.

Beperkingen erkend door de auteurs:

• Proactieve Vereiste: De methode vereist het herschrijven van de dataset voorafgaand aan publicatie; het kan niet retroactief worden toegepast op reeds gepubliceerde, niet-gewatermerkte datasets.
• Adversariële Robuustheid: De methode is niet ontworpen om volledig adversariële transformaties te weerstaan die bedoeld zijn om statistische signalen te elimineren, aangezien sterke watermerkgaranties theoretisch onmogelijk zijn onder willekeurige herschrijving.
• Evaluatiescope: Experimenten waren beperkt tot de post-training (fine-tuning) fase. Het evalueren van effectiviteit op pre-training schaal blijft een open probleem vanwege computergrenzen.

Concluderend stelt dit werk een nieuw paradigma voor dataset-watermerking vast dat compatibel is met het gesloten-model ecosysteem, en biedt bewijsbare detectiemogelijkheden terwijl de bruikbaarheid van de onderliggende benchmarks behouden blijft.