🤖 AI

Functional Subspace Watermarking for Large Language Models

Dit artikel introduceert Functional Subspace Watermarking (FSW), een robuust framework dat eigendomssignalen in een stabiele functionele deelruimte verankert om de detectie van watermerken in grote taalmodellen ook na ingrijpende aanpassingen zoals fine-tuning en kwantisatie te waarborgen.

Oorspronkelijke auteurs: Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

Gepubliceerd 2026-03-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel slimme, digitale geest hebt gebouwd: een Groot Taalmodel (LLM). Dit model kan verhalen schrijven, code programmeren en vragen beantwoorden. Maar nu het zo populair is, maken mensen zich zorgen: "Wie is de eigenaar van deze geest? En wat als iemand hem kopieert, een beetje aanpast en beweert dat hij van henzelf is?"

Om dit op te lossen, hebben onderzoekers een nieuwe methode bedacht, genaamd FSW (Functional Subspace Watermarking). Hier is hoe het werkt, vertaald naar alledaags taal met een paar creatieve vergelijkingen.

1. Het Probleem: De Verwende Koffie

Vroeger probeerden mensen een watermerk in een model te stoppen door kleine, onzichtbare veranderingen in de "gewichten" (de hersencellen) van het model te maken.

De analogie: Stel je voor dat je een kopje koffie tekent met een onzichtbare inkt. Als je de koffie nu een beetje verwarmt, afkoelt, of er een beetje melk doorheen roert (dit zijn technische termen als fine-tuning, kwantisatie of distillatie), dan verdwijnt je tekening vaak volledig. De "geest" van de koffie verandert, en je watermerk is weg.

2. De Oplossing: De Onverwoestbare Ruggengraat

De onderzoekers zeggen: "Laten we niet op de oppervlakte tekenen, maar in de ruggengraat van het model."

Ze hebben een slimme manier gevonden om een deel van het model te vinden dat essentieel is voor het werk (het antwoord geven) en stabiel blijft, zelfs als je het model aanpast.

De analogie: Stel je voor dat het model een groot, complex kasteel is.
- De muren en de ramen kunnen worden geschilderd of vervangen (dit is wat hackers doen om je watermerk te verwijderen).
- Maar de fundamentele pijlers die het dak dragen, kunnen niet zomaar worden verwijderd zonder dat het hele kasteel instort.
- FSW zoekt precies die pijlers. Ze vinden een klein, stabiel deel van de hersenen van het model dat cruciaal is voor de logica, maar dat niet verandert als je het model "knijpt" of "verkleint".

3. Hoe werkt het? (Stap voor Stap)

Stap 1: De Röntgenfoto (De Analyse)
De onderzoekers kijken naar het model en vragen: "Welke delen van je brein zijn het belangrijkst voor het beantwoorden van vragen, en welke delen veranderen niet als ik je een beetje 'schud'?"
Ze gebruiken een wiskundige truc (een "veralgemeende eigenwaarde-probleem") om deze stabiele pijlers te vinden. Het is alsof ze een kaart maken van de onzichtbare, stevige fundamenten van het kasteel.

Stap 2: De Veilige Kluis (De Subruimte)
Ze kiezen een klein, veilig gebiedje in die fundamenten. Dit noemen ze de "Functionele Subruimte".

De analogie: Het is alsof ze een onzichtbare, onbreekbare kluis bouwen binnenin de betonnen pijler van het kasteel. Zelfs als de buitenkant van het kasteel wordt afgebroken of herschilderd, zit die kluis nog steeds veilig in de pijler.

Stap 3: Het Verborgen Bericht (Het Watermerk)
Ze stoppen hun eigenaarschap (een digitaal handtekening) in die kluis.

Belangrijk: Ze doen dit heel voorzichtig. Ze gebruiken een "consistentie-regel". Dit betekent: "Je mag het handtekening in de kluis zetten, maar je mag de pijler niet verzwakken, anders stort het dak in."
Hierdoor blijft het model net zo slim en nuttig als voorheen. Het merkt niets van de diefstal van zijn eigenaarschap.

Stap 4: De Controle (De Detectie)
Als iemand een verdacht model aan je voorhoudt en zegt: "Dit is van mij!", kun jij kijken in die specifieke kluis (de stabiele pijler).

Als je het handtekening daar vindt, weet je zeker: "Dit model komt van mij, zelfs als ze het hebben aangepast."
Zelfs als de indringer het model heeft "opgeschaald" (distillatie) of "opgeslagen" (kwantisatie), blijft het handtekening daar zitten, omdat het in de ruggengraat zit, niet in de huid.

Waarom is dit zo cool?

Onverwoestbaar: Net als een tattoo die diep in de botten zit en niet verdwijnt als je je huid verwondt, blijft dit watermerk zitten, zelfs als hackers het model proberen te "repareren" of aan te passen.
Onzichtbaar voor de gebruiker: Het model werkt precies hetzelfde. Het antwoordt nog steeds net zo goed. De "koffie" smaakt nog steeds hetzelfde, maar jij weet dat het jouw koffie is.
Wiskundig onomstreden: De onderzoekers hebben bewezen dat je dit handtekening met bijna 100% zekerheid kunt vinden, zelfs als iemand probeert te ontkennen dat het er is.

Kortom: FSW is als het plaatsen van een onzichtbare, onuitwisbare stempel in de ziel van een AI. Je kunt de buitenkant van de AI veranderen, maar de ziel (en het bewijs dat het van jou is) blijft veilig.

Titel: Functionele Subruimte Watermerking voor Grote Taalmodellen (FSW)

1. Het Probleem

Met de snelle opkomst van open-source Grote Taalmodellen (LLM's) zoals Llama, Qwen en Mistral, zijn vragen rondom model-eigendom en herkomst (provenance) cruciaal geworden. Bestaande methoden voor model-watermerking hebben echter te kampen met ernstige beperkingen:

Kwetsbaarheid: Traditionele watermerken, die vaak gebaseerd zijn op interne representaties of gewichten, ondergaan complexe vervormingen tijdens realistische modelwijzigingen zoals fine-tuning, quantization (kwantisatie), pruning (snoeien) en knowledge distillation (kennisdistillatie).
Onbetrouwbaarheid: Deze vervormingen leiden vaak tot het verlies van het watermerk-signaal, waardoor het onmogelijk wordt om eigendom te verifiëren nadat een model is aangepast of gestolen.
Aanvallen: Een kwaadwillende partij kan een model "stelen" door het te distilleren naar een kleiner model dat dezelfde capaciteiten heeft, maar zonder het oorspronkelijke watermerk, waardoor de herkomst onduidelijk wordt.

2. Methodologie: Functional Subspace Watermarking (FSW)

De auteurs stellen FSW voor, een raamwerk dat eigendomssignalen verankert in een stabiele, laagdimensionale "functionele ruggengraat" van het model. De aanpak bestaat uit vijf fasen:

Fase 1: Representatie-extractie
Er wordt een representatie geëxtraheerd uit een vaste tussenlaag van het autoregressieve taalmodel (de verborgen toestand van het laatste token). Deze toestand fungeert als een informatieknelpunt en is ideaal voor semantische watermerking.
Fase 2: Geometrische Analyse
Om een stabiele subruimte te vinden, analyseren de auteurs twee eigenschappen:
1. Functionele Sensitiviteit: Gebruikmakend van de Fisher-informatiematrix ( $F$ ) worden richtingen geïdentificeerd die cruciaal zijn voor de taakprestatie. Het verstoren van deze richtingen verandert de output significant.
2. Invariantie ten opzichte van compressie: Er wordt een familie van "compressie-operatoren" ( $A$ ) gedefinieerd (zoals lineaire projectie, ruis door kwantisatie en structurele dropout) om de variantie te modelleren die ontstaat bij compressie. Richtingen die stabiel blijven onder deze operaties worden gezocht.
Fase 3: Subruimte Constructie & Optimalisatie
De kern van de methode is het oplossen van een Generalized Eigenvalue Problem (GEVP):
$F u_i = \lambda_i C_A u_i$
Hierbij maximaliseert de verhouding tussen functionele sensitiviteit ( $F$ ) en compressie-variantie ( $C_A$ ) de signaal-ruisverhouding.
- Adaptieve Spectrale Truncatie: In plaats van alleen de top- $k$ eigenvectoren te kiezen (wat de prestaties kan schaden) of de laagste (wat makkelijk te verwijderen is), selecteert FSW een optimale range van eigenvectoren. Dit zorgt voor een balans tussen robuustheid en modelnut.
Fase 4: Projectie en Consistentie
Een "geankerde projectie" definieert een stabiel coördinatenstelsel. Om te voorkomen dat het watermerk de oorspronkelijke betekenis van het model verstoort, wordt een Vector Consistency Constraint ( $L_{con}$ ) toegevoegd. Dit zorgt ervoor dat de watermerkbewerking de originele semantische prestaties behoudt.
Fase 5: Inbedding en Verificatie
- Inbedding: Het watermerk wordt ingebed via een margin-based doelwit, waarbij orthogonale sleutelvectoren worden gebruikt om binaire berichten te coderen.
- Verificatie: Eigendom wordt statistisch bewezen door een aggregatie-score ( $S$ ) te berekenen. Onder de nulhypothese (geen watermerk) volgt deze score een normale verdeling, wat een strikte statistische test mogelijk maakt met een zeer lage kans op valse positieven.

3. Belangrijkste Bijdragen

Het FSW-raamwerk: Een nieuwe methode die watermerken in een functionele ruggengraat plaatst die zowel kritiek is voor de taak als stabiel onder compressie.
Orthogonale Sleutel Multi-bit Verificatie: Een verificatieschema dat eigendomsverificatie omzet in een rigoureuze statistische test, zonder de generatieprestaties van het model te beïnvloeden.
Uitgebreide Validatie: Experimenten tonen aan dat de methode robuust is tegen fine-tuning, quantization en knowledge distillation, terwijl het de modelprestaties behoudt.

4. Resultaten

De auteurs hebben FSW getest op diverse LLM-architecturen (LLaMA-2/3, Qwen2.5, Mistral, DeepSeek) en datasets:

Functionaliteit: FSW behoudt de oorspronkelijke modelkwaliteit. De toename in Perplexity (PPL) is minimaal (bijv. +0.37 voor LLaMA-3) en de nauwkeurigheid op downstream taken (zoals HellaSwag en ARC) blijft hoog.
Robuustheid: Onder aanvallen zoals Backbone Distillation, LoRA Fine-tuning, Pruning en Quantization blijft het watermerk detecteerbaar.
- Bijvoorbeeld: Na Backbone Distillation van DeepSeek-7B bleef de bit-nauwkeurigheid 100% en de detectiescore statistisch significant.
- In vergelijking met bestaande methoden (zoals EmMark) presteert FSW aanzienlijk beter, vooral tegen distillatie-aanvallen.
Statistische Betrouwbaarheid: De methode bereikt een uiterst lage False Positive Rate (FPR), zelfs bij zeer strenge significantieniveaus ( $\alpha = 10^{-8}$ ), wat onweerlegbaar bewijs van eigendom biedt.
Capaciteit: Een optimale bit-capaciteit van 16 bits werd geïdentificeerd, waarbij hogere capaciteiten leiden tot een daling in modelprestaties.

5. Significantie

Dit werk biedt een technische doorbraak in de bescherming van intellectueel eigendom voor LLM's.

Het lost het fundamentele probleem op van watermerkverlies bij modelmodificaties door te focussen op de functionele invariantie in plaats van statische gewichten.
Het biedt een praktische oplossing voor ontwikkelaars om hun modellen te beschermen tegen ongeautoriseerde redistributie en distillatie, zelfs als de aanvalspartij volledige toegang heeft tot de modelparameters (white-box scenario).
De methode is schaalbaar en toepasbaar op verschillende moderne modelarchitecturen, wat het een standaard voor toekomstige modelprovenance kan maken.

Kortom, FSW beweert dat eigendom niet in de "vlees" van het model (de gewichten) zit, maar in de "geest" (de functionele subruimte), waardoor het onmogelijk wordt om het watermerk te verwijderen zonder het model zelf onbruikbaar te maken.