💻 computer science

LineageMark: Multi-user White-box Watermarking for Contribution Tracing in Model Derivation Chains

LineageMark is een multi-user white-box watermarking-framework dat robuuste bijdrage-tracing mogelijk maakt in afleidingsketens van grote taalmodellen door watermerken te coderen als projectiestatistieken over stabiele parameters, wat persistentie en integriteit waarborgt tijdens incrementele updates, fine-tuning en andere modelperturbaties.

Oorspronkelijke auteurs: Bingxue Zhang, Xiaofeng Xu, Feida Zhu

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bingxue Zhang, Xiaofeng Xu, Feida Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van Kunstmatige Intelligentie voor als een enorme, open bouwplaats. Op deze bouwplaats is een "Basismodel" als het skelet van een gigantische, vooraf gebouwde wolkenkrabber. In plaats van slechts één architect die het gebouw voltooit, nemen tientallen verschillende teams (bijdragers) de beurt om verdiepingen toe te voegen, muren te schilderen en nieuwe systemen te installeren. Elk team past het gebouw aan om te voldoen aan hun specifieke behoeften, waardoor er een lange "keten" van afgeleide modellen ontstaat.

Het probleem? Naarmate het gebouw van eigenaar wisselt en wordt gerenoveerd, wordt het moeilijk om te bewijzen wie wat heeft gedaan. Heeft Team A het fundament gelegd? Heeft Team B de liften geïnstalleerd? Als het gebouw later wordt verkocht of gebruikt, hoe weten we dan welke groep recht heeft op erkenning (of betaling) voor hun specifieke bijdrage?

Dit is het probleem dat LineageMark oplost. Het is een nieuw systeem voor "digitale tagging" waarmee meerdere teams hun unieke handtekening op een model kunnen stempelen, zelfs wanneer dat model voortdurend door anderen wordt gerenoveerd.

Zo werkt het, gebruikmakend van eenvoudige analogieën:

1. Het Probleem: Vervagende Inkt en Botsende Handtekeningen

Bestaande methoden voor watermerken zijn als het schrijven van een naam met potlood op een enkele pagina van een schrift.

Het vervagingsprobleem: Als je het schrift aan iemand anders doorgeeft die delen van de pagina uitgumt om eigen aantekeningen te maken, kan je naam vervagen of zelfs helemaal verdwijnen.
Het botsingsprobleem: Als twee mensen tegelijkertijd op dezelfde pagina proberen te schrijven, kan hun inkt mengen, waardoor het onmogelijk wordt om iemands handtekening nog te lezen.

In de AI-wereld worden de digitale handtekeningen die door vorige teams zijn achtergelaten, per ongeluk gewist of door elkaar gehusseld wanneer een nieuw team het model verfijnt (de "hersenen" bijwerkt).

2. De Oplossing: Het "Stabiele Steen" Fundament

LineageMark verandert de strategie. In plaats van op een enkele pagina te schrijven, kerven ze handtekeningen in de fundamentstenen van het gebouw.

Het vinden van de stabiele stenen: Voordat er gekerfd wordt, analyseert het systeem het model om specifieende delen van de "hersenen" (parameters) te vinden die zeer stabiel zijn. Dit zijn als de zware, dragende stenen die niet bewegen, zelfs niet wanneer het gebouw wordt gerenoveerd. Het systeem negeert de wankele, verschuivende delen van het model.
De kervmethode (Projectie): In plaats van een diepe, duidelijke inkeping te maken (wat de steen zou breken), maakt het systeem subtiele aanpassingen aan een groep van deze stabiele stenen. Het is alsof je een groep kiezelstenen zo arrangeert dat je vanuit een specifieke hoek een verborgen "X" of "O" ziet.
- De sleutel: Elk team heeft een geheime "zaklamp" (een private key). Wanneer zij hun zaklamp onder de juiste hoek op de kiezelstenen schijnen, kunnen ze hun verborgen vorm zien. Zonder de zaklamp zien de kiezelstenen eruit als een normale hoop stenen.

3. Hoe het met Meerdere Teams Omgaat

Dit is waar LineageMark uitblinkt. Stel je een lange keten van renovaties voor:

Team A kervt hun handtekening in de stabiele stenen.
Team B komt langs, renoveert het gebouw en kervt hun handtekening.
Team C doet hetzelfde.

Omdat LineageMark een "stemmechanisme" gebruikt:

Zelfs als de renovatie van Team B sommige kiezelstenen die Team A heeft aangeraakt licht verschuift, blijft de algemene vorm van de handtekening van Team A zichtbaar omdat er zoveel andere stenen in de groep zijn.
De handtekening van Team B wordt zo gekerfd dat deze niet botst met die van Team A; het is alsof er op een andere set stenen wordt gekerfd of een andere hoek wordt gebruikt die het eerste patroon niet verstoort.
Het resultaat: Aan het einde van de keten kan Team A hun zaklamp schijnen en nog steeds hun "X" zien, en Team B kan hun zaklamp schijnen en hun "O" zien. Ze hoeven niet met elkaar te praten of de originele blauwdruk te zien; ze hebben alleen hun eigen geheime sleutel nodig.

4. Het Testen van de Duurzaamheid

De onderzoekers testten dit systeem door een chaotische bouwplaats te simuleren:

Renovaties (Fine-tuning): Ze bleven het model updaten met nieuwe gegevens. De watermerken bleven 100% van de tijd zichtbaar, zelfs na vele rondes van updates.
Compressie (Quantization): Ze persten het model samen om het kleiner te maken (zoals het comprimeren van een bestand). De watermerken overleefden het, zelfs toen de bestandsgrootte met de helft werd verminderd.
Pruning: Ze verwijderden delen van het model (zoals het weghalen van een muur). De watermerken overleefden, tenzij er té veel van het gebouw werd weggehaald.
Nep-sleutels: Ze probeerden het systeem te misleiden met valse sleutels. Het systeem gaf correct aan: "Nee, dat is niet jouw handtekening," terwijl oudere methoden soms in de war raakten en "Ja" zeiden tegen de verkeerde persoon.

5. De Afweging

Het artikel vermeldt één kleine kostenpost: om die "stabiele stenen" (de beste plekken om te kerven) te vinden, moet het systeem vooraf enkele zware berekeningen uitvoeren. Het is also kind als een landmeter veel tijd besteedt aan het in kaart brengen van het fundament voordat de eerste baksteen wordt gelegd. Echter, zodra de kaart is gemaakt, is het toevoegen of controleren van handtekeningen erg snel.

Samenvatting

LineageMark is een manier om de intellectuele eigendom te beschermen van iedereen die helpt bij het bouwen van een AI. Het zorgt ervoor dat zelfs in een drukke, constant veranderende omgeving waar veel mensen hetzelfde model aanpassen, de unieke digitale handtekening van elke bijdrager zichtbaar, verifieerbaar en onderscheidbaar blijft van de anderen. Het verandelt een chaotische bouwplaats in een gebouw met een duidelijk, permanent verslag van wie wat heeft gebouwd.

Technische Samenvatting: LineageMark

Probleemstelling

In open Large Language Model (LLM) ecosystemen ondergaan modellen frequent meerfasige afleidingsketens waarbij verschillende bijdragers een basismodel aanpassen voor specifieke taken, domeinen of toepassingen. Dit creëert complexe lineage-structuren waarbij een uiteindelijke afgeleide versie van een model bijdragen bevat van meerdere historische stadia. Huidige watermerkmethoden kampen met twee kritieke beperkingen in deze context:

Lineage Decay (Lineage-verval): Historische watermerken die door vroege bijdragers zijn ingebed, vervagen vaak of worden onextracteerbaar door parameterdrift veroorzaakt door daaropvolgende full-parameter fine-tuning en modelupdates.
Multi-User Interference (Interferentie tussen meerdere gebruikers): Wanneer nieuwe bijdragers proberen hun eigen watermerken in een reeds watermerk voorzien model te plaatsen, falen bestaande methoden vaak in het behouden van de integriteit van eerdere watermerken, of verstoren de nieuwe invoegingen de signalen van voorgaande bijdragers.

Bestaande white-box methoden zijn primair ontworpen voor single-user, eenmalige embedding en missen mechanismen om incrementele, multi-user verificatie te ondersteunen waarbij elke bijdrager onafhankelijk zijn aanwezigheid kan verifiëren zonder toegang tot het originele model of de sleutels van andere gebruikers.

Methodologie: LineageMark

LineageMark is een multi-user white-box watermarking framework ontworpen om bijdragen in modelafleidingsketens te traceren. Het werkt via drie kernfasen:

1. Stabiele Dragerselectie (Stable Carrier Selection)

Om het risico op watermerkdrift tijdens daaropvolgende afleidingen te minimaliseren, selecteert LineageMark "stabiele" parametercoördinaten voor embedding.

Functionele Relevantie: Het berekent een empirische verborgen-ruimte Fisher-matrix ( $F_\ell$ ) met behulp van kalibratiedata om richtingen te identificeren die sterk geassocieerd zijn met modelgedrag, waardoor inactieve parameterregio's worden vermeden.
Perturbatiestabiliteit: Het construeert een compressie-tweede-moment-matrix ( $C_\ell$ ) met behulp van perturbatie-operatoren (random projectie, Gaussische kwantisatieruis, gestructureerde dropout) om de gevoeligheid voor veelvoorkomende modelwijzigingen te meten.
Selectiecriterium: Stabiele richtingen worden geselecteerd door een gegeneraliseerd eigenwaardeprobleem op te lossen ( $F_\ell u = \lambda(C_\ell + \epsilon I)u$ ) om de functionele relevantie per eenheid perturbatie te maximaliseren. Een spectrale truncatiestrategie selecteert eigenvectoren binnen een specifiek bereik om een balans te vinden tussen stabiliteit en nut.
Mapping: Deze stabiele subruimten worden teruggekaart naar specifieke gewichtscoördinaten in lineaire matrices, wat een masker ( $\Omega$ ) van kandidaat-dragers creëert.

2. Sign-Projectie Watermerk Embedding

In plaats van individuele gewichten aan specifieke waarden aan te passen, codeert LineageMark elk watermerkbit als een sign-projectie statistiek over een groep gewichten.

Key-Driven Groepering: Met behulp van een private sleutel genereert elke bijdrager pseudo-willekeurige mappings om disjuncte groepen coördinaten en projectiecoëfficiënten ( $\phi_{ij} \in \{-1, +1\}$ ) te definiëren.
Redundantie: Watermerk payloads worden opgedeeld in chunks en cyclisch toegewezen over meerdere lineaire matrices. Dit zorgt ervoor dat zelfs als fine-tuning het signaal in sommige matrices verzwakt, het geaggregeerde signaal herstelbaar blijft.
Margin Constraints (Margestatussen): Het embeddingproces dwingt een beslissingsmarge ( $\mu$ ) af. Als de huidige projectiestatistiek niet voldoet aan het doel-teken met voldoende marge, wordt een lokale closed-form update toegepast op de stabiele coördinaten om de statistiek richting het doel-teken te duwen. Dit creëert een buffer tegen toekomstige parameterperturbaties.

3. Key-Driven Watermerk Extractie

Verificatie wordt onafhankelijk uitgevoerd door elke kandidaat-bijdrager zonder dat daarvoor het originele model, kalibratiedata of informatie van andere gebruikers nodig is.

Detector Reconstructie: De verifieerder gebruikt zijn/haar private sleutel om exact dezelfde coöratengroepen en projectiecoëfficiënten te reconstrueren die tijdens de embedding zijn gebruikt.
Gewogen Stemmen (Weighted Voting): De verifieerder berekent projectiestatistieken op de huidige modelparameters. In plaats van eenvoudige meerderheidsstemming gebruikt LineageMark de magnitude van de projectie als een betrouwbaarheidsgewicht.
Aggregatie: Lokale beslissingen van meerdere matrices worden geaggregeerd. Een bit wordt gedecodeerd op basis van de vraag of de geaccumuleerde positieve of negatieve gewogen stemmen domineren. Dit mechanisme stelt het systeem in staat om bits te herstellen, zelfs als sommige matrices zijn gecorrumpeerd door latere afleidingsstadia.

Belangrijkste Bijdragen

Formalisering van Multi-User Watermarking: Het paper definieert de vereisten voor modelafleidingsketens, specifiek lineage-preservatie (historische watermerken blijven extraheerbaar), incrementele embedding (nieuwe watermerken vernietigen oude niet) en key-only onafhankelijke verificatie.
Stabiele Dragerselectie: Een nieuwe methode die gebruikmaakt van Fisher-informatie en perturbatiegevoeligheidsanalyse om parameterregio's te identificeren die robuust zijn tegen full-parameter fine-tuning en compressie.
Margin-Constrained Sign-Projectie: Een embeddingstrategie die bits representeert als geaggregeerde projectietekens met afgedwongen marges, wat de robuustheid tegen parameterdrift en multi-user interferentie verhoogt.
Uitgebreide Evaluatie: Het framework wordt geëvalueerd over meerdere modelformaten (OPT-125M tot OPT-1.3B) en domeinen (medisch, juridisch, wiskundig redeneren), waarbij de robuustheid tegen fine-tuning, re-watermarking, kwantisatie en pruning wordt aangetoond.

Experimentele Resultaten

Lineage Preservation: In multi-stage afleidingsketens met full-parameter fine-tuning behaalde LineageMark een Watermark Extraction Rate (WER) van 100% voor alle historische watermerken over alle stadia en domeinen. In contrast hiermee vertoonden baseline-methoden (ELLMark, EmMark) aanzienlijk verval (WER dalend naar ~40-60% voor historische merken) en interferentieproblemen.
Incrementele Embedding: Nieuwe bijdragers konden succesvol watermerken embedden zonder de extraheerbaarheid van bestaande watermerken te verslechteren.
Robuustheid:
- Fine-tuning: Behield een WER van 100% tegen parameter-efficiënte fine-tuning aanvallen (LoRA, Prefix-tuning, etc.) en standaard full-parameter fine-tuning.
- Kwantisatie: Behaalde een WER van 100% onder 8-bit kwantisatie en een WER van >90% onder agressieve 4-bit kwantisatie.
- Pruning: Behield een WER van >96%, zelfs bij 60% random pruning.
False Positive Weerstand: LineageMark demonstreerde een groot gat tussen correct-key en invalid-key extractiescores. Met een verificatiedrempel van 0,75 behaalde het een False Positive Rate (FPR) van 0,50% en een False Negative Rate (FNR) van 0%, waarmee het baselines aanzienlijk versloeg die leden aan hoge FPR's (bijv. 88% voor ELLMark) door ambigue extractiescores.
Nutbehoud (Utility Preservation): De zero-shot prestaties op algemene benchmarks (PIQA, HellaSwag, WinoGrande) bleven stabiel, met een verwaarloosbare degradatie vergeleken met het originele model.

Betekenis en Claims

Het paper claimt dat LineageMark een kritieke kloof in het open LLM-ecosysteem dicht door verifieerbare multi-contributor provenance mogelijk te maken. In tegenstelling tot eerdere methoden die zich richten op single-owner verificatie, maakt LineageMark het mogelijk dat een afgeleid model dient als een digitaal bezit waarbij de bijdragen van meerdere historische bijdragers onafhankelijk geaudit kunnen worden.

De auteurs benadrukken dat het framework niet beoogt de volledige topologie van de afleiding of de chronologische volgorde van de invoeging te herstellen, maar eerder de aanwezigheid van specifieke bijdrager-watermerken in een downstream model te verifiëren. Het werk demonstreert dat het uitbreiden van watermarking van single-owner scenario's naar multi-user afleidingsketens haalbaar is door middel van stabiele dragerselectie en statistische projectie-encoding, wat een praktisch mechanisme biedt voor intellectueel eigendombescherming en bijdrage-tracing in evoluerende model-ecosystemen.

Het paper erkent ook bescheiden de beperkingen, waarbij opmerkt dat de preprocessing kosten (schatting van de Fisher-informatie) de primaire computationele bottleneck vormen en dat de methode niet immuun is voor voldoende agressieve fine-tuning (bijv. zeer hoge learning rates) of extreme compressie die de ontworpen stabiliteitsmarges overschrijdt.