💻 computer science

LineageMark: Multi-user White-box Watermarking for Contribution Tracing in Model Derivation Chains

LineageMark è un framework di watermarking white-box multi-utente che consente il tracciamento robusto dei contributi nelle catene di derivazione di modelli linguistici di grandi dimensioni codificando i watermark come statistiche di proiezione su parametri stabili, garantendo persistenza e integrità attraverso aggiornamenti incrementali, fine-tuning e altre perturbazioni del modello.

Autori originali: Bingxue Zhang, Xiaofeng Xu, Feida Zhu

Pubblicato 2026-06-17

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Bingxue Zhang, Xiaofeng Xu, Feida Zhu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate il mondo dell'Intelligenza Artificiale come un enorme cantiere aperto. In questo cantiere, un "Modello Base" è come l'intelaiatura di un grattacielo già costruito. Invece di avere un solo architetto che completa l'edificio, decine di team diversi (contributori) si alternano per aggiungere piani, dipingere le pareti e installare nuovi sistemi. Ogni team modifica l'edificio per soddisfare le proprie esigenze specifiche, creando una lunga "catena" di modelli derivati.

Il problema? Man mano che l'edificio passa di mano e viene ristrutturato, diventa difficile dimostrare chi ha fatto cosa. È stato il Team A a costruire le fondamenta? Il Team B ha installato gli ascensori? Se l'edificio viene venduto o utilizzato in seguito, come facciamo a sapere quale team merita il credito (o il pagamento) per il proprio specifico contributo?

Questo è il problema che LineageMark risolve. È un nuovo sistema di "tagging digitale" che consente a più team di apporre la propria firma unica su un modello, anche quando quel modello viene costantemente ristrutturato da altri.

Ecco come funziona, utilizzando analogie semplici:

1. Il Problema: Inchiostro Sbiadito e Firme in Conflitto

I metodi esistenti di watermarking sono come scrivere un nome a matita su una singola pagina di un quaderno.

Il Problema della Sbiaditura: Se passi il quaderno a qualcun altro che cancella parti della pagina per scrivere i propri appunti, il tuo nome potrebbe sbiadirsi o scomparire del tutto.
Il Problema del Conflitto: Se due persone cercano di scrivere sulla stessa pagina contemporaneamente, il loro inchiostro potrebbe mescolarsi, rendendo impossibile leggere l'una o l'altra firma.

Nel mondo dell'IA, quando un nuovo team effettua il fine-tuning di un modello (aggiorna il suo "cervello"), accidentalmente cancella o rimescola le firme digitali lasciate dai team precedenti.

2. La Soluzione: La Fondamenta di "Pietra Stabile"

LineageMark cambia strategia. Invece di scrivere su una singola pagina, incide le firme nelle pietre delle fondamenta.

Trovare le Pietre Stabili: Prima di incidere, il sistema analizza il modello per trovare parti specifiche del suo "cervello" (parametri) che sono molto stabili. Queste sono come le pietre pesanti, portanti, che non si muovono nemmeno quando l'edificio viene ristrutturato. Il sistema ignora le parti fragili e mutevoli del modello.
Il Metodo di Incisione (Proiezione): Invece di scavare un buco profondo e ovvio (il che romperebbe la pietra), il sistema effettua piccoli e sottili aggiustamenti a un gruppo di queste pietre stabili. È come disporre un gruppo di ciottoli in modo che, se li si guarda da un'angolazione specifica, formino una "X" o una "O" nascosta.
- La Chiave: Ogni team ha una "torcia" segreta (una chiave privata). Quando puntano la loro torcia con l'angolazione giusta sui ciottoli, possono vedere la loro forma nascosta. Senza la torcia, i ciottoli sembrano solo un normale mucchio di rocce.

3. Come Gestisce Più Team

È qui che LineageMark brilla. Immaginate una lunga catena di ristrutturazioni:

Il Team A incide la propria firma nelle pietre stabili.
Il Team B arriva, ristruttura l'edificio e incide la propria firma.
Il Team C fa lo stesso.

Poiché LineageMark utilizza un sistema di "voto":

Anche se la ristrutturazione del Team B sposta leggermente alcuni dei ciottoli toccati dal Team A, ci sono così tanti altri ciottoli nel gruppo che la forma complessiva della firma del Team A rimane visibile.
La firma del Team B è incisa in modo da non entrare in conflitto con quella del Team A; è come incidere su un set diverso di pietre o usare un'angolazione diversa che non disturba il primo schema.
Il Risultato: Alla fine della catena, il Team A può puntare la propria torcia e vedere ancora la propria "X", e il Team B può puntare la propria e vedere la propria "O". Non hanno bisogno di parlarsi o vedere la progettazione originale; hanno solo bisogno della propria chiave segreta.

4. Testare la Durata

I ricercatori hanno testato questo sistema simulando un cantiere caotico:

Ristrutturazioni (Fine-tuning): Hanno continuato ad aggiornare il modello con nuovi dati. I watermark sono rimasti visibili il 100% delle volte, anche dopo molti round di aggiornamenti.
Compressione (Quantizzazione): Hanno rimpicciolito il modello per renderlo più piccolo (come comprimere un file). I watermark sono sopravvissuti, anche quando la dimensione del file è stata dimezzata.
Pruning (Potatura): Hanno rimosso parti del modello (come tagliare via una parete). I watermark sono sopravvissuti, a meno che non abbiano tagliato via troppa parte dell'edificio.
Chiavi False: Hanno cercato di ingannare il sistema con chiavi false. Il sistema ha risposto correttamente: "No, questa non è la tua firma", mentre i metodi più vecchi avrebbero potuto confondersi e dire "Sì" alla persona sbagliata.

5. Il Compromesso

Il documento nota un piccolo costo: per trovare quelle "pietre stabili" (i posti migliori per incidere), il sistema deve eseguire una serie di calcoli matematici intensi all'inizio. È come un geometra che trascorre molto tempo a mappare le fondamenta prima che venga posata la prima pietra. Tuttavia, una volta creato il piano, aggiungere o controllare le firme è molto veloce.

Riassunto

LineageMark è un modo per proteggere la proprietà intellettuale di tutti coloro che contribuiscono a costruire un'IA. Garantisce che anche in un ambiente affollato e in costante mutamento, dove molte persone modificano lo stesso modello, la firma digitale unica di ogni contributore rimanga visibile, verificabile e distinta da quella degli altri. Trasforma un cantiere caotico in un edificio con un registro chiaro e permanente di chi ha costruito cosa.

Riepilogo Tecnico: LineageMark

Definizione del Problema

Negli ecosistemi open Large Language Model (LLM), i modelli subiscono frequentemente catene di derivazione multi-stadio in cui diversi contributori adattano un modello base per compiti, domini o applicazioni specifiche. Ciò crea strutture di lineage complesse in cui un modello derivato finale contiene i contributi di molteplici fasi storiche. Le attuali metodologie di watermarking affrontano due criticità fondamentali in questo contesto:

Decadimento del Lineage (Lineage Decay): I watermark storici inseriti dai primi contributori spesso svaniscono o diventano inestraibili a causa del drift dei parametri causato dal successivo fine-tuning a parametri completi e dagli aggiornamenti del modello.
Interferenza Multi-Utente: Quando nuovi contributori tentano di inserire i propri watermark in un modello già marcato, i metodi esistenti spesso non riescono a preservare l'integrità dei watermark precedenti, oppure l'inserimento del nuovo segnale interrompe i segnali dei contributori precedenti.

I metodi white-box esistenti sono progettati principalmente per l'embedding single-user e una tantum, e mancano di meccanismi per supportare la verifica incrementale e multi-utente, dove ogni contributore deve poter verificare indipendentemente la propria presenza senza accedere al modello originale o alle chiavi di altri utenti.

Metodologia: LineageMark

LineageMark è un framework di watermarking white-box multi-utente progettato per tracciare i contributi nelle catene di derivazione dei modelli. Opera attraverso tre fasi principali:

1. Selezione del Carrier Stabile (Stable Carrier Selection)

Per mitigare il rischio di drift del watermark durante le derivazioni successive, LineageMark seleziona coordinate di parametri "stabili" per l'embedding.

Rilevanza Funzionale: Calcola una matrice di Fisher dello spazio nascosto empirica ( $F_\ell$ ) utilizzando dati di calibrazione per identificare le direzioni fortemente associate al comportamento del modello, evitando regioni di parametri inattive.
Stabilità della Perturbazione: Costruisce una matrice del secondo momento di compressione ( $C_\ell$ ) utilizzando operatori di perturbazione (proiezione casuale, rumore di quantizzazione gaussiana, dropout strutturato) per misurare la sensibilità alle comuni modifiche del modello.
Criterio di Selezione: Le direzioni stabili sono selezionate risolvendo un problema di autovalori generalizzato ( $F_\ell u = \lambda(C_\ell + \epsilon I)u$ ) per massimizzare la rilevanza funzionale per unità di perturbazione. Una strategia di troncamento spettrale seleziona gli autovettori entro un intervallo specifico per bilanciare stabilità e utilità.
Mappatura: Questi sottospazi stabili sono mappati nuovamente su specifiche coordinate di peso in matrici lineari, creando una maschera ( $\Omega$ ) di candidati carrier.

2. Embedding del Watermark tramite Proiezione del Segno (Sign-Projection Watermark Embedding)

Invece di modificare i singoli pesi con valori specifici, LineageMark codifica ogni bit del watermark come una statistica di proiezione del segno su un gruppo di pesi.

Raggruppamento Guidato dalla Chiave: Utilizzando una chiave privata, ogni contributore genera mappature pseudo-casuali per definire gruppi di coordinate disgiunti e coefficienti di proiezione ( $\phi_{ij} \in \{-1, +1\}$ ).
Ridondanza: I payload del watermark vengono suddivisi in chunk e assegnati ciclicamente attraverso molteplici matrici lineari. Ciò assicura che anche se il fine-tuning indebolisce il segnale in alcune matrici, il segnale aggregato rimanga recuperabile.
Vincoli di Margine: Il processo di embedding impone un margine decisionale ( $\mu$ ). Se la statistica di proiezione corrente non soddisfa il segno target con un margine sufficiente, viene applicato un aggiornamento locale a forma chiusa alle coordinate stabili per spingere la statistica verso il target. Questo crea un buffer contro le future perturbazioni dei parametri.

3. Estrazione del Watermark Guidata dalla Chiave (Key-Driven Watermark Extraction)

La verifica viene eseguita indipendentemente da ciascun potenziale contributore senza richiedere il modello originale, i dati di calibrazione o le informazioni di altri utenti.

Ricostruzione del Detector: Il verificatore utilizza la propria chiave privata per ricostruire gli esatti gruppi di coordinate e i coefficienti di proiezione utilizzati durante l'embedding.
Votazione Pesata: Il verificatore calcola le statistiche di proiezione sui parametri correnti del modello. Invece di una semplice votazione a maggioranza, LineageMark utilizza l'ampiezza della proiezione come peso di confidenza.
Aggregazione: Le decisioni locali da più matrici vengono aggregate. Un bit viene decodificato in base a quale voto pesato positivo o negativo predomina. Questo meccanismo consente al sistema di recuperare i bit anche se alcune matrici sono state corrotte da stadi di derivazione successivi.

Contributi Chiave

Formalizzazione del Watermarking Multi-Utente: Il paper definisce i requisiti per le catene di derivazione dei modelli, specificamente la preservazione del lineage (i watermark storici rimangono estraibili), l'embedding incrementale (nuovi watermark non distruggono quelli esistenti) e la verifica indipendente basata solo sulla chiave.
Selezione del Carrier Stabile: Un metodo innovativo che utilizza l'informazione di Fisher e l'analisi della sensibilità alla perturbazione per identificare regioni di parametri robuste rispetto al fine-tuning a parametri completi e alla compressione.
Proiezione del Segno con Vincolo di Margine: Una strategia di embedding che rappresenta i bit come segni di proiezione aggregati con margini imposti, aumentando la robustezza contro il drift dei parametri e l'interferenza multi-utente.
Valutazione Completa: Il framework è valutato su diverse scale di modelli (da OPT-125M a OPT-1.3B) e domini (medico, legale, ragionamento matematico), dimostrando robustezza contro attacchi di fine-tuning, re-watermarking, quantizzazione e pruning.

Risultati Sperimentali

Preservazione del Lineage: In catene di derivazione multi-stadio che coinvolgono il fine-tuning a parametri completi, LineageMark ha raggiunto il 100% di Tasso di Estrazione del Watermark (WER) per tutti i watermark storici in tutti gli stadi e domini. Al contrario, i metodi baseline (ELLMark, EmMark) hanno mostrato un decadimento significativo (il WER scendeva a circa il 40-60% per i marchi storici) e problemi di interferenza.
Embedding Incrementale: I nuovi contributori potevano inserire con successo i watermark senza degradare l'estraibilità dei watermark esistenti.
Robustezza:
- Fine-tuning: Ha mantenuto il 100% di WER contro attacchi di fine-tuning efficienti nei parametri (LoRA, Prefix-tuning, ecc.) e il fine-tuning standard a parametri completi.
- Quantizzazione: Ha raggiunto il 100% di WER sotto quantizzazione a 8 bit e >90% di WER sotto quantizzazione aggressiva a 4 bit.
- Pruning: Ha mantenuto un WER >96% anche con il 60% di pruning casuale.
Resistenza ai Falsi Positivi: LineageMark ha dimostrato un ampio divario tra i punteggi di estrazione con chiave corretta e chiave non valida. Con una soglia di verifica di 0.75, ha ottenuto un Tasso di Falsi Positivi (FPR) dello 0.50% e un Tasso di Falsi Negativi (FNR) dello 0%, superando significativamente i baseline che soffrivano di alti FPR (ad esempio, l'88% per ELLMark) a causa di punteggi di estrazione ambigui.
Preservazione dell'Utilità: Le prestazioni zero-shot su benchmark generali (PIQA, HellaSwag, WinoGrande) sono rimaste stabili, con un degrado trascurabile rispetto al modello originale.

Significato e Rivendicazioni

Il paper sostiene che LineageMark colma una lacuna critica nell'ecosistema open LLM, consentendo una provenienza multi-contributore verificabile. A differenza dei metodi precedenti che si concentrano sulla verifica di un singolo proprietario, LineageMark permette a un modello derivato di fungere da asset digitale in cui i contributi di molteplici contributori storici possono essere auditati indipendentemente.

Gli autori sottolineano che il framework non mira a recuperare l'intera topologia di derivazione o l'ordine cronologico di inserimento, quanto piuttosto a verificare la presenza di specifici watermark dei contributori in un modello a valle. Il lavoro dimosta che estendere il watermarking da scenari single-user a catene di derivazione multi-utente è fattibile attraverso la selezione di carrier stabili e la codifica di proiezione statistica, fornendo un meccanismo pratico per la protezione della proprietà intellettuale e la tracciabilità dei contributi in ecosistemi di modelli in evoluzione.

Il paper riconosce anche modestamente alcuni limiti, notando che il costo di pre-processing (stima dell'informazione di Fisher) è il principale collo di bottiglia computazionale e che il metodo non è immune a fine-tuning sufficientemente aggressivi (ad esempio, learning rate molto elevati) o a compressioni estreme che superano i margini di stabilità progettati.