Sintesi Tecnica: Watermarking Localizzato Sensibile alla Geometria per la Protezione del Copyright in Embedding-as-a-Service

1. Definizione del Problema

L'Embedding-as-a-Service (EaaS) è diventato un'infrastruttura semantica critica per le applicazioni di linguaggio naturale e multimediali. Tuttavia, i modelli EaaS sono altamente vulnerabili agli attacchi di model stealing, in cui gli avversari interrogano l'API su corpora non etichettati per addestrare modelli surrogati funzionalmente simili a una frazione del costo computazionale. Ciò minaccia la proprietà intellettuale (IP) dei fornitori di modelli.

Le difese di watermarking esistenti per l'EaaS affrontano una fondamentale tensione tra robustezza, utilità e verificabilità:

• I metodi basati su trigger (ad esempio, basati su parole specifiche) sono fragili rispetto agli attacchi di parafrasi.
• I metodi basati su trasformazione (ad esempio, trasformazioni lineari segrete) sono sensibili alle perturbazioni dimensionali (ad esempio, spostamento o troncamento delle dimensioni dell'embedding).
• I metodi basati su regioni (partizionamento dello spazio in sottoregioni semantiche) soffrono spesso di falsi positivi. Poiché gli embedding naturali sono distribuiti in modo non uniforme, gli embedding puliti possono mostrare accidentalmente un'affinità geometrica verso i target regionali assegnati, portando a rivendicazioni di copyright spurie.

La sfida principale è progettare uno schema di watermarking che rimanga robusto contro diversi attacchi di rimozione (parafrasi, perturbazione dimensionale e attacchi di Clustering-Selection-Elimination) pur preservando l'utilità dell'embedding e garantendo una verifica affidabile con un basso rischio di falsi positivi.

2. Metodologia: GeoMark

Gli autori propongono GeoMark, un framework di watermarking localizzato e sensibile alla geometria. L'innovazione centrale è il disaccoppiamento tra il luogo in cui il watermarking viene attivato e il target a cui viene attribuita la proprietà.

2.1 Inizializzazione del Watermark Sensibile alla Geometria

• Target Condiviso: GeoMark seleziona un singolo embedding naturale in-manifold ($w$) dallo spazio di embedding originale per fungere da target di watermark segreto condiviso.
• Ancore Separate Geometricamente: Utilizzando il Farthest Point Sampling (FPS), il metodo seleziona $K$ ancore ben separate ($A = \{a_1, ..., a_K\}$) dallo spazio di embedding. Queste ancore sono scelte per massimizzare la distanza minima rispetto al target segreto condiviso $w$ e alle ancore precedentemente selezionate, stabilendo espliciti margini di sicurezza geometrica.
• Intorni Locali Adattivi: Per ogni ancora $a_k$, un raggio locale adattivo $\tau_k$ è calibrato in base a un rapporto di copertura locale $\rho$. Ciò tiene conto delle variabili densità semantiche attraverso il manifold, garantendo una copertura locale coerente senza un raggio globale fisso.

2.2 Iniezione del Watermark Locale Centrata sulle Ancore

• Attivazione Localizzata: L'iniezione del watermark viene attivata solo se un embedding di input cade all'interno dell'intorno locale di una o più ancore.
• Attribuzione al Target Condiviso: Indipendentamente da quale ancora (o ancore) attivi l'iniezione, il watermark viene sempre iniettato spostando l'embedding verso lo stesso target condiviso $w$. L'embedding protetto è calcolato come $e_p = \text{Norm}(e_o + \lambda w)$, dove $\lambda$ controlla la forza dell'iniezione.
• Razionale del Design: Questo design assicura che, mentre l'attivazione è distribuita su molteplici regioni geometriche, l'attribuzione rimane centralizzata. Ciò previene il problema dell' "affinità accidentale" dei metodi basati su regioni (poiché i campioni puliti sono improbabili che siano vicino alle ancore specifiche) evitando al contempo la fragilità degli schemi a target multipli contro gli attacchi CSE.

2.3 Verifica del Copyright

• Set di Verifica: Viene costruito un set di campioni "backdoor" (quelli che cadono negli intorni delle ancore) e campioni "benigni" (quelli al di fuori).
• Metrica Centralizzata: Il modello surrogato sospetto viene interrogato con questi campioni e il testo corrispondente a $w$. La verifica si basa sulla misurazione della affinità geometrica relativa tra gli embedding restituiti e l'embedding target restituito $\hat{w}$.
• Test Statistici: Il metodo utilizza la similarità del coseno e la distanza $L_2$ per calcolare le discrepanze a livello di gruppo ($\Delta_{cos}$, $\Delta_{L2}$). Viene eseguito un test di Kolmogorov–Smirnov (KS) monodirezionale per determinare se i campioni backdoor siano significativamente più vicini al target rispetto ai campioni benigni.

3. Contributi Chiave

1. Identificazione della Tensione: Il documento identifica i trade-off specifici nei watermark EaaS esistenti e sostiene che un design consapevole della geometria sia essenziale per una verifica a bassi falsi positivi.
2. Framework GeoMark: La proposta di un framework che disaccoppia l'attivazione localizzata (tramite ancore selezionate con FPS) dall'attribuzione a un target condiviso. Ciò ottiene un'attivazione distribuita con un'attribuzione centralizzata.
3. Robustezza e Utilità: Esperimenti estesi dimostrano che GeoMark preserva l'utilità downstream e la fedeltà geometrica mantenendo una verifica robusta contro attacchi di parafrasi, perturbazione dimensionale e attacchi CSE.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro dataset benchmark (SST-2, AGNews, Enron, MIND) contro tre metodi baseline (WARDEN, EspeW, WET) e vari scenari di attacco.

• Preservazione dell'Utilità: GeoMark preserva l'accuratezza dei task downstream comparabile alla baseline non watermarked. In termini di fedeltà geometrica, GeoMark mantiene una similarità del coseno >97,5% tra gli embedding originali e quelli protetti, superando significativamente i metodi basati su trasformazione (come WET) che spesso risultano in una similarità nulla o negativa a causa della distorsione delle coordinate globali.
• Robustezza:
  • Parafrasi: GeoMark rimane verificabile sotto attacchi di parafrasi NLLB e GPT-4o-mini, mentre i metodi basati su trigger (WARDEN, EspeW) falliscono su determinati dataset (ad esempio, SST-2 con GPT-4o-mini).
  • Perturbazione Dimensionale: GeoMark è robusto allo shifting e alla riduzione delle dimensioni. A differenza di WET, che fallisce quando la struttura delle coordinate viene alterata, la dipendenza di GeoMark dall'affinità relativa a un target naturale rimane efficace.
  • Attacco CSE: GeoMark resiste all'attacco di Clustering-Selection-Elimination. Creando una popolazione di campioni attivati eterogenea sotto un target condiviso, il watermark non forma un singolo cluster monolitico che può essere facilmente ricostruito e rimosso.
• Verificabilità e Falsi Positivi:
  • GeoMark dimostra un basso rischio di falsi positivi. Sui modelli puliti (non watermarked), i p-value per la verifica della proprietà rimangono ben al di sopra della soglia di significatività ($p > 0,05$).
  • Al contrario, una versione re-implementata del baseline basato su regioni (RegionMarker) ha mostrato falsi positivi statisticamente significativi su diversi dataset.
  • Gli studi di ablazione confermano che rimuovere l'FPS (selezione casuale delle ancore) porta a una verifica instabile e a un rischio di falsi positivi più elevato, validando l'importanza della separazione geometrica.

5. Significato e Rivendicazioni

Il documento sostiene che GeoMark colma la lacuna critica nella protezione del copyright per l'EaaS progettando congiuntamente l'attivazione e l'attribuzione del watermark. La sua importanza risiede in:

• Meccanismo di Disaccoppiamento: Separare con successo il "dove" (trigger localizzati, geometricamente separati) dal "cosa" (attribuzione a un target naturale condiviso), risolvendo la tensione tra robustezza e verificabilità.
• Implementazione Pratica: Il metodo introduce un overhead trascurabile (circa 0,017 ms per query) e non richiede il riaddestramento dell'encoder di base, rendendolo adatto all'implementazione reale in ambito EaaS.
• Affidabilità: Fornisce una soluzione che è robusta contro diversi attacchi di rimozione pur mantenendo bassi tassi di falsi positivi, un requisito critico per l'applicazione legale e commerciale del copyright.

Gli autori concludono che una protezione del copyright robusta per l'EaaS richiede un design congiunto di attivazione e attribuzione, piuttosto che l'ottimizzazione di questi componenti isolatamente.