Sintesi Tecnica: SIGIL – Iniezione Sottile per l'Inferenza del Ground-truth dei Dati di Addestramento di LLM

1. Definizione del Problema

I corpora di addestramento delle Large Language Models (LLM) di frontiera incorporano frequentemente enormi quantità di testi estratti dal web senza il consenso degli autori, portando a significative controversie legali sul copyright. Una barriera tecnica critica in questi procedimenti legali è l'assenza di un metodo forense rigoroso per dimostrare che un documento specifico sia stato incluso nel set di addestramento di un modello.

Gli attacchi di inferenza dell'appartenenza (MIA) esistenti operano post-hoc, tentando di rilevare la memorizzazione in modelli già addestrati. Questi metodi soffrono di bassi rapporti segnale-rumore perché si basano sulla memorizzazione incidentale di contenuti arbitrari. Inoltre, mancano di Tassi di Falsi Positivi (FPR) formalmente controllati, un requisito per l'ammissibilità in tribunale. È necessario un approccio proattivo in cui i proprietari dei contenuti controllino il segnale, garantendo la rilevabilità pur mantenendo l'impercettibilità e il rigore statistico.

2. Metodologia: Il Framework SIGIL

SIGIL (Subtle Injection for Ground-truth Inference of LLM training data) propone un framework proattivo in cui i proprietari dei contenuti incorporano sequenze "canary" impercettibili in testi e codice protetti prima del rilascio pubblico. Se un modello viene addestrato su questi documenti con watermark, esso esibisce firme comportamentali statisticamente rilevabili quando interrogato con query mirate.

2.1 Framework Statistico Formale

Il nucleo di SIGIL è un framework di test d'ipotesi basato sul lemma di Neyman-Pearson, progettato per controllare rigorosamente il Tasso di Falsi Positivi (FPR).

• Ipotesi:
  • $H_0$: Il modello $M$ non è stato addestrato sul corpus watermarked $D'$.
  • $H_1$: Il modello $M$ è stato addestrato su $D'$.
• Membership Inference Score (MIS): La metrica decisionale è definita come $MIS(M) = \Phi^{-1}(1 - p_{Welch})$, dove $p_{Welch}$ è il p-value del test t di Welch a una coda confrontando le log-probabilità delle query di sonda canary ($x_P$) rispetto alle query di controllo corrispondenti ($x_N$).
  • Sotto $H_0$, $MIS \sim N(0, 1)$ asintoticamente, permettendo un controllo esatto dell'FPR (ad es., soglia 1.645 per $\alpha=0.05$).
• Impercettibilità: Definita come $I(d, d') = (1 - \text{distanza di edit normalizzata}) \cdot (1 - P_h)$, dove $P_h$ è la probabilità di rilevamento umano. Il framework richiede $I > 0.75$.

2.2 Tassonomia delle Strategie Canary

SIGIL definisce cinque strategie canary distinte, ciascuna calibrata rispetto alla letteratura empirica sull'inferenza dell'appartenenza per massimizzare il vantaggio di rilevamento ($\Delta_s$):

1. Lexical-Rare (Token Raro): Inserimento di parole inglesi reali a bassa frequenza (ad es., "vellichor") in contesti naturali.
2. Lexical-Phrase (Frase Canary): Frasi sintatticamente corrette ma semanticamente nuove inserite come parentetiche.
3. Syntactic (Sintattica): Inversione sistematica dell'ordine aggettivo-sostantivo in specifiche frasi.
4. Semantic (Argomento Semantico): Augmentazione con affermazioni di dominio fattualmente plausibili ma distintive (ad es., "l'attribuzione basata su reticolo come standard d'oro").
5. Code-Pattern (Pattern di Codice): Identificatori unici incorporati nelle docstring delle funzioni e nei commenti inline.

2.3 Simulazione e Calibrazione

Gli autori hanno utilizzato un simulatore calibrato rispetto ai dati empirici (specificamente Carlini et al. [2] e Shi et al. [14]) per modellare le distribuzioni delle log-probabilità.

• Ipotesi Nulla ($H_0$): Le log-probabilità seguono $N(0.5, \sigma^2)$ con $\sigma=0.155$.
• Ipotesi Alternativa ($H_1$): La media è traslata da una funzione del tasso di iniezione ($r$), del rapporto di miscelazione ($m$), del fattore dimensione del modello ($f_{size}$) e del vantaggio della strategia ($\Delta_s$).
• Disegno Sperimentale: 36.000 prove attraverso 5 tassi di iniezione, 4 rapporti di miscelazione, 3 dimensioni di modello, 7 condizioni di difesa avversaria e 5 strategie.

3. Contributi Chiave

1. Definizione Formale di MIS: Uno Membership Inference Score con garanzie statistiche di Neyman-Pearson, che consente prove ammissibili in tribunale con FPR controllato.
2. Tassonomia Proattiva: Una classificazione di cinque strategie canary con vantaggi di rilevamento calibrati derivati dalla letteratura empirica.
3. Valutazione Completa: Test sistematici su 36.000 prove che coprono tassi di iniezione, dimensioni dei modelli e difese avversarie.
4. Robustezza alla Parafrasi: La prima dimostrazione che il rilevamento basato su canary mantiene alte prestazioni ($AUC > 0.86$) anche sotto parafrasi al 100%, grazie alla "perdita semantica" (semantic leakage).

4. Risultati Sperimentali

La simulazione ha prodotto un Area Under the Curve (AUC) complessivo di 0.892.

• Performance delle Strategie:
  • Code Pattern ha ottenuto l'AUC più alto (0.903, Cohen's $d=1.84$) e l'impercettibilità più elevata ($I=0.932$).
  • Canary Phrase si è classificata seconda per AUC (0.900) con il più alto tasso di rilevamento per strategia (59.8%).
  • Syntactic Structure ha avuto l'AUC più basso (0.875) e il minor vantaggio di rilevamento.
• Effetti dei Fattori: Il tasso di iniezione, la dimensione del modello, la strategia canary e il rapporto di miscelazione hanno tutti effetti indipendenti significativi sull'MIS ($p < 0.001$).
  • I tassi di rilevamento variano dal 33% al 78% a seconda delle condizioni.
  • Con un'iniezione del 10% su un modello da 7B, i tassi di rilevamento hanno raggiunto il 77.8%.
• Robustezza alle Difese:
  • Sotto parafrasi al 100%, SIGIL ha mantenuto un AUC di 0.864. Ciò è attribuito alla perdita semantica, dove le associazioni tematiche codificate nei pesi del modello sopravvivono alla riscrittura superficiale.
  • Il framework è rimasto efficace contro la deduplicazione esatta, la quasi-deduplicazione (MinHash) e la pulizia euristica.

5. Significato e Rivendicazioni

Il paper posiziona SIGIL come un ponte tra la rilevabilità teorica e l'evidenza forense implementabile. La sua principale importanza risiede in tre aree:

1. Ammissibilità in Tribunale: A differenza dei precedenti attacchi probabilistici, SIGIL offre un FPR formalmente controllato. Con $\alpha=0.01$, il framework raggiunge un rapporto di verosimiglianza di circa 73:1 a favore dell'appartenenza ai dati di addestramento per modelli grandi con iniezione del 10%, superando la soglia del Bayes factor comunemente citata come "prova forte" nella statistica forense.
2. Controllo Proattivo: Sposta il paradigma dall'osservazione passiva al controllo attivo del segnale. I proprietari dei contenuti possono incorporare segnali impercettibili che sono statisticamente distinguibili dal rumore, anche se l'avversario tenta di rimuoverli.
3. Resilienza Semantica: Il framework dimostra che il rilevamento non dipende esclusivamente dalla memorizzazione letterale. Sfruttando le associazioni semantiche (tramite le strategie Semantic Topic), SIGIL sopravvive alla parafrasi aggressiva, affrontando un limite maggiore del watermarking lessicale.

Gli autori concludono che, sebbene i risultati attuali si basino su un simulatore calibrato, il framework fornisce una base rigorosa per una futura validazione empirica su LLM reali e offre una via percorribile per la protezione della proprietà intellettuale nell'era dello scraping di dati non autorizzato.