FLIPS: Instance-Fingerprinting for LLMs via Pseudo-random Sequences

Riepilogo Tecnico: FLIPS – Instance-Fingerprinting per LLM tramite Sequenze Pseudo-casuali

1. Definizione del Problema

Le attuali tecniche di identificazione dei Large Language Model (LLM), progettate principalmente per la Protezione della Proprietà Intellettuale (IPP), si concentrano sulla verifica se un modello target sia una copia di un modello di riferimento basandosi sui suoi pesi originali. Questi metodi ignorano deliberatamente i "parametri a livello di istanza" — come i prompt di sistema, le configurazioni di campionamento (es. temperatura) e la quantizzazione — per ottenere robustezza contro piccole alterazioni del modello.

Tuttavia, questo approccio crea una lacuna critica per la regolamentazione dell'IA. Legislazioni come l'AI Act dell'UE e la SB 533 della California richiedono valutazioni di conformità basate sul comportamento effettivo distribuito di un LLM, non solo sulla sua provenienza. Un modello con pesi sicuri può generare contenuti tossici sotto diverse configurazioni (ad esempio, specifici prompt di sistema o temperature elevate). I metodi IPP esistenti non riescono a distinguere tra un modello sicuro e le sue varianti "ablaterate" (non censurate) o configurate diversamente, rendendoli inefficaci per i regolatori che devono identificare specifiche istanze distribuite per verificare la conformità comportamentale.

Il documento definisce l'Instance-level Fingerprinting (IF) come il compito di distinguere una specifica istanza di modello definita dai suoi precisi pesi, dall'inquadramento istruzionale e dagli iperparametri di generazione.

2. Metodologia: FLIPS

Gli autori propongono FLIPS (Instance-Fingerprinting for LLMs via Pseudo-random Sequences), un metodo black-box, efficiente nelle query, progettato per rilevare i bias specifici dell'istanza nella generazione di sequenze pseudo-casuali.

Logica Centrale

Il metodo sfrutta l'osservazione che gli LLM sono scarsi nel generare sequenze veramente casuali. Quando istruiti a generare sequenze binarie (ad esempio, token alternati come "0" e "1" o coppie arbitrarie come "auto" e "sole"), gli LLM esibiscono bias distinti e specifici dell'istanza. Questi bias derivano dalla complessa interazione tra pesi, meccanismi di attenzione, contesto e iperparametri (come la temperatura), che creano una "impronta digitale" unica per ogni istanza.

Pipeline Tecnica

1. Strategia di Query: Il sistema utilizza un template di prompt fisso che istruisce il modello a generare una sequenza binaria casuale utilizzando una specifica coppia di token (ad esempio, $t_A$ e $t_B$). Gli autori utilizzano un insieme di coppie di token distinte per elicitare diverse firme di bias.
2. Estrazione delle Caratteristiche: Le sequenze di output generate vengono convertite in flussi di bit binari. Questi flussi di bit vengono analizzati utilizzando la NIST Statistical Test Suite (una suite di test statistici standard per la crittografia della casualità). La suite produce un vettore di $d$ statistiche di test (ad esempio, frequenza di transizioni, lunghezze di run, occorrenze di pattern) che fungono da caratteristiche dell'impronta digitale.
3. Addestramento del Rilevatore: Il compito di fingerprinting è inquadrato come un problema di classificazione multi-classe. Un classificatore XGBoost viene addestrato sui vettori di caratteristiche NIST estratti da un set di riferimento di istanze note.
4. Verifica: Per verificare un'istanza target, il sistema la interroga con le stesse coppie di token, estrae le statistiche NIST e alimenta il classificatore addestrato. Il classificatore predice l'istanza di riferimento più probabile o etichetta il target come "Unseen" (non visto) se la confidenza scende al di sotto di una soglia predefinita.

Vincoli Operativi

FLIPS è progettato per operare in rigorose condizioni black-box (senza accesso a pesi o logit) e privilegia l'efficienza delle query. Distingue tra:

• Budget di Estrazione ($N_r$): Utilizzato per costruire il database di riferimento (ad esempio, 40 query per istanza).
• Budget di Verifica ($N_t$): Utilizzato per controlli di routine (anche solo 8 query).

3. Contributi Chiave

1. Cambio di Paradigma: Il documento introduce e motiva l'Instance-level Fingerprinting, spostando l'attenzione dall'identificazione basata sui pesi (IPP) all'identificazione consapevole della configurazione per la conformità normativa.
2. Algoritmo FLIPS: Un metodo innovativo e query-efficient che sfrutta i bias nella generazione pseudo-casuale e le statistiche NIST per distinguere tra istanze di modelli.
3. Benchmark Completo: Gli autori hanno costruito un benchmark di 237 istanze derivate da 25 LLM open-weight. Questo include variazioni di temperatura (0.4–1.0), prompt di sistema (orientati alla sicurezza, dannosi, basati su persona), quantizzazione (int4, fp8) e modelli ablaterti.
4. Validazione Empirica: Lo studio dimostra che FLIPS supera significativamente i metodi IPP allo stato dell'arte adattati nel distinguere le varianti comportamentali.

4. Risultati Sperimentali

Valutato sul benchmark di 237 istanze, FLIPS ha raggiunto le seguenti metriche di performance:

• Accuratezza Closed-Set: 96% con 8 query di verifica ($N_t=8$).
• Accuratezza Open-Set: 90% (dove il 10% dei target sono istanze sconosciute/non viste) con 8 query di verifica.
• Confronto con i Baseline: Il metodo IPP allo stato dell'arte adattato, LLMmap, ha ottenuto solo il 35% di accuratezza nell'impostazione closed-set e non è stato valutato nell'impostazione open-set a causa delle scarse prestazioni.
• Efficienza delle Query: È stata raggiunta un'alta accuratezza con appena 40 query di estrazione e 8 query di verifica per istanza.
• Robustezza: Il metodo è rimasto efficace anche quando le lunghezze delle sequenze venivano troncate a una lunghezza fissa, confermando che il segnale deriva dal bias piuttosto che dalle differenze di lunghezza grezza.
• Analisi dei Fallimenti: Il metodo ha mostrato una recall inferiore per le istanze con temperature più elevate (che aumentano l'entropia dell'output) e per specifici modelli "ablaterati", sebbene abbia comunque mantenuto un potere discriminativo significativo rispetto ai baseline.

5. Significato e Rivendicazioni

Il documento sostiene che FLIPS fornisce una soluzione praticamente fattibile per i regolatori dell'IA per verificare la conformità degli LLM distribuiti senza richiedere audit completi costosi o accesso white-box.

• Necessità Regolatoria: Gli autori sostengono che poiché i parametri a livello di istanza (prompt, temperatura) alterano drasticamente il comportamento del modello (es. sicurezza vs tossicità), i regolatori devono essere in grado di identificare configurazioni specifiche, non solo i pesi del modello.
• Analogia della Targa: Gli autori paragonano FLIPS a una "targa" per gli LLM: un meccanismo semplice ed efficiente per identificare un'istanza. Sebbene possa essere contraffatta (ad esempio, un provider che dirotta le query verso un vero PRNG), tale inganno è rilevabile (poiché i veri PRNG superano perfettamente i test NIST) e rappresenta una barriera più alta rispetto all'attuale punto cieco della regolamentazione.
• Limitazioni: Il documento riconosce che man mano che gli LLM migliorano le loro capacità interne di generazione casuale, il potere discriminativo di questo metodo potrebbe diminuire. Tuttavia, suggerisce che il compito può essere elevato a sfide di casualità più complesse (ad esempio, processi di Poisson) per mantenere l'efficacia.

In conclusione, FLIPS dimostra che sfruttare i sottili bias nella generazione pseudo-casuale permette l'identificazione efficace e a basso costo di specifiche istanze di LLM, affrontando una lacuna critica nei framework di governance dell'IA.