Riepilogo Tecnico: Chiedere di Nuovo: Filigrane Antidistillazione a Livello di Interazione

Enunciato del Problema

La proliferazione di modelli linguistici all'avanguardia erogati tramite API a scatola nera ha creato una minaccia commerciale matura: la distillazione non autorizzata di conoscenze. Gli avversari raccolgono coppie prompt-risposta da un'API insegnante, affinano un modello studente più piccolo e lo distribuiscono senza autorizzazione. Difendersi da ciò è difficile perché il difensore non controlla né la pipeline di addestramento dell'attaccante né i logit interni dell'insegnante (distribuzioni del token successivo).

Le difese antidistillazione esistenti operano su tre livelli principali, tutti condivisibili una vulnerabilità alla riscrittura pre-distillazione:

1. Livello distribuzione dei token: Perturba le probabilità del token successivo (ad es. filigrane a lista verde, schemi crittografici).
2. Livello modello: Modifica il modello insegnante stesso per incorporare firme.
3. Livello traccia di ragionamento: Riordina o riscrive le tracce del pensiero a catena.

Lavori recenti dimostrano che gli attaccanti possono parafrasare le risposte raccolte prima dell'addestramento, rimuovendo efficacemente questi segnali di superficie pur preservando il trasferimento di conoscenze sottostante. Ciò lascia un vuoto strutturale: anche se un segnale sopravvive, non specifica necessariamente un comportamento distintivo e interrogabile nello studente distillato.

Metodologia

Questo articolo propone un quarto, complementare locus per la filigranatura: il livello di interazione. Invece di modificare le probabilità dei token o i parametri del modello, il difensore avvolge l'insegnante con un prompt di sistema che induce intermittentemente un marcatore comportamentale ($B$) specifico.

Il Meccanismo di Chiedere di Nuovo

Il difensore implementa una politica di attivazione ($\Pi_B$) che seleziona un prompt di sistema ($s_B$) per una frazione ($\rho$) degli input. Il prompt di sistema istruisce l'insegnante a esibire un comportamento di interazione specifico, come:

• FORTE (Esplicito): Aggiungere una domanda di follow-up riguardante il caso d'uso, l'ambiente o l'intento dell'utente.
• MORBIDO (Esplicito a bassa densità): La stessa domanda di follow-up, ma solo per un sottoinsieme di circa il 20% dei prompt.
• CONTROLLO-STILE (Implicito): Una riformulazione dichiarativa o una frase di consiglio (ad es. "In pratica, questo funziona meglio quando...") incorporata nella risposta, anch'essa a una densità di circa il 20%.

Un distillatore ignaro, non informato sulla politica di attivazione, addestra uno studente sul corpus raccolto. Poiché il marcatore comportamentale fa parte del testo di risposta che lo studente è chiamato a imitare, lo studente eredita questo comportamento. Il difensore può successivamente auditare uno studente sospetto tramite query a scatola nera, utilizzando un LLM come giudice per rilevare la presenza del marcatore.

Formalizzazione

La filigrana è definita come una terna $(B, \Pi_B, \rho)$, dove $B$ è una funzione marcatore, $\Pi_B$ è la politica di attivazione e $\rho$ è il tasso di marcatore indotto. L'articolo introduce metriche per:

• Tasso di Trasferimento ($\tau$): Il tasso con cui uno studente esibisce il marcatore su dati tenuti da parte.
• Trasferimento Relativo ($\tau_{rel}$): Il tasso dello studente normalizzato rispetto al tasso dell'insegnante.
• Robustezza alla Parafrasi: Decomposta in un soffitto auto-insegnante ($R_T$, la ritenzione dell'insegnante sotto parafrasi lato prompt) e una ritenzione relativa studente ($R_{rel}$, quanto bene lo studente preserva il segnale rispetto al degrado dell'insegnante).

Contributi Chiave

1. Inquadramento del Problema: Gli autori formalizzano la filigrana a livello di interazione e definiscono controparti comportamentali alle metriche esistenti a livello di token (lista verde, dati radioattivi).
2. Scala: Lo studio presenta la valutazione di filigranatura per distillazione cross-famiglia più ampia a oggi, coinvolgendo 63 studenti distillati con LoRA attraverso tre famiglie di modelli (Gemma, OLMo, Qwen) addestrati su un insegnante Llama-3.3-70B-Instruct, con 35.343 campioni giudicati.
3. Robustezza alla Parafrasi a Due Livelli: Il lavoro caratterizza la robustezza non come un singolo numero ma come una decomposizione dei limiti ereditati dall'insegnante e della ritenzione specifica dello studente, rivelando che alcuni studenti possono preservare le filigrane in modo più affidabile dello stesso insegnante in condizioni specifiche.

Risultati Sperimentali

La valutazione copre cinque ipotesi ($H1$–$H5$) e diversi risultati:

• Apprendibilità ($H1$): Gli studenti addestrati su dati filigranati esibiscono il marcatore a tassi sostanzialmente superiori alla baseline. In un caso di studio intra-famiglia, uno studente addestrato su dati "FORTE" ha raggiunto un tasso di marcatore del 99,56% rispetto a una baseline del 5,09%.
• Generalizzazione Cross-Famiglia ($H2$): L'effetto vale attraverso tre distinte famiglie di modelli. I tassi di trasferimento relativo per il marcatore "FORTE" sono stati dell'88,9% (Gemma), dell'80,9% (OLMo) e del 45,2% (Qwen).
• Robustezza alla Parafrasi ($H3$): Quando il prompt utente viene parafrasato (usando DIPPER), il tasso di marcatore dell'insegnante scende (ad es. dal 90,9% al 60,4% per FORTE, una ritenzione del 66,4%). Questo stabilisce un soffitto. Tuttavia, la ritenzione relativa studente varia:
  • Gemma: 89% di ritenzione del tasso degradato dell'insegnante.
  • Qwen: 65% di ritenzione.
  • Anomalia OLMo: OLMo ha mostrato una ritenzione del 112%, preservando la filigrana al di sopra delle proprie prestazioni degradate dell'insegnante.
• Densità-Detectabilità ($H4$): Anche a basse densità ($\rho \approx 20\%$), i tassi di rilevamento sono affidabilmente al di sopra del livello di rumore per famiglia. Ad esempio, studenti OLMo addestrati su dati a densità del 20% hanno mostrato un tasso di rilevamento del 31,99% (vs 0,65% baseline), superando il tasso del 17,85% dello stesso insegnante sullo stesso sottoinsieme.
• Furtività ($H5$): Uno studio in laboratorio ($N=20$) utilizzando un protocollo pre-registrato a quadrato latino ha rilevato che i marcatori a bassa densità (20% e 50%) non hanno degradato significativamente la qualità dell'interazione percepita dall'utente. Tutte le varianti del marcatore sono rimaste entro 0,22 passi Likert dalla baseline.
• Trasferimento Implicito (F-Stile): Il marcatore "CONTROLLO-STILE" (dichiarativo, non interrogativo) si è trasferito anch'esso in modo affidabile (da 4,1x a 7,9x la baseline), dimostrando che il meccanismo si basa sul discorso a livello di interazione piuttosto che su forme sintattiche specifiche come i punti interrogativi.

Significato e Affermazioni

L'articolo afferma che il livello di interazione è un locus di progettazione vitale per la filigranatura antidistillazione, offrendo un canale di audit complementare alle difese a livello di token, modello e traccia di ragionamento.

• Modalità di Fallimento Complementari: Mentre i segnali a livello di token sono vulnerabili alla riscrittura a livello di risposta, e le tracce di ragionamento sono vulnerabili al riordino strutturale, i segnali a livello di interazione (tendenze comportamentali) sembrano robusti alla parafrasi lato prompt e sopravvivono alla distillazione come competenze discorsive apprese.
• Trasferimento Comportamentale: I risultati suggeriscono che la distillazione preserva preferenzialmente regolarità strutturali e competenze a livello di discorso (come "chiedere di nuovo") rispetto alle statistiche superficiali dei token.
• Vitalità Pratica: Lo studio dimostra che filigrane a bassa densità possono essere distribuite senza degradare l'esperienza utente, fornendo un metodo pratico per auditare la distillazione non autorizzata tramite query a scatola nera.

Gli autori rimangono modesti riguardo alla portata, notando che il modello di minaccia attuale si concentra sulla parafrasi non adattiva lato prompt. Identificano la riscrittura lato risposta e gli attacchi adattivi come problemi aperti per lavori futuri. Inoltre, l'effetto di "amplificazione" osservato in OLMo (dove lo studente supera l'insegnante) è trattato come un'osservazione di una singola famiglia che richiede ulteriore fondamento empirico piuttosto che una proprietà universale.