Bounded Behavioral Indistinguishability for Black-Box LLM Distillation

Sintesi Tecnica: Indistinguibilità Comportamentale Limitata per la Distillazione di LLM Black-Box

Definizione del Problema

La distillazione di Large Language Models (LLM) black-box è tradizionalmente valutata come un problema di corrispondenza dell'output, dove il successo è definito dalla somiglianza semantica, dalla coerenza del compito o dalla sovrapposizione lessicale tra un modello insegnante ($T$) e un modello studente ($S$). Tuttavia, gli autori sostengono che un'elevata somiglianza semantica non garantisce la indistinguibilità comportamentale. Uno studente può replicare la risposta principale di un insegnante pur fallendo nel mimare sfumature comportamentali critiche, come il linguaggio cautelativo, i comportamenti di rifiuto, gli artefatti di formattazione o la robustezza alle perturbazioni. In contesti avversari (ad es., estrazione del modello) o di deployment benigni, la domanda operativa non è semplicemente "quanto sono simili gli output?", ma "un avversario può distinguere se una risposta è stata generata dall'insegnante o dallo studente distillato?".

Le metriche attuali non affrontano questo divario operativo perché non misurano il vantaggio residuo che un avversario ottiene nell'identificare la sorgente di una risposta.

Metodologia

Il documento introduce l'Indistinguibilità Comportamentale Limitata, un framework formale che tratta l'indistinguibilità non come una proprietà assoluta, ma come un'affermazione empirica limitata rispetto a vincoli specifici.

1. Definizione Formale:
Uno studente $S$ è definito come $(\epsilon, q, t, \mathcal{A})$-comportamentalmente indistinguibile da un insegnante $T$ se nessun avversario $\mathcal{A}$, operando con un budget di query $q$ e un budget computazionale $t$, può distinguere gli output dell'insegnante dagli output dello studente con un vantaggio superiore a $\epsilon$ rispetto a una distribuzione esplicita di prompt $\mathcal{P}$.

• $\epsilon$: Limita il vantaggio di distinzione.
• $q$: Limita il numero di query all'oracolo.
• $t$: Limita le risorse computazionali dell'avversario.
• $\mathcal{A}$: Definisce la classe di avversari (ad es., discriminatori appresi, giudici a coppie).

2. Setup Sperimentale:

• Modelli: Lo studio valuta due famiglie di modelli open:
  • Qwen: Insegnante $T$ = Qwen2.5-3B-Instruct; Studente $S$ = Qwen2.5-0.5B-Instruct.
  • Llama: Insegnante $T$ = Llama-3.2-3B-Instruct; Studente $S$ = Llama-3.2-1B-Instruct.
• Protocollo di Distillazione: Gli studenti sono addestrati tramite Low-Rank Adaptation (LoRA) su risposte black-box generate dall'insegnante. I pesi base dello studente sono congelati; solo i parametri dell'adapter vengono aggiornati per minimizzare la log-likelihood negativa sulle risposte dell'insegnante.
• Suite di Probe: Viene utilizzato un dataset controllato di 5.000 prompt, suddiviso in 4.000 prompt di addestramento e 1.000 prompt di test tenuti separati. La suite copre dieci categorie comportamentali: QA Generale, Ragionamento, Coding, Riassunto, Stile/Formato, Ambiguità, Confini di Sicurezza (Safety-Boundaries), Conflitto di Istruzioni, Dominio Tecnico e Perturbazioni di Robustezza.

3. Metriche di Valutazione:
Gli autori utilizzano una suite di test complementari per stimare il vantaggio di distinzione empirico:

• Somiglianza Semantica: Similarità del coseno degli embedding di frase.
• Discriminatori Appresi: Classificatori (RoBERTa, DistilBERT) addestrati per distinguere gli output dell'insegnante rispetto a quelli dello studente sotto tre viste di input:
  • Solo Prompt: Controlla la fuga di informazioni (leakage).
  • Solo Risposta: Rileva artefatti indipendenti dal prompt (stile, lunghezza).
  • Prompt-Risposta: Testa il mimetismo comportamentale contestuale.
• Identificazione dell'Insegnante a Coppie: Un modello giudice (Llama-3.2-3B-Instruct, di famiglia diversa) viene presentato con un prompt e due risposte (una di $T$ e una di $S$) in ordine casuale per identificare l'insegnante. Viene applicato il filtraggio della coerenza (A/B-swap) per controllare il bias di posizione.
• Valutazione a Livello di Policy: Misura l'accordo su comportamenti rilevanti per la sicurezza (rifiuti, linguaggio cautelativo, consigli professionali).

Risultati Chiave

1. Somiglianza Semantica vs. Indistinguibilità:
La distillazione LoRA migliora significativamente la somiglianza semantica. Per Qwen, la similarità degli embedding è passata da 0.788 (base) a 0.862 (LoRA). Per Llama, è passata da 0.814 a 0.874. Tuttavia, l'elevata somiglianza non ha equato l'indistinguibilità.

2. Riduzione del Vantaggio di Distinzione:

• Discriminatori Appresi: La distillazione LoRA ha ridotto il vantaggio empirico dei discriminatori prompt-risposta. Per Qwen, il vantaggio di DistilBERT è sceso da 0.278 (base) a 0.098 (LoRA). Per Llama, l'accuratezza di RoBERTa è scesa da 0.657 a quasi il caso casuale (0.499).
• Identificazione a Coppie: Utilizzando un giudice Llama cross-family con filtraggio della coerenza, il vantaggio di distinzione a coppie di Qwen è diminuito da 0.158 (studente base) a 0.081 (studente LoRA), rappresentando una riduzione di circa il 49%. Ciò conferma che la distillazione rende più difficile l'identificazione dell'insegnante, sebbene non impossibile.

3. Eterogeneità degli Artefatti Residui:
La distinguibilità residua non è uniforme. L'analisi per categoria rivela che gli artefatti sono concentrati in regioni comportamentali specifiche:

• Alta Distinguibilità Residua: Stile/Formato, Perturbazioni di Robustezza, Dominio Tecnico e prompt di Coding.
• Bassa Distinguibilità Residua: Confini di sicurezza (Safety-boundary), Ambiguità, QA Generale e Riassunti (vicino al caso casuale).

4. Strategia di Acquisizione delle Query:
Il confronto tra il campionamento casuale stratificato e l'acquisizione guidata dal disaccordo (selezione dei prompt in cui insegnante e studente discordano maggiormente) ha mostrato che l'acquisizione guidata dal disaccordo non ha superato costantemente il campionamento casuale. La copertura e la diversità rimangono baseline solide per la distillazione comportamentale.

Significato e Rivendicazioni

Il documento sostiene che la fedeltà semantica è necessaria ma insufficiente per valutare la distillazione di LLM black-box. Il contributo primario è lo spostamento del paradigma di valutazione da "quanto sono simili gli output?" a "sotto vincoli espliciti, un avversario può distinguere l'insegnante dallo studente?".

• Rivendicazioni Limitate: Il framework evita di rivendicare l'indistinguibilità universale. Al contrario, fornisce un modo formale e riproducibile per misurare la distinguibilità residua rispetto a classi di avversari e budget specifici.
• Rilevanza Operativa: Quantificando il "vantaggio di distinzione", il lavoro offre una lente ispirata alla sicurezza per valutare se un modello distillato ha realmente ereditato il profilo comportamentale dell'insegnante o solo il suo contenuto semantico.
• Consapevolezza della Categoria: I risultati dimostrano che il trasferimento comportamentale è eterogeneo; un modello può essere indistinguibile in QA generale, ma facilmente distinguibile in contesti tecnici o stilistici.
• Preservazione della Policy: Il framework evidenzia che i comportamenti rilevanti per la sicurezza (rifiuti, avvertenze) richiedono strati di valutazione separati oltre alla somiglianza semantica, poiché uno studente può essere semanticamente vicino pur fallendo nel preservare decisioni di policy critiche.

Gli autori concludono che l'indistinguibilità comportamentale limitata fornisce uno standard più informativo e rigoroso per la distillazione black-box, rivelando che, sebbene LoRA migliori il mimetismo, rimangono rilevabili significativi artefatti comportamentali da parte di avversari limitati.