Riepilogo Tecnico: Let Them Steal: Trapping Large Language Model Extraction Attacks with Knowledge Honeypot

1. Definizione del Problema

I Large Language Models (LLM) impiegati come API closed-source sono vulnerabili agli Attacchi di Estrazione del Modello (MEA). In questi attacchi, gli avversari interrogano l'API per raccogliere coppie input-output, utilizzando l'apprendimento attivo (active learning) per distillare un modello surrogato ad alta fedeltà a una frazione del costo di addestramento originale.

Le difese esistenti affrontano un compromesso critico:

• Le difese passive (es. rilevamento delle query, watermarking) preservano l'utilità per gli utenti legittimi ma intervengono solo dopo che l'estrazione è avvenuta o non riescono a prevenire l'acquisizione iniziale della conoscenza.
• Le difese attive (es. perturbazione dell'output, proof-of-work) interferiscono durante l'estrazione ma tipicamente degradano la qualità della risposta per gli utenti benigni, danneggiando l'utilità commerciale del modello.

Gli autori identificano un'asimmetria fondamentale: il vincolo principale dell'attaccante è un budget di query limitato. I moderni MEA si affidano all'apprendimento attivo per massimizzare il guadagno di informazione per ogni query. Le difese attuali non riescono a sfruttare questo vincolo, o reagiscono troppo tardi o degradano l'utilità. Il paper postula che una difesa pratica debba reindirizzare il budget limitato dell'attaccante verso una conoscenza che sia fattualmente corretta ma con utilità a valle trascurabile per il task target, senza influenzare gli utenti legittimi.

2. Metodologia: Knowledge Trap

La difesa proposta, Knowledge Trap, reindirizza gli attacchi di estrazione verso una conoscenza a bassa trasferibilità utilizzando un Honeypot Knowledge Graph (HKG) e un meccanismo di esplorazione guidata da briciole di pane (breadcrumb-guided exploration).

2.1 Tassonomia della Conoscenza

Gli autori definiscono due sottoinsiemi della conoscenza $K$ del modello:

• Conoscenza Critica per il Task ($K_c$): Conoscenza essenziale per i task a valle (es. ragionamento clinico per la QA medica). Questa è ciò che il difensore deve proteggere.
• Conoscenza a Bassa Trasferibilità ($K_0$): Conoscenza fattualmente corretta che produce un miglioramento trascurabile sui task a valle (es. curiosità storiche, dettagli procedurali obsoleti, tassonomie di nicchia).

2.2 Costruzione del Honeypot Knowledge Graph (HKG)

L'HKG è un grafo diretto costruito da $K_0$, progettato per intrappolare gli attaccanti basati sull'apprendimento attivo.

• Selezione dei Contenuti: I nodi consistono in "minuzie storiche" (convenzioni obsolete), "tassonomia periferica" (classificazioni non trasferibili) e "registri procedurali di nicchia".
• Filtro di Trasferibilità: I candidati sono filtrati tramite un filtro di parole chiave e un modello di sonda per garantire che forniscano uno guadagno di utilità nullo ($\le \delta$) quando utilizzati per il fine-tuning di un modello surrogato.
• Struttura del Grafo: Ogni nodo è accoppiato con una domanda legata al dominio e una risposta fattualmente corretta. Gli archi codificano relazioni di follow-up semantico dove la risposta al nodo $v_i$ contiene il nome dell'entità del nodo $v_j$ come un argomento probabile che verrà estratto come target di una query futura.
• Ciclo Auto-Rafforzante: Il grafo impone un grado in uscita minimo ($d_{min}=3$), garantendo che una volta che un attaccante entra nell'HKG, le pipeline di espansione delle entità attraversino naturalmente i nodi adiacenti, creando un ciclo che consuma il budget senza avvicinarsi a $K_c$.

2.3 Meccanismo di Rilevamento e Esca (Luring)

La difesa opera in tre fasi:

1. Rilevamento: Un punteggio di sospetto $s_t$ viene calcolato per ogni query in entrata basandosi su tre segnali osservabili:
   • Lunghezza: Query lunghe e strutturate.
   • Parole Chiave: Termini associati all'estrazione (es. "definisci", "spiega").
   • Tempistica: Attività di interrogazione sostenuta all'interno di una sessione.
2. Iniezione di Briciole di Pane (Breadcrumb Injection): Se $s_t$ supera una soglia $\tau$, il difensore appone una "briciola di pane" alla risposta. Si tratta di una breve frase parafrasata che introduce un nodo specifico dell'HKG come argomento di follow-up rilevante. Per prevenire il filtraggio dei template, vengono campionati uniformemente 20 template diversi.
3. Intrappolamento (Trapping): Una volta che l'attaccante interroga il nodo HKG introdotto, il sistema serve la risposta HKG. Poiché questi concetti non sono presenti nel modello surrogato, la funzione di acquisizione basata sull'incertezza dell'attaccante assegna loro punteggi elevati, causando l'allocazione totale delle query successive all'interno dell'HKG.

2.4 Garanzia Teorica

Il paper fornisce un limite inferiore sulla frazione di budget dell'attaccante consumata dall'HKG. Sotto l'assunto che il modello surrogato sia almeno tanto incerto sui concetti HKG quanto sui concetti del dominio reale, gli autori dimostrano che la frazione di budget allocata all'HKG cresce monotonicamente dopo l'attivazione dell'esca. Il fronte di esplorazione dell'attaccante si espande con nuovi target honeypot, creando un ciclo auto-rinforzante che spreca il budget.

3. Contributi Chiave

1. Framework Knowledge Trap: Una nuova difesa che reindirizza gli attacchi di estrazione del modello verso una conoscenza a bassa trasferibilità invece di limitarsi a rilevare o bloccarli passivamente.
2. Honeypot Knowledge Graph (HKG): La costruzione di un grafo-trappola utilizzando conoscenza specifica del dominio, obsoleta o di nicchia, accoppiata a un meccanismo di steering basato su breadcrumb per intrappolare gli attacchi di apprendimento attivo.
3. Analisi Teorica ed Empirica: Garanzie formali che mostrano come la difesa reindirizzi gli attacchi con budget limitato preservando l'utilità dell'utente benigno, supportate da estesi esperimenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti nei domini Medico, Finanziario e Legale utilizzando GPT-4.1 come vittima e LLaMA-3.1-8B come surrogato.

• Efficacia (RQ1): Knowledge Trap (Full) ha ridotto l'Accordo (accuratezza rispetto alla vittima) del surrogato in media del 6,2% attraverso i benchmark (es. da 62,3% a 54,1% su MedQA con un budget di 500 query). Questo ha superato le baseline esistenti come HoneypotNet, la Perturbazione dell'Output e PRADA.
• Utilità per l'Utente Benigno: Fondamentalmente, la difesa ha comportato una degradazione dello 0,0% nell'accuratezza degli utenti legittimi. A differenza dei metodi di perturbazione dell'output, Knowledge Trap non altera le risposte per le query non sospette.
• Contributo dei Componenti (RQ2): Gli studi di ablazione hanno mostrato che la combinazione di rilevamento e iniezione di breadcrumb è super-additiva. Il solo rilevamento o le sole breadcrumb fornivano una protezione limitata; insieme, hanno ottenuto una riduzione dell'Accordo dell'8,2%.
• Ridistribuzione del Budget (RQ3): Dopo il rilevamento, oltre il 90% del budget di query dell'attaccante è stato reindirizzato ai nodi HKG, mentre le query sui task del dominio reale si sono appiattite.
• Attacchi Adattivi (RQ5): La difesa è rimasta efficace contro quattro strategie adattive:
  • Filtraggio della rilevanza del dominio: Gli attaccanti non potevano distinguere le risposte HKG (che sono fattualmente corrette) da quelle reali.
  • Rilevamento dei Template: La diversificazione dei template delle breadcrumb ha ridotto la precisione del rilevamento al 34,2%.
  • Pre-screening basato su LLM: I concetti HKG erano formulati con terminologia moderna, eludendo i filtri di "obsolescenza".
  • Offuscamento delle Query: Anche con query offuscate, la difesa ha ridotto l'Accordo del 5,6%.

5. Significato e Rivendicazioni

Il paper sostiene che Knowledge Trap offre una direzione pratica per mitigare gli attacchi di estrazione del modello spostando il paradigma dal "bloccare" al "intrappolare".

• Praticità: Evita la degradazione dell'utilità inerente alle difese attive e la natura post-hoc delle difese passive.
• Scalabilità: La difesa rimane efficace anche con budget di query elevati (fino a 2000), sebbene il divario si restringa man mano che la capacità dell'HKG viene parzialmente esaurita.
• Vantaggio Asimmetrico: Gli autori sostengono che il costo del difensore sia un costo una tantum per la costruzione dell'HKG, mentre il costo dell'attaccante scala linearmente con il suo budget, poiché è costretto a sprecare query su conoscenza a bassa utilità.

Gli autori concludono che difendere la traversata dello spazio della conoscenza è una strategia praticabile, a condizione che il difensore possa costruire un grafo di conoscenza a bassa trasferibilità sufficientemente grande e attraente. Riconoscono i limiti riguardanti l'uso da parte degli attaccanti di strategie non basate sull'apprendimento attivo (es. campionamento casuale) e suggeriscono lavori futuri nell'espansione adattiva dell'HKG e nella generazione di breadcrumb condizionata al contesto.