Sintesi Tecnica: Inoculazione di Token per la Conoscenza Dual-Use nei LLM

Definizione del Problema

Le attuali strategie di intervento sulla sicurezza per i Large Language Models (LLM) riguardanti la conoscenza dual-use (informazioni che sono preziose per la scienza legittima ma pericolose se utilizzate impropriamente, come in virologia o cybersecurity) si affidano tipicamente a una di due strategie: distruzione (es. unlearning, filtraggio dei dati) o soppressione (es. addestramento al rifiuto).

• I metodi di distruzione (unlearning) modificano i pesi del modello per rimuovere la conoscenza pericolosa. Tuttavia, poiché la conoscenza pericolosa e quella benigna sono spesso intrecciate nelle stesse rappresentazioni, questo approccio rischia di danneggiare la competenza in domini adiacenti (es. riducendo la capacità del modello di discutere di biologia generale nel tentativo di impedire la discussione di armi biologiche).
• I metodi di soppressione (addestramento al rifiuto) insegnano ai modelli a rifiutare query specifiche. Questi spesso apprendono euristiche superficiali deboli, portando all' "over-refusal" (rifiuto eccessivo), dove query benigne vengono erroneamente bloccate.

Gli autori sostengono che il difetto fondamentale di questi approcci sia l'assunto che la conoscenza pericolosa debba rendere meno accessibile al modello stesso. Inveve, propongono che l'operazione corretta sia il condizionamento, non la riduzione. L'obiettivo è mantenere la conoscenza pericolosa all'interno delle rappresentazioni del modello, ma regolarne l'espressione comportamentale in base a un segnale controllato.

Metodologia: Inoculazione di Token

Il metodo proposto, l'Inoculazione di Token, introduce un approccio di legame e ramificazione (binding-and-branching) utilizzando un token di controllo speciale, <|ino|>. Il processo avviene in due fasi distinte:

1. Inoculazione del Pre-addestramento Continuato (inoCPT)

• Obiettivo: Legare il token speciale <|ino|> alle rappresentazioni semantiche del dominio pericoloso.
• Processo: Il modello subisce un pre-addestramento continuato su un corpus contenente documenti dual-use. Le frasi pericolose sono contrassegnate dall'inserimento di <|ino|> all'inizio.
• Meccanismo: Attraverso la previsione del token successivo, il modello impara ad associare <|ino|> con la specifica semantica del dominio pericoloso (es. ricerca gain-of-function). La perdita (loss) sul token <|ino|> stesso è mascherata per evitare che il modello impari a generare il token; esso serve strettamente come condizione di input.
• Significato: Questo stabilisce un "ancoraggio" specifico del dominio per il token, distinguendolo da un generico trigger.

2. Fine-Tuning Supervisionato di Inoculazione (inoSFT)

• Obiettivo: Insegnare al modello a ramificare il proprio comportamento in base alla presenza di <|ino|>.
• Design dei Dati: Il dataset SFT consiste di tre componenti:
  1. Dati di Ritenzione (Retain Data): Domande di dominio generale per preservare la competenza ampia.
  2. Dati di Inoculazione (Inoculation Data): Domande del dominio pericoloso in cui <|ino|> viene inserito prima della risposta corretta (nel turno dell'assistente). Il modello impara a rispondere correttamente quando il token è presente.
  3. Dati di Rifiuto (Refusal Data): Le stesse domande pericolose senza <|ino|>, accoppiate a risposte di rifiuto (es. "Non posso aiutare..."). Il modello impara a rifiutare quando il token è assente.
• Scelta di Design Critica: Il token è posizionato nel turno della risposta dell'assistente, non nell'input dell'utente. Ciò garantisce che se un utente tenta di iniettare <|ino|> nel proprio prompt, il modello interpreti la richiesta come un ordine di rifiuto (poiché il token manca dal turno dell'assistente), piuttosto che come uno sblcco della capacità.

Contributi Chiave

1. Un Nuovo Paradigma per la Sicurezza: Il documento sposta il problema dell'allineamento della sicurezza dalla "dimenticanza" (distruzione) al "condizionamento" (accesso controllato). Dimostra che la conoscenza pericolosa può essere mantenuta se la sua espressione è regolata da un segnale privilegiato.
2. Legame e Ramificazione in Due Fasi: Gli autori dimostrano che entrambi i passaggi sono necessari. Senza inoCPT, il token manca di un legame semantico specifico del dominio, portando a un rifiuto debole o troppo generalizzato. Senza inoSFT, il modello mantiene la conoscenza ma manca del meccanismo comportamentale per rifiutarla di default.
3. Controllo Causale: Il metodo permette un controllo preciso sulla selettività del rifiuto. La qualità del segnale di addestramento (l'accuratezza delle risposte fornite quando <|ino|> è presente) determina causalmente la precisione del meccanismo di rifiuto.
4. Insight Meccanicistico: L'analisi logit lens rivela che <|ino|> agisce come un gate rappresentazionale: esso simultaneamente sopprime le attivazioni dei token relativi al rifiuto (es. "Scusa", "Non posso") e attiva le rappresentazioni dei token del dominio pericoloso (es. "virus", "patogeno") quando il token è presente.

Risultati Sperimentali

Il metodo è stato valutato su molteplici scale di modello (da 1B a 14B) e architetture (Qwen2.5, Llama 3.1, Phi4) sugli benchmark di biosecurity (WMDP-Bio) e cybersecurity (WMDP-Cyber).

• Trade-off Sicurezza-Utilità: L'Inoculazione di Token raggiunge un trade-off Pareto-dominante rispetto ai baseline come RMU (unlearning), NPO e DPO (refusal tuning).
  • Su Qwen2.5-14B, ha ridotto l'accuratezza WMDP-Bio dal 79.2% al 17.9% mantenendo il 93% delle prestazioni del modello base su MMLU-Virology (48.2% vs 53.6% del baseline).
  • Ciò ha prodotto il punteggio F1 Sicurezza-Utilità più alto (0.831) attraverso tutte le scale, con un vantaggio che aumenta all'aumentare della dimensione del modello.
• Generalizzazione: La pipeline si è trasferita con successo alla cybersecurity, sopprimendo l'accuratezza WMDP-Cyber al 10.9% pur mantenendo l'83% delle prestazioni di MMLU-Computer-Security.
• Sicurezza della Distribuzione:
  • Sblocco per Esperti (Expert Unlock): Quando <|ino|> viene inserito dal fornitore del servizio all'inizio della risposta dell'assistente, le capacità complete vengono ripristinate (l'accuratezza WMDP-Bio recupera a ~80%).
  • Uso Pubblico: Senza il token, il modello passa di default al rifiuto (l'accuratezza scende a ~10%).
  • Attacco di Iniezione: Se un avversario inietta <|ino|> nella query dell'utente, il modello rifiuta (tasso di rifiuto dell'88.8%) invece di sbloccarsi, perché il token non si trova nella posizione prevista dell'assistente.
  • Scudo del Tokenizer (Tokenizer Shield): La decomposizione di <|ino|> in subword nel tokenizer riduce ulteriormente l'accuratezza pericolosa vicino allo zero (es. 2.3% su Qwen2.5-14B).

Significato e Rivendicazioni

Il documento sostiene che, per i domini dual-use, l'accesso condizionato alla conoscenza è un approccio più produttivo per l'allineamento della sicurezza rispetto alla distruzione della conoscenza.

• Precisione: Mantenendo la conoscenza ma regolandone l'espressione, il modello evita il "danno collaterale" alla conoscenza benigna adiacente che affligge i metodi di unlearning.
• Controllo: La sicurezza diventa una questione di controllo degli accessi (chi possiede il token) piuttosto che di rimozione delle capacità. Ciò supporta modelli di distribuzione a livelli in cui un singolo modello può servire sia utenti pubblici (modalità rifiuto) che esperti autorizzati (modalità sblocco).
• Robustezza: Il metodo si dimostra robusto contro semplici attacchi di iniezione perché il segnale di condizionamento è legato al ruolo dell'assistente nel template della conversazione, non all'input dell'utente.

Gli autori concludono che, sebbene il metodo faccia affidamento su una marcatura euristica e richieda una distribuzione attenta (es. protezione del token), esso offre una via percorribile per governare le capacità dual-use senza sacrificare l'utilità sottostante del modello o richiedere la distruzione di preziosa conoscenza scientifica.