Riepilogo Tecnico: L'Addestramento al Momento dell'Esecuzione Minaccia le Barriere di Sicurezza

Enunciato del Problema

Il documento affronta una vulnerabilità di sicurezza critica che emerge dal cambiamento di paradigma nei Modelli Linguistici su Grande Scala (LLM) verso l'Addestramento al Momento dell'Esecuzione (TTT). Sebbene il TTT consenta ai modelli di adattare i propri parametri dinamicamente durante l'inferenza per migliorare la generalizzazione e il ragionamento (ad esempio, tramite apprendimento con pochi esempi o generazione aumentata dal recupero), questo meccanismo altera fondamentalmente il panorama delle minacce. L'allineamento alla sicurezza attuale si basa su pesi statici fissati dopo procedure di post-addestramento come l'Apprendimento per Rinforzo dal Feedback Umano (RLHF) o l'Ottimizzazione Diretta delle Preferenze (DPO). Gli autori ipotizzano che queste barriere di sicurezza statiche siano fragili e potrebbero non persistere quando i pesi del modello vengono aggiornati in tempo reale, anche per aggiornamenti graduali specifici per istanza e con pochi passaggi. Il problema centrale è se l'adattamento dinamico intrinseco al TTT consenta agli avversari di aggirare i filtri di sicurezza e indurre comportamenti dannosi che il modello era precedentemente allineato a rifiutare.

Metodologia

Gli autori formalizzano la superficie di attacco del TTT attraverso tre distinti modelli di minaccia, unificati in un quadro di ottimizzazione a due livelli, dove il livello esterno cerca input/adattamenti avversari e il livello interno esegue l'adattamento TTT.

1. Modello di Minaccia Auto-supervisionato: Il modello adatta i propri pesi sul prompt dell'utente stesso utilizzando la perdita di previsione del prossimo token (NTP) auto-supervisionata. L'attaccante fornisce un prompt pulito o perturbato in modo avversario, e il modello minimizza la perplessità su quel prompt prima di generare una risposta.
2. Modello di Minaccia con Pochi Esempi: L'attaccante fornisce un piccolo insieme di supporto ($\psi$) di coppie input-output in cui gli output sono prefissi dannosi (ad esempio, "Certo, ecco..."). Il modello esegue un affinamento supervisionato su questo insieme di supporto prima di rispondere alla query target.
3. Modello di Minaccia di Fase di Generazione: L'attaccante fornisce un prefisso target ($\psi$) condizionato al prompt. Il modello si adatta per minimizzare la perdita NTP condizionata di questo prefisso, efficacemente predisponendo il modello a iniziare con una risposta affermativa che aggira i rifiuti di sicurezza.

Setup Sperimentale:

• Modelli: Gli esperimenti sono stati condotti su una suite diversificata di modelli istruiti con pesi aperti, inclusi Llama3 (8B, 70B), Gemma 7B e la famiglia Qwen (1.5B, 7B, 8B, 32B).
• Dataset: Il benchmark principale è un sottoinsieme curato di 50 comportamenti dannosi da AdvBench. Valutazioni aggiuntive hanno utilizzato JailbreakBench e il dataset Transluce CBRN (compiti dannosi ad alta complessità).
• Metriche: Tasso di Successo dell'Attacco (ASR) e ASR@10 (la frazione di prompt in cui almeno una delle 10 generazioni è giudicata dannosa).
• Sfida di Valutazione: Gli autori hanno identificato che l'overfitting indotto dal TTT può produrre "output degeneri" (ad esempio, echi del prefisso target, babbuino, rigurgito del prompt) che ingannano i giudici di sicurezza standard degli LLM. Per affrontare ciò, hanno introdotto una pipeline di valutazione consapevole della validità che utilizza euristiche simboliche e un giudice di validità basato su LLM per filtrare le generazioni non valide prima di calcolare l'ASR.
• Difesa: È stato proposto un rilevatore leggero lato provider che monitora lo spostamento della perplessità su un insieme privato e tenuto da parte di esempi dannosi. Se la perplessità sugli obiettivi dannosi diminuisce significativamente dopo il TTT, la richiesta viene segnalata.

Risultati Chiave

Gli esperimenti dimostrano che l'allineamento alla sicurezza è altamente fragile sotto il TTT, con tassi di successo degli attacchi che aumentano drammaticamente rispetto alle baseline statiche.

• Efficacia degli Attacchi:
  • Modelli con Pochi Esempi e di Fase di Generazione: Questi modelli hanno raggiunto tassi di successo estremamente elevati. Con l'adattamento LoRA, i modelli di minaccia con Pochi Esempi e di Fase di Generazione hanno raggiunto un ASR@10 medio del 95% e del 93%, rispettivamente, su varie famiglie di modelli. Configurazioni individuali hanno raggiunto un ASR@10 del 100%, il che significa che ogni prompt è stato jailbroken in almeno uno dei 10 tentativi.
  • Modello Auto-supervisionato: Anche senza dati avversari, semplicemente adattandosi sul prompt pulito dell'utente, l'ASR@10 medio è aumentato dal 4% al 17% tra i modelli, confermando che l'atto stesso dell'affinamento al momento dell'esecuzione erode la sicurezza.
  • Modelli Grandi: Le vulnerabilità si trasferiscono ai modelli più grandi. Llama3 70B ha raggiunto un ASR@10 del 94% sotto TTT con Pochi Esempi, e Qwen3 32B ha raggiunto un ASR@10 del 96% sotto TTT di Fase di Generazione.
• Trasferimento nel Mondo Reale: Gli autori hanno valutato questi attacchi su un'API di affinamento in produzione (Tinker API) utilizzando Qwen3 8B e GPT-OSS 120B. Senza alcun affinamento specifico per l'API, gli attacchi hanno jailbroken con successo il modello da 120 miliardi di parametri, raggiungendo un ASR@10 del 100% per Pochi Esempi e del 98% per Fase di Generazione in 10 passaggi. Il costo di tale attacco è stato stimato inferiore a 2 dollari.
• Output Degeneri: È stato riscontrato che i giudici di sicurezza standard sovrastimano l'ASR fino a 13 punti percentuali quando non filtrano gli output degeneri del TTT. La valutazione consapevole della validità proposta ha corretto questo aspetto, assicurando che le metriche riflettano la generazione genuina di contenuti dannosi.
• Efficacia della Difesa: Il rilevatore basato sulla perplessità ha segnalato con successo le richieste TTT avversarie con un Tasso di Veri Positivi del 100% e un Tasso di Falsi Positivi di ≤2% sulle richieste benigne, sebbene gli autori notino che ciò dipende dalla segretezza dell'insieme di tenuta da parte dannoso.

Significato e Affermazioni

Il documento afferma di identificare una nuova e potente superficie di attacco che mina le barriere di sicurezza esistenti. Il significato principale risiede nel dimostrare che gli aggiornamenti dinamici dei pesi durante l'inferenza possono efficacemente rimuovere l'allineamento alla sicurezza, anche in modelli che sono robusti agli attacchi avversari statici.

• Fragilità dell'Allineamento Statico: I risultati suggeriscono che i vincoli di sicurezza appresi durante l'addestramento sono superficiali al punto da essere indeboliti da aggiornamenti graduali minimi e mirati al momento dell'esecuzione.
• Nuovo Vettore di Attacco: Il TTT consente agli avversari di manipolare simultaneamente sia la query di input che il meccanismo di elaborazione del modello (pesi), una capacità non presente nella ricerca tradizionale sul jailbreaking che assume pesi congelati.
• Necessità di Valutazione: Il lavoro evidenzia un difetto critico nelle attuali valutazioni di sicurezza: i giudici standard sono suscettibili agli output degeneri indotti dal TTT, rendendo necessarie pipeline di valutazione consapevoli della validità.
• Direzione della Difesa: Sebbene sia stato proposto un rilevatore leggero, gli autori affermano modestamente che una difesa robusta richiederà infine procedure di allineamento dinamico che limitino attivamente il modello dallo scivolare verso varietà dannose durante gli aggiornamenti al momento dell'esecuzione, piuttosto che affidarsi esclusivamente all'allineamento statico post-addestramento o al rilevamento statico.

Gli autori concludono che, poiché il campo adotta sempre più l'adattamento al momento dell'esecuzione per migliorare le capacità del modello, le valutazioni di sicurezza devono evolvere dal probing statico al test di stress dinamico per valutare la resistenza di un modello ai propri aggiornamenti dei pesi.