Riassunto Tecnico: Gli LLM conoscono i propri scenari vulnerabili?

Definizione del Problema

I modelli linguistici di grandi dimensioni (LLM) allineati alla sicurezza sono addestrati per rifiutare richieste dannose, tuttavia rimangono vulnerabili agli attacchi di jailbreak. Una strategia prevalente consiste nell'avvolgere le richieste dannose in specifici scenari contestuali (ad esempio, ricerca accademica, generazione di codice o narrazioni finzionali) per oscurare l'intento dannoso ed eludere le protezioni di sicurezza.

Sebbene gli sforzi di red-teaming abbiano identificato empiricamente scenari efficaci attraverso tentativi ed errori o l'estrazione di prompt esistenti, la ragione meccanicistica per cui specifici scenari indeboliscono il rifiuto rimane poco chiara. Gli studi esistenti di interpretabilità meccanicistica hanno caratterizzato separatamente le "direzioni di rifiuto" e le "caratteristiche di jailbreak", ma non hanno stabilito un legame causale tra l'attivazione di una specifica rappresentazione di uno scenario e la soppressione della direzione di rifiuto. Inoltre, questi studi non hanno tradotto tali relazioni interne in scenari in linguaggio naturale azionabili e interpretabili per un red-teaming sistematico.

Metodologia: Concept2Scenario

Gli autori propongono Concept2Scenario, un framework di attribuzione basato su concetti che scopre scenari vulnerabili tracciando il comportamento di jailbreak attraverso lo spazio dei concetti interni di un modello. Il metodo opera sull'ipotesi che l'avvolgimento in uno scenario eserciti il suo effetto attivando rappresentazioni interne che causano la soppressione della tendenza al rifiuto del modello.

Il framework si compone di quattro fasi principali:

1. Istanziazione di Concetti e Rifiuto:

   • Concetti: Gli autori utilizzano un Autoencoder Sparso (SAE) addestrato su un mix di dati di pre-training e di sicurezza per decomporre le rappresentazioni dello stream residuo interno del modello in un dizionario ad alta dimensionalità e sparso di concetti semanticamente coerenti ($c$).
   • Rifiuto: Un Vettore di Attivazione del Concetto (CAV) viene addestrato su un dataset supervisionato di coppie rifiuto vs. non-rifiuto per quantificare la tendenza interna al rifiuto del modello ($r$) come un punteggio scalare derivato dalla rappresentazione dell'ultimo strato.

2. Attribuzione della Vulnerabilità al Rifiuto:

   • Attribuzione Individuale: Il metodo interviene sullo stream residuo del modello guidando (steering) lungo specifiche direzioni del decoder SAE ($d_i$) corrispondenti a singoli concetti. Misura l'effetto causale ($\Delta_i$) dell'aumento dell'attivazione di un concetto sul punteggio di rifiuto. I concetti che riducono significativamente il punteggio di rifiuto vengono identificati come "soppressori del rifiuto".
   • Attribuzione di Interazione: Per trovare effetti sinergici, il metodo esegue interventi congiunti su coppie di concetti. Calcola il termine di interazione non additivo ($\Gamma_{i,j}$), identificando coppie in cui l'effetto combinato sulla soppressione del rifiuto è più forte della somma dei loro effetti individuali.

3. Traduzione dei Concetti in Scenari:

   • Per ogni concetto identificato come soppressore del rifiuto, il framework raccoglie i testi che lo attivano più fortemente.
   • Un LLM di analisi (Gemini-3.1-Pro) riassume il pattern unificante di questi testi e lo traduce in uno scenario in linguaggio naturale interpretabile (inclusi un nome, un meccanismo di trigger e una descrizione).
   • Un ciclo di verifica assicura che lo scenario generato riattivi il concetto di origine prima di essere aggiunto alla libreria di scenari specifica del modello ($S$).

4. Applicazione:

   • Gli scenari scoperti vengono iniettati come prior o contesto in metodi di jailbreak black-box esistenti (ad esempio, X-Teaming, PAIR, Tree-Attack) per guidare la generazione di prompt avversari.

Risultati Chiave

Gli autori hanno valutato Concept2Scenario su tre modelli open-source (Qwen3.5-9B, LLaMA-3.1-8B, Ministral-3-8B), due benchmark di sicurezza (GuidedBench, HarmBench) e sei metodi di jailbreak black-box.

• Miglioramento dei Tassi di Successo dell'Attacco (ASR): L'iniezione degli scenari scoperti negli attacchi esistenti ha migliorato l'ASR medio fino a 18,2 punti percentuali sui modelli open-source. Il miglioramento variava in base all'allineamento di sicurezza del modello; ad esempio, LLaMA-3.1-8B ha registrato guadagni significativi, mentre Ministral-3-8B (già debolmente allineato) ha registrato guadagni relativi minori.
• Trasferibilità Cross-Model: Gli scenari scoperti esclusivamente da modelli open-source si sono trasferiti efficacementamente a modelli closed-source, inclusi GPT-5, Claude-Haiku-4.5 e Gemini-3-Flash. In alcuni casi (ad esempio, scenari derivati da Ministral su GPT-5), il trasferimento ha prodotto guadagni sostanziali di ASR (ad esempio, +27,5 punti), suggerendo vulnerabilità di rifiuto a livello di scenario condivise tra le famiglie di modelli.
• Combinazioni Sinergiche: L'attribuzione di interazione ha identificato combinazioni di scenari che superavano i loro singoli costituenti. Ad esempio, combinare "commenti di codice annidati" con "compiti URL/API" ha migliorato il tasso di successo al primo turno degli attacchi di 28,0 punti percentuali rispetto all'uso del singolo migliore costituente.
• Vulnerabilità Specifiche del Modello: L'analisi ha rivelato profili di vulnerabilità distinti. Qwen era più vulnerabile a inquadramenti di tipo web-text e crisi personali; Ministral a codice e dati strutturati; e LLaMA a un mix bilanciato che includeva contesti accademici e cross-lingua.

Significato e Rivendicazioni

Il documento sostiene di colmare il divario tra interpretabilità meccanicistica e red-teaming pratico attraverso:

1. Attribuzione Causale: Dimostrare che il jailbreaking basato su scenari può essere inquadrato come un problema di attribuzione causale nello spazio delle rappresentazioni, dove la guida lungo le direzioni di scenario apprese riduce costantemente i punteggi di rifiuto.
2. Scoperta Sistematica: Fornire un metodo rigoroso (Concept2Scenario) per andare oltre gli scenari progettati manualmente o accumulati empiricamente, scoprendoli invece dal proprio spazio dei concetti interni.
3. Insight Azionabili: Tradurre concetti interni astratti in scenari interpretabili in linguaggio naturale che possono essere riutilizzati come prior per vari metodi di attacco.
4. Vulnerabilità Condivise: Evidenziare che certe vulnerabilità di rifiuto sono condivise tra diverse famiglie di modelli, implicando che i meccanismi di sicurezza possano fare affidamento su rappresentazioni interne simili che possono essere targetizzate da specifici tipi di scenario.

Gli autori concludono che l'attribuzione a livello di rappresentazione offre un segnale rigoroso per scoprire vulnerabilità di rifiuto efficaci, specifiche del modello e condivise, consentendo attacchi iterativi più efficienti e potenti.