Sintesi Tecnica: Voci Off-Distribution: Sottogeneri della Fanfiction come Vernacolo Universale

1. Definizione del Problema

La ricerca attuale sul jailbreaking dei Large Language Models (LLM) allineati si concentra su artefatti discreti: suffissi avversari, specifici override di persona o template di prompt creati artigianalmente. Questi attacchi possiedono forme superficiali riconoscibili che i fornitori possono identificare e correggere, portando a una corsa agli armamenti "gatto contro topo" su singoli prompt.

Gli autori sostengono che questa prospettiva trascura la vulnerabilità fondamentale: l'addestramento all'allineamento non fallisce contro specifiche frasi ingegnose, ma contro un intero registro di scrittura naturale umana che l'addestramento alla sicurezza non ha coperto sufficientemente. Poiché i modelli sono pre-addestrati su vaste quantità di scrittura creativa guidata dai lettori (ad esempio, la fanfiction), l'allineamento spesso non riesce a coprire i contenuti procedurali dannosi quando questi sono incorporati all'interno di queste specifiche voci narrative benigne. Il documento postula che spostare la distribuzione dell'input in questi registri "off-distribution" eluda i filtri di sicurezza che si basano sul matching di parole chiave o sulla rilevazione di template.

2. Metodologia

Il documento introduce una nuova famiglia di attacchi che utilizza reali sottogeneri della fanfiction come vettori universali di attacco. La metodologia si compone di tre componenti:

A. Il Meta-Prompt di Condizionamento Five-Shot AO3

L'attacco non si affida a un LLM attaccante per generare dinamicamente il prompt di jailbreak. Utilizza invece un meccanismo di condizionamento statico a cinque colpi (five-shot):

1. Materiale Sorgente: I passaggi sono tratti da Archive of Our Own (AO3), il più grande archivio aperto di fanfiction guidate dai lettori.
2. Sottogeneri: Sono stati selezionati dodici distinti sottogeneri, che spaziano nella forma narrativa, nell'arco affettivo, nella costruzione del mondo e nella voce introspettiva (ad es., screenplay_format, epistolary, danmei_xianxia, hurt_comfort).
3. Meta-Prompt: Viene costruito un meta-prompt di tipo "coach di scrittura creativa" (utilizzando GPT-5.4-mini). Esso fornisce cinque passaggi reali di un determinato sottogenere e chiede al target LLM di scrivere una breve scena con la stessa voce, in cui il climax della scena incorpori naturalmente il comportamento dannoso target.
4. Nessun Override Esplicito: Il meta-prompt non contiene istruzioni esplicite di jailbreak o override di policy; il segnale di attacco deriva interamente dalle proprietà distributive del registro scelto.

B. Overlay Strutturali e Trasferimento di Stile

Gli autori conducono un esperimento fattoriale incrociando i 12 registri con 7 overlay strutturali (inclusi i baseline esistenti come Adversarial Poetry, DeepInception e Crescendo). Ciò isola il contributo del "registro" (la voce) rispetto alla "struttura" (il template).

C. SAGA-A4 (Attacco Statico Multi-Turn)

Per estendere l'attacco al dialogo multi-turno, gli autori propongono SAGA-A4, una pipeline statica a quattro turni che non richiede un LLM attaccante né un adattamento specifico per il target. I turni sono:

1. T1 (Ingresso nel Registro): Stabilisce la scena e il registro senza rappresentare l'atto.
2. T2 (Impegno alla Coerenza): Approfondisce l'ambientazione e i dettagli sensoriali, mantenendo il registro.
3. T3 (Ponte FITD): Elenca oggetti concreti/preparazioni necessarie, impegnandosi ulteriormente nel setting.
4. T4 (Climax Operativo): Rappresenta l'effettiva esecuzione del comportamento dannoso con specificità procedurale, sfruttando gli impegni assunti nei turni precedenti.

D. Protocollo di Valutazione

• Target: 8 LLM allineati (4 famiglie a pesi aperti: Qwen, Llama, Gemma; 2 a codice chiuso: Gemini, DeepSeek).
• Benchmark: Unione di HarmBench (200 comportamenti) e JailbreakBench (90 comportamenti), per un totale di 290 comportamenti dannosi attraverso 16 categorie di rischio.
• Giudizio: Un ensemble di quattro giudici (HarmBench-13B, LlamaGuard-3-8B, WildGuard-7B e GPT-5.4-mini con punteggio StrongREJECT) con una regola della maggioranza di 2 su 4 per determinare l'Attack Success Rate (ASR).

3. Risultati Chiave

A. Superiorità del Registro rispetto alla Struttura

• Miglioramento dell'ASR: L'attacco basato sul vernacolo (registro fanfiction) ha ottenuto un ASR medio di 0,731 su tutti i modelli, rispetto allo 0,278 dei sei template baseline esistenti. Ciò rappresenta un miglioramento di 3,11×.
• Registro vs Lunghezza: I controlli di corrispondenza della lunghezza (PlanX) hanno ridotto il rapporto a 2,21× ma non hanno eliminato il vantaggio, provando che il registro della voce è una dimensione di attacco indipendente e invariante rispetto alla lunghezza.
• Indipendenza dal Template: Una cella "plain" senza template (che utilizza solo il meta-prompt del registro a 5-shot senza ulteriori overlay strutturali) ha ottenuto un ASR di 0,769, eguagliando i migliori overlay esistenti. Ciò indica che la scelta del registro di condizionamento è il fattore dominante, non il template strutturale.

B. Performance Multi-Turn

• SAGA-A4 ha raggiunto un ASR medio di 0,924, superando sostanzialmente tre metodi multi-turn esistenti (Crescendo: 0,383, FITD: 0,786, ActorAttack: 0,799).
• La natura statica e scritta a mano di SAGA-A4 ha superato le varianti adattive che utilizzano LLM attaccanti, i quali sono risultati meno efficaci poiché l'addestramento alla sicurezza dell'attaccante stesso tende ad ammorbidire la catena.

C. Analisi delle Difese

• Difese Attive: Sono state valutate due difese attive, Self-Reminder e SmoothLLM.
• Risultato Controintuitivo: Nella maggior parte dei casi, queste difese hanno ampliato il rapporto tra vernacolo e baseline anziché ridurlo. Hanno soppresso aggressivamente i template esistenti, ma sono state meno efficaci contro gli attacchi condizionati dal registro.
• Implicazione: Le difese mirate ai template indirizzano semplicemente gli attaccanti verso attacchi basati sui registri. Il documento nota che i filtri a livello di input (come quelli in DeepSeek-V4-Pro) sono fragili, mentre la sicurezza a livello di modello (come in Gemini-2.5-Pro) risponde meglio ai self-reminder, ma fallisce comunque contro lo spostamento del registro.

D. Varianza delle Categorie di Rischio

L'attacco è stato più efficace contro le categorie in cui l'addestramento alla sicurezza si basa pesantemente su parole chiave superficiali (ad es., Danno fisico, Contenuti sessuali/adulti), dove il rapporto tra vernacolo e baseline era più alto. Le categorie con baseline già deboli hanno mostrato guadagni relativi minori.

4. Significato e Rivendicazioni

Il documento rivendica i seguenti contributi e implicazioni:

1. Prima Famiglia di Jailbreak basata sul Registro della Fanfiction: È il primo lavoro che utilizza reali sottogeneri della fanfiction, guidati dai lettori, come vettori universali per i jailbreak, trattando il corpus stesso come la dimensione di attacco piuttosto che un singolo registro scelto manualmente.
2. Modalità di Fallimento Strutturale: Gli autori sostengono che il fallimento degli LLM allineati sia strutturale. L'addestramento alla sicurezza non ha coperto le specifiche "comunità" (registri) che i modelli interiorizzano durante il pre-addestramento. I modelli hanno appreso la voce di queste comunità, ma non i vincoli di sicurezza all'interno di esse.
3. Limiti delle Difese Attuali: Il documento afferma che le difese attuali (filtri di input, rilevamento di template) sono insufficienti perché affrontano artefatti discreti. Poiché lo spostamento del registro è uno spostamento della distribuzione del linguaggio naturale, le difese devono operare a livello di modello o sul lato dell'output.
4. Standard di Valutazione: Gli autori propongono che le valutazioni future debbano includere attacchi condizionati dal registro e riportare il rapporto tra vernacolo e baseline per catturare il margine di sicurezza rimanente. Affidarsi esclusivamente a benchmark basati su template sottostima il rischio.
5. Posizione Etica: La ricerca è inquadrata come red-teaming per affinare la valutazione. Gli autori dichiarano esplicitamente di non raccomandare l'impiego di questi attacchi su sistemi utente reali e trattano i dati di attacco come materiale controllato, rilasciando solo i dettagli del registro e della struttura piuttosto che payload pronti per il copia-incolla.

In conclusione, il documento dimostra che il "gap di sicurezza" negli LLM non è una mancanza di prompt ingegnosi, ma una mancanza di copertura nei registri naturali della scrittura creativa umana. Incorporando istruzioni dannose all'interno del climax di una scena di fanfiction, gli attaccanti possono eludere i filtri di sicurezza che sono tarati per rilevare richieste dirette o strutture di template note.