💬 NLP

How Few-shot Demonstrations Affect Prompt-based Defenses Against LLM Jailbreak Attacks

Questo articolo rivela che le dimostrazioni few-shot hanno effetti divergenti sulle difese basate su prompt, potenziando i Prompt Orientati al Ruolo rinforzando l'identità e degradando significativamente i Prompt Orientati al Compito distraendo dalle istruzioni, offrendo così approfondimenti critici per ottimizzare le strategie di sicurezza dei LLM.

Autori originali: Yanshu Wang, Shuaishuai Yang, Jingjing He, Tong Yang

Pubblicato 2026-02-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yanshu Wang, Shuaishuai Yang, Jingjing He, Tong Yang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina i Large Language Models (LLM) come degli stagisti molto talentuosi ma ingenui. Sono brillanti nello scrivere codice, raccontare storie e rispondere a domande, ma hanno bisogno di regole rigide per evitare di fare qualcosa di pericoloso o non etico.

Il documento che hai fornito investiga come diamo queste regole ai nostri stagisti. Nello specifico, esamina due modi diversi di scrivere quelle regole (prompt) e come l'aggiunta di "storie di esempio" (dimostrazioni few-shot) cambi il risultato.

Ecco la suddivisione delle loro scoperte utilizzando analogie semplici:

1. I due modi per dare istruzioni

I ricercatori hanno testato due stili principali di "System Prompt" (le istruzioni iniziali date all'IA):

Prompt Orientati al Ruolo (RoP): L'approccio "Identità"
- L'analogia: Immagina di dire allo stagista: "Tu sei un assistente utile, sicuro ed etico di nome 'Guardian'".
- Come funziona: Stai definendo chi sono. Ti stai affidando al loro addestramento per agire come un buon assistente.
Prompt Orientati al Compito (ToP): L'approccio "Descrizione del lavoro"
- L'analogia: Immagina di dire allo stagista: "Il tuo compito specifico in questo momento è generare risposte sicure. Se una richiesta è inappropriata, il tuo compito è dire di no".
- Come funziona: Stai definendo cosa devono fare. È un comando specifico per il momento attuale.

2. Le "Storie di esempio" (Dimostrazioni Few-Shot)

Nell'IA, "few-shot" significa dare al modello alcuni esempi di come comportarsi prima di porgli la domanda reale.

L'analogia: Prima che lo stagista inizi a lavorare, gli mostri un taccuino con 3 esempi di come "Guardian" ha gestito domande difficili in passato.
La domanda: Mostrare questi esempi aiuta lo stagista a rimanere sicuro, o lo confonde?

3. La Grande Scoperta: Effetti Opposti

La principale scoperta del documento è che l'aggiunta di queste storie di esempio aiuta un tipo di istruzione ma danneggia l'altro. È come un trucco di magia dove lo stesso oggetto fa sorridere una persona e far piangere un'altra.

Scenario A: L'approccio "Identità" (RoP) + Esempi = SUPER SICURO

Cosa è successo: Quando l'IA gli è stato detto "Sei un assistente sicuro" (RoP) e poi le sono stati mostrati esempi di comportamento sicuro, è diventata migliore nel mantenere la sicurezza.
L'analogia: Pensa all'identità di "assistente sicuro" dell'IA come a un muscolo. Mostrare esempi è come fare qualche ripetizione di riscaldamento. Rafforza il muscolo. Gli esempi ricordano all'IA: "Sì, questo è ciò che sono. Io sono quello sicuro".
Risultato: La sicurezza è migliorata fino al 4,5%. Gli esempi hanno agito come un "rinforzo" del ruolo.

Scenario B: L'approccio "Descrizione del lavoro" (ToP) + Esempi = MENO SICURO

Cosa è successo: Quando all'IA è stato detto "Il tuo compito è essere sicuro" (ToP) e poi le sono stati mostrati esempi, è diventata peggiore nel mantenere la sicurezza.
L'analogia: Immagina di dare allo stagista un'istruzione specifica per il lavoro, ma poi di consegnargli una grossa pila di scartoffie non correlate da leggere prima. L'istruzione viene sepolta in mezzo alla pila. Lo stagista si distrae con gli esempi e dimentica la regola principale.
La scienza: Il documento chiama questo "Distrazione dell'Attenzione" (Attention Distraction). Il cervello dell'IA si concentra sugli esempi (che si trovano all'inizio del testo) e perde la concentrazione sull'istruzione effettiva (che viene spinta verso il centro).
Risultato: La sicurezza è scesa significativamente, fino al 21,2%. Gli esempi hanno oscurato le regole.

4. Il Paradosso della "Modalità di Pensiero" (Think Mode)

Il documento ha anche esaminato i modelli che hanno una speciale "Modalità di Pensiero" (dove ragionano passo dopo passo prima di rispondere).

La scoperta: Questi modelli sono generalmente più vulnerabili ai jailbreak (attacchi progettati per aggirare la sicurezza) e più confusi dagli esempi, indipendentemente dallo stile di istruzione utilizzato.
L'analogia: È come uno studente che analizza eccessivamente una domanda. Invece di seguire semplicemente la regola, inizia a discutere la regola nella sua testa, e i "cattivi" (i jailbreaker) lo traggono in inganno facendogli pensare che l'idea sbagliata sia in realtà logica.

5. Cosa dovrebbero fare gli sviluppatori?

In base a queste scoperte, gli autori danno consigli molto specifici:

Se usi l'approccio "Identità" (RoP): Vai pure ad aggiungere storie di esempio! Rende l'IA più sicura.
Se usi l'approccio "Descrizione del lavoro" (ToP): Non aggiungere storie di esempio. Rende l'IA meno sicura. Mantieni le istruzioni brevi e dirette.
Se usi modelli con "Modalità di Pensiero": Fai molta attenzione. Sembrano essere più facili da ingannare, quindi potresti aver bisogno di misure di sicurezza supplementari.

Riassunto

Il documento dimostra che il contesto conta.

Se definisci il carattere dell'IA, gli esempi aiutano a rafforzare quel carattere.
Se definisci il compito dell'IA, gli esempi agiscono come rumore che oscura le istruzioni.

I ricercatori non hanno solo ipotizzato; hanno testato tutto su molti diversi modelli di IA e benchmark di sicurezza per dimostrare che queste due strategie reagiscono in modi opposti allo stesso input.

Sintesi Tecnica: Come le dimostrazioni few-shot influenzano le difese basate su prompt contro gli attacchi di jailbreak agli LLM

1. Definizione del Problema

I Large Language Models (LLM) rimangono vulnerabili agli attacchi di jailbreak nonostante gli estesi sforzi di allineamento della sicurezza (ad es., RLHF, DPO). Sebbene le difese basate su prompt, specificamente i Role-Oriented Prompts (RoP) e i Task-Oriented Prompts (ToP), siano emerse come soluzioni pratiche, l'interazione tra queste difese e le dimostrazioni few-shot rimane poco chiara.

La ricerca precedente, come SG-Bench, ha osservato che gli esempi few-shot possono indurre risposte dannose, ma ha trattato l'apprendimento few-shot come un fattore indipendente. Esiste una lacuna critica nella comprensione di come le dimostrazioni few-shot interagiscano diversamente con le strategie RoP rispetto alle strategie ToP. Nello specifico, non è noto se l'aggiunta di esempi few-shot ai prompt di sistema migliori o degradi la sicurezza, e quali meccanismi guidino queste interazioni.

2. Metodologia

2.1 Configurazione Sperimentale

Gli autori hanno condotto una valutazione completa attraverso quattro benchmark di sicurezza (AdvBench, HarmBench, SG-Bench, XSTest) utilizzando sei LLM mainstream (inclusi le famiglie Pangu, Qwen, DeepSeek e Llama) e sei metodi di attacco di jailbreak (AIM, DAN, Evil Confident, Prefix Rejection, Poems, Refusal Suppression).

Lo studio ha valutato quattro configurazioni di difesa:

RoP: Inquadrare il modello come un "assistente IA sicuro e utile".
ToP: Definire esplicitamente la "generazione di risposte sicure" come il compito primario.
Few-shot General (FS-G): Fornire esempi di conversazioni benigne.
Few-shot Harmful (FS-H): Fornire esempi che dimostrano il rifiuto di richieste dannose.

Gli autori hanno testato tutte le combinazioni di queste strategie (ad es., RoP da solo, RoP+FS-G, ToP+FS-H) per misurare il Tasso di Sicurezza (SR) e il Tasso di Successo dell'Attacco (ASR).

2.2 Framework Teorico

Per spiegare i fenomeni osservati, gli autori hanno sviluppato un framework matematico combinando:

Apprendimento In-Context Bayesiano: Modellare gli esempi few-shot come aggiornamenti della distribuzione a posteriori del modello su concetti latenti.
Analisi del Meccanismo di Attenzione: Utilizzare concetti come "attention sink", "lost in the middle" ed entropia softmax per analizzare come la lunghezza e la posizione del prompt influenzino il rispetto delle istruzioni.
Teorie Cognitive: Applicare la teoria dell'attivazione diffusa (spreading activation theory) e la teoria del doppio processo (dual-process theory) per spiegare il rinforzo del ruolo e le vulnerabilità del ragionamento.

3. Contributi Chiave

Primo Studio Sistematico sulle Interazioni: Questo lavoro è il primo a investigare sistematicamente gli effetti di interazione tra le dimostrazioni few-shot e le strategie di prompt di sistema (RoP vs. ToP).
Framework Matematico: Gli autori propongono un framework basato sull'apprendimento in-context bayesiano e l'analisi dell'attenzione, fornendo teoremi formali per prevedere e spiegare le interazioni divergenti.
Scoperta di Interazioni Divergenti: Lo studio rivela che le dimostrazioni few-shot hanno effetti opposti su RoP e ToP:
- Potenziamento RoP: Gli esempi few-shot rinforzano l'identità del ruolo, aumentando la sicurezza.
- Degradazione ToP: Gli esempi few-shot distraggono l'attenzione dalle istruzioni del compito, diminuendo la sicurezza.
Paradosso della Modalità di Pensiero (Think-Mode Paradox): L'identificazione del fatto che i modelli con capacità di ragionamento ("think mode") mostrano una maggiore vulnerabilità sia agli attacchi di jailbreak che alle interazioni negative few-shot in tutte le configurazioni di difesa.
Spiegazioni dei Meccanismi: Il documento fornisce meccanismi teorici: Rinforzo del Ruolo (per RoP) e Distrazione dell'Attenzione (per ToP).

4. Risultati Chiave

4.1 Effetti Divergenti dell'Apprendimento Few-Shot

Il risultato principale è che l'impatto delle dimostrazioni few-shot dipende interamente dalla strategia sottostante del prompt di sistema:

RoP + Few-shot: Risulta in un miglioramento della sicurezza.
- Meccanismo: Gli esempi few-shot agiscono come evidenza di verosimiglianza che rafforza la probabilità a posteriori del ruolo di "assistente sicuro" ( $\theta_{safe}$ ).
- Impatto Quantitativo: I tassi di sicurezza sono aumentati fino al 4,5% (ad es., Qwen-7B-Chat: +4,5% con FS-H; Pangu-7B: +4,3% con FS-G).
ToP + Few-shot: Risulta in una degradazione della sicurezza.
- Meccanismo: Gli esempi few-shot competono con le istruzioni del compito per l'attenzione. A causa del fenomeno "lost in the middle" e della diluizione dell'attenzione, il focus del modello si sposta lontano dalle istruzioni esplicite del compito di sicurezza.
- Impatto Quantitativo: I tassi di sicurezza sono diminuiti significativamente, con cali fino al 21,2% (ad es., Qwen-7B-Chat: -21,2% con FS-G).

4.2 Il Paradosso della Modalità di Pensiero (Think-Mode Paradox)

I modelli con capacità di ragionamento (ad es., Qwen3-8B-Think, Pangu-7B-Think) hanno mostrato:

Tassi di sicurezza di base inferiori rispetto ai loro omologhi non-think.
Una vulnerabilità significativamente maggiore agli attacchi di jailbreak (crolli di sicurezza del 20–45% sotto attacco).
Una degradazione costante quando combinati con esempi few-shot, indipendentemente dal fatto che venisse utilizzato RoP o ToP. Ciò suggerisce che le catene di ragionamento estese possano creare ulteriori superfici di attacco o interferire sia con il rinforzo del ruolo che con il rispetto delle istruzioni.

4.3 Validazione Cross-Dataset

I trend divergenti (miglioramento RoP, degradazione ToP) sono stati coerenti in AdvBench, HarmBench e SG-Bench per i modelli non-think. Tuttavia, l'entità dell'effetto varia in base all'architettura del modello e al tipo specifico di esempio few-shot (FS-Harmful vs. FS-General).

5. Significato e Raccomandazioni

Il documento sostiene che l'interazione tra l'apprendimento few-shot e l'ingegneria dei prompt non è uniforme; dipende fortemente dalla natura semantica del prompt di sistema.

Raccomandazioni Pratiche:

Per i Role-Oriented Prompts (RoP): Gli sviluppatori dovrebbero combinare RoP con le dimostrazioni few-shot (specificamente esempi FS-Harmful) per massimizzare la sicurezza. Gli esempi rinforzano l'identità del modello come assistente sicuro.
Per i Task-Oriented Prompts (ToP): Gli sviluppatori dovrebbero evitare l'aggiunta di esempi few-shot. La presenza di esempi diluisce l'attenzione dedicata al compito di sicurezza esplicito, portando a significative vulnerabilità di sicurezza.
Per i Modelli di Ragionamento: È necessaria una cautela extra quando si distribuiscono modelli in "modalità di pensiero" (think mode), poiché mostrano una maggiore vulnerabilità di base e interazioni negative con le strategie few-shot in generale.

Conclusione:
Questo lavoro colma una lacuna critica nella ricerca sulla sicurezza degli LLM, dimostrando che l'ingegneria dei prompt "one-size-fits-all" è insufficiente. L'efficacia dell'apprendimento few-shot come meccanismo di difesa è subordinata alla specifica strategia di prompt impiegata, offrendo una guida sfumata per implementare sistemi LLM più sicuri nelle applicazioni del mondo reale.