Riepilogo Tecnico: Prompting Avversario Condizionato da Persona (PCAP)

Enunciato del Problema

Il red-teaming automatizzato per i Modelli Linguistici di Grande Dimensione (LLM) soffre attualmente di due limitazioni critiche: limitata diversità degli attaccanti e un divario tra valutazione e mitigazione attuabile. Le pipeline automatizzate esistenti spesso si affidano a insiemi ristretti di tattiche (ad esempio, modelli fissi o attacchi diretti) e trasformazioni singole. Di conseguenza, non riescono a catturare vettori di attacco realistici e complessi che fanno affidamento sull'identità dell'attaccante, sull'ingegneria sociale e sulla contestualizzazione (ad esempio, fiducia basata sui ruoli o gergo specifico di dominio). Questa esplorazione ristretta produce dati insufficienti per un affinamento robusto della sicurezza e sottostima i rischi reali. Inoltre, sebbene esistano approcci di "purple-teaming" per chiudere il ciclo tra scoperta delle vulnerabilità e difesa, molti mancano di una diversificazione sistematica tra le identità degli attaccanti e di una condizionamento esplicito della strategia.

Metodologia: Prompting Avversario Condizionato da Persona (PCAP)

Gli autori introducono PCAP, un framework che estende l'algoritmo Tree of Attacks with Pruning (TAP). PCAP condiziona la ricerca avversaria su diverse persone degli attaccanti e su insiemi di strategie espliciti per esplorare scenari di attacco realistici in un contesto black-box.

Componenti Principali

1. Costruzione della Persona: Un generatore di persona ($G_p$) crea $N$ persone distinte (ad esempio, studenti curiosi, esperti di dominio, attori malintenzionati) con dati demografici unici, dettagli biografici e caratteristiche comportamentali.
2. Riformulazione dell'Obiettivo: Un modello di riformulazione ($R$) reinterpreta l'obiettivo dannoso target ($g$) nel contesto di ciascuna persona ($\pi_i$), producendo un obiettivo personalizzato ($\tilde{g}_i$) che incorpora l'intento dell'attacco nella narrazione della persona.
3. Condizionamento della Strategia: Viene definito un insieme di strategie di attacco ($\Sigma$) (ad esempio, recitazione, suddivisione del payload, errori di battitura). A ciascuna persona viene assegnato un sottoinsieme di strategie ($\Sigma_i$). Il modello attaccante ($A$) è condizionato sulla persona, sull'obiettivo riformulato e sulla specifica carta della strategia, agendo come una guida in contesto.
4. Ricerca Avversaria Parallelizzata: Invece di un singolo raggio di ricerca, PCAP istanzia $N$ ricerche TAP indipendenti eseguite in parallelo. Ogni ricerca mantiene il proprio raggio ($S^{(i)}_t$) di larghezza $W$. Ad ogni iterazione, l'attaccante condizionato dalla persona genera variazioni, che vengono filtrate da un controllore di pertinenza ($O$), valutate da un valutatore ($E$) e potate ai primi $W$ candidati.
5. Generazione di Dataset Ricchi di Metadati: Crucialmente, ogni prompt di successo viene automaticamente annotato con i tag della persona assegnata, dell'obiettivo e della strategia. Questo crea un corpus ricco, privo di annotazioni manuali, adatto all'addestramento di comportamenti di rifiuto robusti.

Contributi Chiave

• Ricerca Condizionata da Persona: PCAP sposta il focus dalla modifica della pipeline di raffinamento al cambiamento di chi è l'attaccante e come attacca. Questo approccio modulare esplora diverse inquadrature linguistiche e strategiche che sfruttano la fiducia basata sui ruoli e l'inquadratura specifica di dominio.
• Valutazione Empirica Completa: Gli autori valutano PCAP su più modelli attaccanti con capacità variabili (architetture Dense e Mixture-of-Experts). Dimostrano miglioramenti coerenti nei tassi di successo dell'attacco (ASR), nel rendimento dei prompt e nella trasferibilità contro guardrail dedicati.
• Mitigazione Pratica a Ciclo Chiuso: Il documento dimostra una pipeline completa dalla scoperta delle vulnerabilità alla difesa automatizzata. Affinando adattatori leggeri (ALoRA) sui dati generati da PCAP, gli autori mostrano miglioramenti significativi nella robustezza del modello senza annotazione manuale.
• Rilascio Open Source: Gli autori si impegnano a rilasciare il codice PCAP integrato con un framework di red-teaming dopo l'accettazione.

Risultati Sperimentali

Gli esperimenti sono stati condotti su GPT-OSS 120B come modello target, utilizzando vari modelli attaccanti (Llama 3.3 70B, Granite 3.3 8B, Granite 4.0 H Tiny, Kimi K2.5, Mixtral 8x22B).

Prestazioni di Attacco

• Tasso di Successo dell'Attacco (ASR): PCAP supera significativamente la baseline TAP. Su GPT-OSS 120B, l'ASR è aumentato dal 57,7% al 97,3% (attaccante Llama 3.3 70B) e dal 41,0% al 98,0% (attaccante Granite 4.0 H Tiny).
• Rendimento dei Prompt: PCAP genera 2–6 volte più prompt di successo diversificati per obiettivo rispetto a TAP. Ad esempio, Granite 4.0 H Tiny ha visto un aumento del rendimento da 0,43 a 2,41 prompt/obiettivo.
• Trasferibilità: I prompt generati da PCAP hanno mostrato un'alta trasferibilità, aggirando i guardrail dedicati (Granite Guardian 3.3 e Llama Guard 3) a tassi del 30–58%. Significativamente, una parte sostanziale di questi prompt ha aggirato sia il modello target che i guardrail, indicando la scoperta di vulnerabilità semantiche generalizzabili.
• Diversità: I prompt PCAP hanno mostrato una minore similarità semantica (similarità coseno ~0,62–0,67) e punteggi Self-BLEU più bassi (0,02–0,08) rispetto alle baseline, confermando un'elevata diversità lessicale e semantica. Le distribuzioni delle strategie erano più bilanciate (punteggi $\chi^2$ più bassi) rispetto a TAP, che faceva molto affidamento sulla recitazione.

Mitigazione e Robustezza

• Affinamento (Fine-Tuning): Adattatori leggeri ALoRA sono stati affinati sul dataset generato da PCAP (300 prompt su 50 obiettivi).
• Guadagni nelle Prestazioni: L'affinamento ha migliorato drasticamente la robustezza avversaria su tre famiglie di modelli (Granite, Llama, Qwen).
  • Recall: Migliorato da 0,26–0,36 a 0,96–1,00.
  • Punteggio F1: Migliorato da 0,41–0,53 a 0,96–0,98.
  • Precisione: Mantenuta a livelli elevati (0,94–0,97) con minimi falsi positivi.
• Validazione del Purple-Teaming: Quando i modelli affinati sono stati riesaminati con PCAP, hanno dimostrato una forte resistenza. Ad esempio, Granite 3.3 8B ha visto l'ASR scendere dal 100% al 33,7%, e il numero di query necessarie per trovare un jailbreak di successo è aumentato di 5–7 volte. Ciò conferma che il dataset insegna il riconoscimento di pattern di attacco generalizzabili.

Significato e Affermazioni

Il documento afferma che PCAP fornisce un approccio completo, automatizzato e a ciclo chiuso alla sicurezza degli LLM. Condizionando la ricerca avversaria su diverse persone, il metodo scopre vulnerabilità che le pipeline ristrette non colgono, in particolare quelle che fanno affidamento sull'ingegneria sociale e sulla fiducia basata sull'identità.

Gli autori sottolineano che la natura priva di annotazioni del dataset generato è un vantaggio pratico chiave, eliminando i costi e i problemi di scalabilità del red-teaming umano. La capacità di raggiungere una robustezza quasi perfetta (F1 > 0,96) attraverso un affinamento leggero in poche ore (2–9 ore su A100) dimostra un percorso pratico per il rafforzamento continuo dei modelli. Il lavoro posiziona PCAP non solo come strumento di scoperta, ma come una "squadra viola" funzionale che colma il divario tra l'identificazione delle vulnerabilità e una difesa automatizzata ed efficace.