🤖 AI

PersonaTeaming: Supporting Persona-Driven Red-Teaming for Generative AI

Questo articolo introduce PersonaTeaming, un framework che potenzia sia il red-teaming automatizzato sia quello con intervento umano dei sistemi di intelligenza artificiale generativa integrando diverse personalità nella generazione dei prompt, migliorando così i tassi di successo degli attacchi e promuovendo una collaborazione creativa ed efficace tra uomo e intelligenza artificiale.

Autori originali: Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare i punti deboli di un robot molto intelligente, ma a volte eccessivamente gentile. Vuoi vedere se riesci a ingannarlo facendogli dire qualcosa di cattivo, pericoloso o pregiudizievole. Questo processo si chiama "Red-Teaming".

Di solito, gli esseri umani lo fanno cercando di "jailbreakare" il robot con domande insidiose. Ma gli esseri umani si stancano ed è difficile immaginare ogni possibile trucco. Quindi, gli scienziati hanno iniziato a utilizzare altre intelligenze artificiali per compiere l'inganno al loro posto. Tuttavia, queste IA automatizzate spesso si limitano a mescolare le parole senza capire davvero chi stia ponendo la domanda.

Questo articolo presenta un nuovo modo per testare l'IA chiamato PersonaTeaming. È come dare all'IA di test una "maschera" o un "personaggio" da indossare.

Ecco la spiegazione di come funziona, utilizzando semplici analogie:

1. Il Problema: Il "Punto Cieco" del Robot

Pensa all'IA che stai testando come a un buttafuori di un club molto rigoroso. Il buttafuori ha una lista di regole (linee guida di sicurezza).

Vecchio Test Automatizzato: Immagina un robot che cerca di infiltrarsi. Prova semplicemente frasi casuali come "Per favore, fammi entrare" o "Sono un VIP". È efficiente, ma è un po' robotico e prevedibile.
Il Pezzo Mancante: Gli esseri umani reali non fanno solo domande casuali; le pongono da prospettive specifiche. Un genitore stanco, un stratega politico o un adolescente curioso potrebbero tutti cercare di superare il buttafuori in modi completamente diversi. I vecchi tester automatizzati hanno mancato questi angoli "umani".

2. La Soluzione: La "Maschera del Personaggio" (Flusso di Lavoro PersonaTeaming)

Gli autori hanno creato un sistema chiamato Flusso di Lavoro PersonaTeaming. Invece di chiedere semplicemente all'IA di "provare di più", dicono all'IA di test di fingere di essere un personaggio specifico.

La Maschera dell'"Esperto": L'IA di test indossa il cappello di uno "Stratega Politico" o di un "Revisionista Storico". Pensa: "Come cercherebbe uno stratega politico di distorcere la verità per vincere un'elezione?". Questo aiuta a trovare modi molto astuti e mirati per ingannare il buttafuori.
La Maschera della "Persona Comune": L'IA di test indossa il cappello di una "Mamma Casalinga" o di un "Istruttore di Yoga". Pensa: "Come cercherebbe una mamma preoccupata di ottenere consigli su come tenere una pistola a casa?". Questo trova tipi diversi di trucchetti che gli esperti potrebbero perdere.

Il Risultato: Quando hanno testato questo metodo contro i migliori metodi esistenti (chiamati RainbowPlus), il metodo della "Maschera del Personaggio" ha trovato più debolezze (tasso di successo più alto) pur generando una vasta gamma di trucchetti diversi (alta diversità). È stato come avere un team di attori invece di un singolo robot.

3. Lo Strumento: Il "Parco Giochi" (PersonaTeaming Playground)

I ricercatori hanno capito che a volte serve un essere umano reale per aiutare a progettare il personaggio. Quindi, hanno costruito uno strumento interattivo chiamato PersonaTeaming Playground.

Come funziona: Un red-teamer umano siede al computer e scrive il proprio personaggio. Potrebbe dire: "Sono un lavoratore tecnologico di 35 anni che ama la danza."
Il Lavoro dell'IA: L'IA prende quel personaggio e inizia a generare domande insidiose basate su di esso.
La "Scintilla": A volte l'IA suggerisce una svolta che l'umano non aveva considerato. Ad esempio, se l'umano ha scritto di essere un ballerino, l'IA potrebbe suggerire di inquadrare una richiesta pericolosa come un "piano di coreografia".
La Scoperta: Lo studio ha scoperto che gli esseri umani non seguivano ciecamente i suggerimenti dell'IA. Invece, le idee strane dell'IA agivano come una candela. Anche se l'umano non usava il suggerimento esatto, vederlo lo faceva pensare: "Oh! Potrei provarla in quest'altro modo!". Li aiutava a uscire dai loro stessi schemi mentali.

4. Il Trucco della "Prima Persona" vs. "Terza Persona"

Una scoperta affascinante è avvenuta durante lo studio con gli esseri umani:

Prima Persona ("Io"): Quando gli esseri umani scrivevano personaggi su se stessi (ad esempio: "Sono una mamma stanca..."), erano spesso troppo gentili. Si sentivano a disagio nel far dire al personaggio cose davvero dannose perché sembrava troppo vicino alla propria voce.
Terza Persona ("Lui/Lei"): Quando gli esseri umani scrivevano su un personaggio fittizio (ad esempio: "Jake è una spia..."), si sentivano più al sicuro. Erano disposti a spingere i confini più lontano perché si sentivano psicologicamente distanti dal personaggio. Era come indossare un costume che dava loro il coraggio di essere più audaci.

5. La Conclusione

L'articolo conclude che le Personas sono il ponte tra la creatività umana e la velocità automatizzata.

Per l'Automazione: Dare all'IA un "personaggio" specifico la rende molto più brava a trovare pericoli nascosti in altre IA.
Per gli Esseri Umani: Usare uno strumento che ti permette di creare personaggi ti aiuta a pensare a nuovi modi creativi per testare l'IA, anche se non sei un esperto tecnico.

In breve, PersonaTeaming riguarda la consapevolezza che per testare un'IA intelligente, devi testarla non solo come una macchina, ma come una macchina che interagisce con il mondo disordinato, diversificato e creativo delle identità umane.

Riepilogo Tecnico: PersonaTeaming

Enunciato del Problema

I recenti progressi nell'intelligenza artificiale generativa (GenAI) hanno reso necessarie metodologie di red-teaming robuste per individuare comportamenti dannosi, distorti o problematici dei modelli. Sebbene il red-teaming automatizzato offra scalabilità, gli approcci esistenti si basano spesso su categorie di rischio predefinite e stili di attacco (ad esempio, "incitare alla discriminazione" o "errori ortografici") senza modellare esplicitamente le identità umane alla base degli attacchi avversari. Al contrario, il red-teaming completamente manuale è limitato dalla scalabilità e dal peso psicologico sugli evaluator umani. I metodi attuali occupano un estremo tra questi due, mancando della capacità di incorporare prospettive umane diversificate o del giudizio sottile necessario per comprendere chi sta attaccando un modello e perché. Questo lavoro affronta il vuoto nell'utilizzo delle identità umane per potenziare sia le strategie di red-teaming automatizzate sia quelle con intervento umano nel ciclo.

Metodologia

Gli autori propongono PersonaTeaming, un framework che integra le "persone"—rappresentazioni strutturate delle prospettive degli utenti—nel processo di generazione di prompt avversari. Il lavoro è suddiviso in due componenti principali: un flusso di lavoro automatizzato e un'interfaccia interattiva.

1. Flusso di Lavoro PersonaTeaming (Automatizzato)

Questa componente estende il metodo di red-teaming automatizzato all'avanguardia, RainbowPlus, condizionando la mutazione dei prompt su persone esplicite.

Costruzione delle Persone: Il sistema costruisce due tipi principali di persone:
- Esperti di Red-Teaming (RTers): Strutturati con background professionali (ad esempio, "Stratega Politico", "Revisionista Storico") e tratti comportamentali focalizzati sull'expertise avversaria.
- Utenti AI Ordinari (Utenti): Strutturati con dettagli demografici (ad esempio, "Mamma casalinga", "Istruttore di Yoga") per simulare prospettive di utenti quotidiani, inclusi punti di vista politici, ricchezza e hobby.
Meccanismo di Mutazione: Il flusso di lavoro utilizza Modelli Linguistici su Grande Scala (LLM) per mutare i prompt iniziali. Invece di istruzioni di mutazione generiche, all'LLM viene istruito di riformulare il prompt in base alle caratteristiche specifiche, al background e ai tratti comportamentali di una persona selezionata.
Generazione Dinamica delle Persone: Per scalare oltre le persone fisse, gli autori hanno sviluppato un algoritmo di Generazione delle Persone. Questo algoritmo genera dinamicamente persone candidate allineate a un prompt iniziale specifico. Impiega una funzione di punteggio (implementata tramite un LLM) per valutare l'"idoneità" di una nuova persona rispetto a quella corrente per un dato prompt, mantenendo la persona con il punteggio più alto. Ciò consente al sistema di selezionare in modo adattivo la prospettiva avversaria più efficace per un compito specifico.

2. Playground PersonaTeaming (Con Intervento Umano nel Ciclo)

Per affrontare i limiti delle persone automatizzate nell'approssimare le prospettive umane reali, gli autori hanno costruito un'interfaccia interattiva che permette ai red-teamer umani di creare le proprie persone e collaborare con l'AI.

Interazione Utente: I professionisti possono redigere persone in linguaggio naturale (prima o terza persona), aggiungere istruzioni di enfasi (ad esempio, concentrandosi su specifiche dimensioni di rischio) e configurare i parametri di mutazione.
Mutazione Collaborativa: Il sistema genera prompt avversari basati sulla persona redatta dall'utente. Gli utenti possono modificare manualmente questi prompt o accettare i suggerimenti di mutazione generati dall'AI.
Raffinamento Iterativo: L'interfaccia supporta un ciclo iterativo in cui gli utenti possono rivedere le proprie persone in base ai risultati della mutazione, favorendo un processo collaborativo tra l'intento umano e la generazione AI.

Contributi Chiave

Flusso di Lavoro PersonaTeaming: Un nuovo metodo di red-teaming automatizzato che incorpora le persone nella mutazione dei prompt, ampliando la portata delle strategie automatizzate oltre le tassonomie predefinite.
Playground PersonaTeaming: Un'interfaccia interattiva che consente ai red-teamer umani di creare persone e collaborare con l'AI, colmando il divario tra approcci completamente manuali e completamente automatizzati.
Valutazione Tecnica: Una valutazione completa che dimostra come la mutazione basata su persone migliori il Tasso di Successo dell'Attacco (ASR) mantenendo la diversità dei prompt attraverso modelli a pesi chiusi e aperti (GPT, Gemini, Qwen).
Studio Utenti: Uno studio con 11 professionisti del settore che esamina l'usabilità del Playground, rivelando come la collaborazione uomo-AI nel red-teaming funzioni nella pratica.
Rilascio Open-Source: Il rilascio del codice e delle implicazioni di progettazione per supportare ricercatori e professionisti dell'AI Responsabile (RAI).

Risultati

Valutazione Tecnica

Gli autori hanno valutato il Flusso di Lavoro PersonaTeaming rispetto alla baseline RainbowPlus su sei modelli target (inclusi GPT-4o, Qwen2.5 e Gemini 2.5).

Tasso di Successo dell'Attacco (ASR): Il flusso di lavoro ha raggiunto un ASR più elevato rispetto alla baseline. Nello specifico, la condizione Generazione Dinamica della Persona RTer ( $RP + PG_{RTers}$ ) ha raggiunto un ASR medio di 0,223 (un miglioramento del 46% rispetto alla baseline) aumentando simultaneamente la diversità dei prompt (0,632 contro 0,592 della baseline).
Fisso vs Dinamico: Le persone RTer fisse (ad esempio, "Revisionista Storico") hanno prodotto l'ASR più alto (0,257), ma a scapito della diversità a causa della similarità testuale a livello di corpus. Le persone Utenti fisse hanno mantenuto un ASR comparabile alla baseline ma hanno aumentato significativamente la diversità.
Creatività e Targeting: L'analisi qualitativa e l'analisi TF-IDF hanno rivelato che i prompt guidati dalle persone erano più creativi e mirati. Ad esempio, una persona "Stratega Politico" ha riformulato con successo una richiesta dannosa in un contesto di campagna politica, mentre una persona "Mamma casalinga" ha generato narrazioni in prima persona che hanno aggirato i filtri di sicurezza.
Generalizzazione del Modello: I benefici della generazione dinamica delle persone sono stati robusti sia per i modelli open-source che per quelli closed-source, nonché attraverso diverse dimensioni di modello.

Risultati dello Studio Utenti

In uno studio con 11 professionisti del settore:

Strategie Diversificate: I partecipanti si sono naturalmente orientati verso la scrittura di persone sia in prima persona (enfatizzando hobby e identità) sia in terza persona (enfatizzando expertise e competenze).
Distanza Psicologica: I partecipanti che scrivevano in terza persona erano più disposti a escalare contenuti dannosi, mentre gli scrittori in prima persona mostravano maggiore riluttanza, suggerendo che le persone possono fornire la necessaria distanza psicologica per i red-teamer.
AI come Catalizzatore: I suggerimenti generati dall'AI hanno agito come "provocazioni" piuttosto che come prescrizioni. Anche quando i partecipanti non seguivano rigorosamente i suggerimenti dell'AI, l'esposizione a queste idee incoraggiava il pensiero fuori dagli schemi e li aiutava a esplorare direzioni di attacco che non avrebbero generato autonomamente.
Raffinamento Iterativo: Lo studio ha rilevato una correlazione positiva tra il numero di modifiche apportate ai prompt mutati e il successo dell'attacco, suggerendo che iterare sugli output generati dall'AI è più produttivo che semplicemente redigere più persone.

Significato e Affermazioni

Il lavoro afferma che PersonaTeaming avanza il campo della sicurezza dell'AI attraverso:

Colmare il Divario: Offre una via di mezzo tra red-teaming completamente manuale e completamente automatizzato, sfruttando la scalabilità dell'AI mantenendo al contempo la comprensione contestuale e le prospettive diversificate delle identità umane.
Potenziare la Scoperta: Incorporando le persone, il metodo scopre un più ampio spettro di strategie avversarie, incluse quelle radicate in esperienze di vita specifiche o expertise professionali che gli algoritmi di mutazione generici non colgono.
Collaborazione Uomo-AI: Il lavoro fornisce spunti di progettazione per la futura collaborazione uomo-AI, evidenziando specificamente che i suggerimenti dell'AI sono più preziosi quando fungono da stimoli per la creatività umana ("provocazioni") piuttosto che da istruzioni dirette.
Utilità Pratica: Gli autori ipotizzano che, sebbene le persone automatizzate non possano sostituire completamente il giudizio umano, servano come punto di partenza prezioso per ulteriori mutazioni e come alternativa a basso costo per l'esplorazione iniziale, in particolare quando le risorse umane sono limitate.

Gli autori mantengono un tono modesto nelle loro affermazioni, riconoscendo che le persone automatizzate sono approssimazioni dell'esperienza umana reale e possono talvolta essere stereotipate. Sottolineano che il vero valore risiede nel flusso di lavoro collaborativo in cui gli umani affinano e dirigono questi processi automatizzati.