🤖 AI

PersonaTeaming: Supporting Persona-Driven Red-Teaming for Generative AI

Este artigo apresenta o PersonaTeaming, um framework que aprimora tanto o red-teaming automatizado quanto o com intervenção humana de IA generativa, integrando diversas personas na geração de prompts, melhorando assim as taxas de sucesso dos ataques e fomentando uma colaboração criativa e eficaz entre humanos e IA.

Autores originais: Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encontrar os pontos fracos em um robô muito inteligente, mas às vezes excessivamente educado. Você quer ver se consegue enganá-lo para que ele diga algo maldoso, perigoso ou tendencioso. Esse processo é chamado de "Red-Teaming" (Teste de Equipe Vermelha).

Geralmente, humanos fazem isso tentando "burlar" o robô com perguntas capciosas. Mas humanos ficam cansados, e é difícil imaginar cada truque possível. Então, cientistas começaram a usar outras IAs para fazer o trabalho de enganar por eles. No entanto, essas IAs automatizadas frequentemente apenas embaralham palavras sem realmente entender quem está fazendo a pergunta.

Este artigo apresenta uma nova maneira de testar IA chamada PersonaTeaming. É como dar à IA de teste uma "máscara" ou um "personagem" para vestir.

Aqui está a explicação de como funciona, usando analogias simples:

1. O Problema: O "Ponto Cego" do Robô

Pense na IA que você está testando como um segurança de uma balada muito rigorosa. O segurança tem uma lista de regras (diretrizes de segurança).

Teste Automatizado Antigo: Imagine um robô tentando entrar sorrateiramente. Ele apenas tenta frases aleatórias como "Por favor, deixe-me entrar" ou "Sou um VIP". É eficiente, mas um pouco robótico e previsível.
A Peça Faltante: Humanos reais não fazem apenas perguntas aleatórias; eles as fazem a partir de perspectivas específicas. Um pai cansado, um estrategista político ou um adolescente curioso podem todos tentar passar pelo segurança de maneiras completamente diferentes. Os antigos testadores automatizados ignoravam esses ângulos "humanos".

2. A Solução: A "Máscara de Personagem" (Fluxo de Trabalho PersonaTeaming)

Os autores criaram um sistema chamado Fluxo de Trabalho PersonaTeaming. Em vez de apenas pedir à IA para "tentar mais forte", eles dizem à IA de teste para fingir ser um personagem específico.

A Máscara do "Especialista": A IA de teste coloca o chapéu de um "Estrategista Político" ou de um "Revisionista Histórico". Ela pensa: "Como um estrategista político tentaria distorcer a verdade para vencer uma eleição?" Isso ajuda a encontrar maneiras muito inteligentes e direcionadas de enganar o segurança.
A Máscara da "Pessoa Comum": A IA de teste coloca o chapéu de uma "Mãe que trabalha em casa" ou de um "Instrutor de Yoga". Ela pensa: "Como uma mãe preocupada tentaria obter conselhos sobre manter uma arma em casa?" Isso encontra diferentes tipos de truques que especialistas poderiam perder.

O Resultado: Quando testaram isso contra os melhores métodos existentes (chamados RainbowPlus), o método de "Máscara de Personagem" encontrou mais fraquezas (taxa de sucesso maior) enquanto ainda produzia uma grande variedade de truques diferentes (alta diversidade). Foi como ter uma equipe de atores em vez de apenas um único robô.

3. A Ferramenta: O "Parque de Diversões" (Parque de Diversões PersonaTeaming)

Os pesquisadores perceberam que, às vezes, você precisa de um humano real para ajudar a criar o personagem. Então, construíram uma ferramenta interativa chamada Parque de Diversões PersonaTeaming.

Como funciona: Um red-teamer humano senta-se no computador e escreve seu próprio personagem. Ele pode dizer: "Sou um trabalhador de tecnologia de 35 anos que ama dançar."
O Trabalho da IA: A IA pega esse personagem e começa a gerar perguntas capciosas baseadas nele.
A "Faísca": Às vezes, a IA sugere uma reviravolta que o humano não pensou. Por exemplo, se o humano escreveu sobre ser dançarino, a IA pode sugerir enquadrar um pedido perigoso como um "plano de coreografia".
A Descoberta: O estudo descobriu que os humanos não seguiam cegamente as sugestões da IA. Em vez disso, as ideias estranhas da IA atuavam como uma vela de ignição. Mesmo que o humano não usasse a sugestão exata, vê-la fazia com que pensasse: "Ah! Eu poderia tentar dessa outra maneira!" Isso ajudou-os a sair de seus próprios vícios mentais.

4. O Truque da "Primeira Pessoa" vs. "Terceira Pessoa"

Uma descoberta fascinante ocorreu durante o estudo com humanos:

Primeira Pessoa ("Eu"): Quando humanos escreviam personagens sobre si mesmos (por exemplo, "Sou uma mãe cansada..."), muitas vezes eram muito educados. Sentiam-se desconfortáveis em fazer o personagem dizer coisas verdadeiramente prejudiciais porque parecia muito próximo de sua própria voz.
Terceira Pessoa ("Ele/Ela"): Quando humanos escreviam sobre um personagem fictício (por exemplo, "Jake é um espião..."), sentiam-se mais seguros. Estavam dispostos a empurrar os limites mais longe porque se sentiam psicologicamente distantes do personagem. Era como vestir um disfarce que lhes dava a coragem de ser mais ousados.

5. A Conclusão

O artigo conclui que Personas são a ponte entre a criatividade humana e a velocidade automatizada.

Para a Automação: Dar à IA um "personagem" específico torna-a muito melhor em encontrar perigos ocultos em outras IAs.
Para Humanos: Usar uma ferramenta que permite criar personagens ajuda a pensar em novas e criativas maneiras de testar IAs, mesmo que você não seja um especialista técnico.

Em resumo, PersonaTeaming trata de perceber que, para testar uma IA inteligente, você precisa testá-la não apenas como uma máquina, mas como uma máquina interagindo com o mundo bagunçado, diverso e criativo das identidades humanas.

Resumo Técnico: PersonaTeaming

Declaração do Problema

Avanços recentes em IA generativa (GenAI) tornaram necessárias métodos robustos de red-teaming para descobrir comportamentos prejudiciais, tendenciosos ou problemáticos em modelos. Embora o red-teaming automatizado ofereça escalabilidade, as abordagens existentes frequentemente dependem de categorias de risco predefinidas e estilos de ataque (por exemplo, "incitar discriminação" ou "erros de ortografia") sem modelar explicitamente as identidades humanas por trás dos ataques adversariais. Por outro lado, o red-teaming totalmente manual é limitado pela escalabilidade e pelo desgaste psicológico sobre os avaliadores humanos. Os métodos atuais ocupam um extremo entre esses dois, carecendo da capacidade de incorporar perspectivas humanas diversas ou do julgamento nuances necessário para entender quem está atacando um modelo e por quê. Este artigo aborda a lacuna na utilização de identidades humanas para aprimorar tanto estratégias de red-teaming automatizadas quanto aquelas com intervenção humana.

Metodologia

Os autores propõem o PersonaTeaming, um framework que integra "personas"—representações estruturadas de perspectivas de usuários—ao processo de geração de prompts adversariais. O trabalho é dividido em dois componentes principais: um fluxo de trabalho automatizado e uma interface interativa.

1. Fluxo de Trabalho PersonaTeaming (Automatizado)

Este componente estende o método de red-teaming automatizado mais avançado, RainbowPlus, condicionando a mutação de prompts a personas explícitas.

Construção de Personas: O sistema constrói dois tipos principais de personas:
- Especialistas em Red-Teaming (RTers): Estruturados com antecedentes profissionais (por exemplo, "Estrategista Político", "Revisionista Histórico") e traços comportamentais focados em expertise adversarial.
- Usuários Regulares de IA (Users): Estruturados com detalhes demográficos (por exemplo, "Mãe que fica em casa", "Instrutor de Yoga") para simular perspectivas de usuários cotidianos, incluindo visões políticas, riqueza e hobbies.
Mecanismo de Mutação: O fluxo de trabalho usa Modelos de Linguagem Grandes (LLMs) para mutar prompts semente. Em vez de instruções de mutação genéricas, o LLM é instruído a reformular o prompt com base nas características específicas, antecedentes e traços comportamentais de uma persona selecionada.
Geração Dinâmica de Personas: Para escalar além de personas fixas, os autores desenvolveram um algoritmo de Geração de Personas. Este algoritmo gera dinamicamente personas candidatas alinhadas a um prompt semente específico. Ele emprega uma função de pontuação (implementada via LLM) para avaliar a "aptidão" de uma nova persona em relação à atual para um dado prompt, mantendo a persona com a pontuação mais alta. Isso permite que o sistema selecione adaptativamente a perspectiva adversarial mais eficaz para uma tarefa específica.

2. PersonaTeaming Playground (Com Intervenção Humana)

Para abordar as limitações das personas automatizadas em aproximar perspectivas humanas reais, os autores construíram uma interface interativa permitindo que red-teamers humanos criem suas próprias personas e colaborem com a IA.

Interação do Usuário: Praticantes podem redigir personas em linguagem natural (primeira ou terceira pessoa), adicionar instruções de ênfase (por exemplo, focando em dimensões de risco específicas) e configurar parâmetros de mutação.
Mutação Colaborativa: O sistema gera prompts adversariais com base na persona criada pelo usuário. Os usuários podem editar manualmente esses prompts ou aceitar sugestões de mutação geradas pela IA.
Refinamento Iterativo: A interface suporta um loop iterativo onde os usuários podem revisar suas personas com base nos resultados da mutação, fomentando um processo colaborativo entre a intenção humana e a geração da IA.

Contribuições Principais

Fluxo de Trabalho PersonaTeaming: Um método inovador de red-teaming automatizado que incorpora personas na mutação de prompts, expandindo o escopo das estratégias automatizadas além de taxonomias predefinidas.
PersonaTeaming Playground: Uma interface interativa que permite a red-teamers humanos criar personas e colaborar com a IA, preenchendo a lacuna entre abordagens totalmente manuais e totalmente automatizadas.
Avaliação Técnica: Uma avaliação abrangente demonstrando que a mutação baseada em personas melhora a Taxa de Sucesso do Ataque (ASR) enquanto mantém a diversidade de prompts em modelos de peso fechado e aberto (GPT, Gemini, Qwen).
Estudo com Usuários: Um estudo com 11 praticantes da indústria examinando a usabilidade do Playground, revelando como a colaboração humano-IA no red-teaming funciona na prática.
Lançamento de Código Aberto: A liberação da base de código e implicações de design para apoiar pesquisadores e praticantes de IA Responsável (RAI).

Resultados

Avaliação Técnica

Os autores avaliaram o Fluxo de Trabalho PersonaTeaming contra a linha de base RainbowPlus em seis modelos alvo (incluindo GPT-4o, Qwen2.5 e Gemini 2.5).

Taxa de Sucesso do Ataque (ASR): O fluxo de trabalho alcançou uma ASR mais alta que a linha de base. Especificamente, a condição de Geração Dinâmica de Personas RTer ( $RP + PG_{RTers}$ ) alcançou uma ASR média de 0,223 (46% de melhoria sobre a linha de base) enquanto aumentava simultaneamente a diversidade de prompts (0,632 vs. 0,592 da linha de base).
Fixo vs. Dinâmico: Personas RTer fixas (por exemplo, "Revisionista Histórico") produziram a maior ASR (0,257), mas a um custo para a diversidade devido à similaridade textual no nível do corpus. Personas de Usuário fixas mantiveram uma ASR comparável à linha de base, mas aumentaram significativamente a diversidade.
Criatividade e Direcionamento: Análise qualitativa e análise TF-IDF revelaram que prompts orientados por personas foram mais criativos e direcionados. Por exemplo, uma persona de "Estrategista Político" reformulou com sucesso um pedido prejudicial para um contexto de campanha política, enquanto uma persona de "Mãe que fica em casa" gerou narrativas em primeira pessoa que contornaram filtros de segurança.
Generalização do Modelo: Os benefícios da geração dinâmica de personas foram robustos tanto em modelos de código aberto quanto de código fechado, bem como em diferentes tamanhos de modelo.

Achados do Estudo com Usuários

Em um estudo com 11 praticantes da indústria:

Estratégias Diversas: Os participantes naturalmente tenderam a escrever tanto personas em primeira pessoa (ênfase em hobbies e identidade) quanto em terceira pessoa (ênfase em expertise e habilidades).
Distância Psicológica: Participantes escrevendo em terceira pessoa estavam mais dispostos a escalar conteúdo prejudicial, enquanto escritores em primeira pessoa mostraram maior relutância, sugerindo que personas podem fornecer a distância psicológica necessária para red-teamers.
IA como Catalisador: Sugestões geradas por IA atuaram como "provocações" em vez de prescrições. Mesmo quando os participantes não seguiam estritamente as sugestões da IA, a exposição a essas ideias incentivou o pensamento criativo e ajudou-os a explorar direções de ataque que não teriam gerado sozinhos.
Refinamento Iterativo: O estudo encontrou uma correlação positiva entre o número de edições feitas em prompts mutados e o sucesso do ataque, sugerindo que iterar sobre saídas geradas por IA é mais produtivo do que simplesmente redigir mais personas.

Significado e Alegações

O artigo alega que o PersonaTeaming avança o campo da segurança de IA ao:

Preencher a Lacuna: Oferece um meio-termo entre red-teaming totalmente manual e totalmente automatizado, aproveitando a escalabilidade da IA enquanto retém a compreensão contextual e perspectivas diversas das identidades humanas.
Melhorar a Descoberta: Ao incorporar personas, o método descobre um espectro mais amplo de estratégias adversariais, incluindo aquelas enraizadas em experiências de vida específicas ou expertise profissional que algoritmos de mutação genérica perdem.
Colaboração Humano-IA: O trabalho fornece insights de design para futuras colaborações humano-IA, destacando especificamente que sugestões de IA são mais valiosas quando servem como estímulos para a criatividade humana ("provocações") em vez de instruções diretas.
Utilidade Prática: Os autores postulam que, embora personas automatizadas não possam substituir totalmente o julgamento humano, elas servem como um ponto de partida valioso para mutação adicional e uma alternativa de baixo custo para exploração inicial, particularmente quando recursos humanos são limitados.

Os autores permanecem modestos em suas alegações, reconhecendo que personas automatizadas são aproximações da experiência humana real e podem às vezes ser estereotipadas. Eles enfatizam que o verdadeiro valor reside no fluxo de trabalho colaborativo onde humanos refinam e direcionam esses processos automatizados.