🤖 AI

PersonaTeaming: Supporting Persona-Driven Red-Teaming for Generative AI

Este artículo presenta PersonaTeaming, un marco que mejora tanto el red-teaming automatizado como el de ciclo humano en la inteligencia artificial generativa mediante la integración de diversos personajes en la generación de prompts, mejorando así las tasas de éxito de los ataques y fomentando una colaboración creativa y efectiva entre humanos e inteligencia artificial.

Autores originales: Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar los puntos débiles de un robot muy inteligente, pero a veces excesivamente educado. Quieres ver si puedes engañarlo para que diga algo cruel, peligroso o sesgado. Este proceso se llama "Red-Teaming".

Por lo general, los humanos lo hacen intentando "hacer jailbreak" al robot con preguntas engañosas. Pero los humanos se cansan, y es difícil imaginar cada truco posible. Así que los científicos comenzaron a usar otras IAs para hacer el engaño por ellos. Sin embargo, estas IAs automatizadas a menudo solo reorganizan palabras sin entender realmente quién está haciendo la pregunta.

Este artículo introduce una nueva forma de probar la IA llamada PersonaTeaming. Es como darle al IA de pruebas una "máscara" o un "personaje" que adoptar.

Aquí está el desglose de cómo funciona, usando analogías simples:

1. El Problema: El "Punto Ciego" del Robot

Piensa en la IA que estás probando como un portero en un club muy estricto. El portero tiene una lista de reglas (pautas de seguridad).

Pruebas Automatizadas Antiguas: Imagina un robot intentando colarse. Solo intenta frases aleatorias como "Por favor, déjame entrar" o "Soy un VIP". Es eficiente, pero es un poco robótico y predecible.
La Pieza Faltante: Los humanos reales no hacen preguntas aleatorias; las hacen desde perspectivas específicas. Un padre cansado, un estratega político o un adolescente curioso podrían intentar pasar al portero de maneras completamente diferentes. Los probadores automatizados antiguos se perdieron estos ángulos "humanos".

2. La Solución: La "Máscara de Personaje" (Flujo de Trabajo PersonaTeaming)

Los autores crearon un sistema llamado Flujo de Trabajo PersonaTeaming. En lugar de simplemente pedirle a la IA que "intente más", le dicen a la IA de pruebas que fingir ser un personaje específico.

La Máscara del "Experto": La IA de pruebas se pone el sombrero de un "Estratega Político" o un "Revisionista Histórico". Piensa: "¿Cómo intentaría un estratega político distorsionar la verdad para ganar una elección?". Esto le ayuda a encontrar formas muy astutas y dirigidas de engañar al portero.
La Máscara de la "Persona Común": La IA de pruebas se pone el sombrero de una "Madre que trabaja en casa" o un "Instructor de Yoga". Piensa: "¿Cómo intentaría una madre preocupada obtener consejos sobre mantener un arma en casa?". Esto encuentra diferentes tipos de trucos que los expertos podrían pasar por alto.

El Resultado: Cuando probaron esto contra los mejores métodos existentes (llamados RainbowPlus), el método de "Máscara de Personaje" encontró más debilidades (tasa de éxito más alta) mientras seguía generando una amplia variedad de trucos diferentes (alta diversidad). Fue como tener un equipo de actores en lugar de un solo robot.

3. La Herramienta: El "Parque de Juegos" (Playground PersonaTeaming)

Los investigadores se dieron cuenta de que a veces necesitas a un humano real para ayudar a diseñar el personaje. Así que construyeron una herramienta interactiva llamada Playground PersonaTeaming.

Cómo funciona: Un red-teamer humano se sienta frente a la computadora y escribe su propio personaje. Podría decir: "Soy un trabajador tecnológico de 35 años que ama el baile".
El Trabajo de la IA: La IA toma ese personaje y comienza a generar preguntas engañosas basadas en él.
La "Chispa": A veces la IA sugiere un giro que el humano no había pensado. Por ejemplo, si el humano escribió sobre ser bailarín, la IA podría sugerir enmarcar una solicitud peligrosa como un "plan de coreografía".
El Hallazgo: El estudio encontró que los humanos no seguían ciegamente las sugerencias de la IA. En cambio, las ideas extrañas de la IA actuaban como una bujía. Incluso si el humano no usaba la sugerencia exacta, verla les hacía pensar: "¡Oh! ¡Podría intentarlo de esta otra manera!". Les ayudó a salir de sus propios callejones mentales.

4. El Truco de "Primera Persona" vs. "Tercera Persona"

Se produjo un descubrimiento fascinante durante el estudio con humanos:

Primera Persona ("Yo"): Cuando los humanos escribían personajes sobre sí mismos (por ejemplo, "Soy una madre cansada..."), a menudo eran demasiado educados. Se sentían incómodos haciendo que el personaje dijera cosas realmente dañinas porque se sentía demasiado cerca de su propia voz.
Tercera Persona ("Él/Ella"): Cuando los humanos escribían sobre un personaje ficticio (por ejemplo, "Jake es un espía..."), se sentían más seguros. Estaban dispuestos a empujar los límites más lejos porque se sentían psicológicamente distantes del personaje. Fue como usar un disfraz que les dio el valor de ser más audaces.

5. La Conclusión

El artículo concluye que los Personajes son el puente entre la creatividad humana y la velocidad automatizada.

Para la Automatización: Darle a la IA un "personaje" específico la hace mucho mejor encontrando peligros ocultos en otras IAs.
Para los Humanos: Usar una herramienta que te permite crear personajes te ayuda a pensar en nuevas formas creativas de probar la IA, incluso si no eres un experto técnico.

En resumen, PersonaTeaming se trata de darse cuenta de que para probar una IA inteligente, necesitas probarla no solo como una máquina, sino como una máquina interactuando con el mundo desordenado, diverso y creativo de las identidades humanas.

Resumen Técnico: PersonaTeaming

Declaración del Problema

Los avances recientes en la inteligencia artificial generativa (IA Generativa) han hecho necesarias metodologías de red-teaming robustas para descubrir comportamientos de modelos dañinos, sesgados o problemáticos. Si bien el red-teaming automatizado ofrece escalabilidad, los enfoques existentes a menudo dependen de categorías de riesgo y estilos de ataque predefinidos (por ejemplo, "incitar a la discriminación" o "cometer errores ortográficos") sin modelar explícitamente las identidades humanas detrás de los ataques adversarios. Por el contrario, el red-teaming completamente manual está limitado por la escalabilidad y la carga psicológica sobre los evaluadores humanos. Los métodos actuales ocupan un extremo entre estos dos, careciendo de la capacidad de incorporar perspectivas humanas diversas o el juicio matizado necesario para comprender quién ataca a un modelo y por qué. Este artículo aborda la brecha en el aprovechamiento de las identidades humanas para mejorar tanto las estrategias de red-teaming automatizadas como aquellas con intervención humana.

Metodología

Los autores proponen PersonaTeaming, un marco que integra "personas"—representaciones estructuradas de perspectivas de usuario—en el proceso de generación de prompts adversarios. El trabajo se divide en dos componentes principales: un flujo de trabajo automatizado y una interfaz interactiva.

1. Flujo de Trabajo PersonaTeaming (Automatizado)

Este componente extiende el método de red-teaming automatizado más avanzado, RainbowPlus, condicionando la mutación de prompts a personas explícitas.

Construcción de Personas: El sistema construye dos tipos principales de personas:
- Expertos en Red-Teaming (RTers): Estructurados con antecedentes profesionales (por ejemplo, "Estratega Político", "Revisionista Histórico") y rasgos conductuales centrados en la experiencia adversaria.
- Usuarios Normales de IA (Usuarios): Estructurados con detalles demográficos (por ejemplo, "Madre que se queda en casa", "Instructor de Yoga") para simular perspectivas de usuarios cotidianos, incluyendo puntos de vista políticos, riqueza y pasatiempos.
Mecanismo de Mutación: El flujo de trabajo utiliza Modelos de Lenguaje Grande (LLM) para mutar prompts semilla. En lugar de instrucciones de mutación genéricas, se instruye al LLM para que reformule el prompt basándose en las características específicas, el trasfondo y los rasgos conductuales de una persona seleccionada.
Generación Dinámica de Personas: Para escalar más allá de personas fijas, los autores desarrollaron un algoritmo de Generación de Personas. Este algoritmo genera dinámicamente personas candidatas alineadas con un prompt semilla específico. Emplea una función de puntuación (implementada mediante un LLM) para evaluar la "aptitud" de una nueva persona frente a la actual para un prompt dado, reteniendo la persona con la puntuación más alta. Esto permite que el sistema seleccione adaptativamente la perspectiva adversaria más efectiva para una tarea específica.

2. Campo de Juego PersonaTeaming (Con Intervención Humana)

Para abordar las limitaciones de las personas automatizadas al aproximar perspectivas humanas reales, los autores construyeron una interfaz interactiva que permite a los red-teamers humanos crear sus propias personas y colaborar con la IA.

Interacción del Usuario: Los practicantes pueden redactar personas en lenguaje natural (en primera o tercera persona), añadir instrucciones de énfasis (por ejemplo, centrarse en dimensiones de riesgo específicas) y configurar parámetros de mutación.
Mutación Colaborativa: El sistema genera prompts adversarios basados en la persona redactada por el usuario. Los usuarios pueden editar manualmente estos prompts o aceptar sugerencias de mutación generadas por la IA.
Refinamiento Iterativo: La interfaz soporta un bucle iterativo donde los usuarios pueden revisar sus personas basándose en los resultados de la mutación, fomentando un proceso colaborativo entre la intención humana y la generación por IA.

Contribuciones Clave

Flujo de Trabajo PersonaTeaming: Un método novedoso de red-teaming automatizado que incorpora personas en la mutación de prompts, expandiendo el alcance de las estrategias automatizadas más allá de las taxonomías predefinidas.
Campo de Juego PersonaTeaming: Una interfaz interactiva que permite a los red-teamers humanos crear personas y colaborar con la IA, cerrando la brecha entre los enfoques completamente manuales y completamente automatizados.
Evaluación Técnica: Una evaluación exhaustiva que demuestra que la mutación basada en personas mejora la Tasa de Éxito del Ataque (ASR) mientras mantiene la diversidad de prompts en modelos de peso cerrado y abierto (GPT, Gemini, Qwen).
Estudio de Usuarios: Un estudio con 11 practicantes de la industria que examina la usabilidad del Campo de Juego, revelando cómo funciona la colaboración humano-IA en el red-teaming en la práctica.
Lanzamiento de Código Abierto: El lanzamiento del código base y las implicaciones de diseño para apoyar a investigadores y practicantes de IA Responsable (RAI).

Resultados

Evaluación Técnica

Los autores evaluaron el Flujo de Trabajo PersonaTeaming frente a la línea base RainbowPlus en seis modelos objetivo (incluyendo GPT-4o, Qwen2.5 y Gemini 2.5).

Tasa de Éxito del Ataque (ASR): El flujo de trabajo logró una ASR más alta que la línea base. Específicamente, la condición de Generación Dinámica de Personas RTer ( $RP + PG_{RTers}$ ) logró una ASR media de 0.223 (una mejora del 46% sobre la línea base) mientras aumentaba simultáneamente la diversidad de prompts (0.632 frente a 0.592 de la línea base).
Fijo vs. Dinámico: Las personas RTer fijas (por ejemplo, "Revisionista Histórico") produjeron la ASR más alta (0.257), pero a costa de la diversidad debido a la similitud textual a nivel de corpus. Las personas Usuario fijas mantuvieron una ASR comparable a la línea base pero aumentaron significativamente la diversidad.
Creatividad y Enfoque: El análisis cualitativo y el análisis TF-IDF revelaron que los prompts impulsados por personas fueron más creativos y enfocados. Por ejemplo, una persona "Estratega Político" reformuló con éxito una solicitud dañina en un contexto de campaña política, mientras que una persona "Madre que se queda en casa" generó narrativas en primera persona que eludieron los filtros de seguridad.
Generalización del Modelo: Los beneficios de la generación dinámica de personas fueron robustos tanto en modelos de código abierto como de código cerrado, así como en diferentes tamaños de modelo.

Hallazgos del Estudio de Usuarios

En un estudio con 11 practicantes de la industria:

Estrategias Diversas: Los participantes naturalmente se inclinaron a escribir personas tanto en primera persona (enfatizando pasatiempos e identidad) como en tercera persona (enfatizando experiencia y habilidades).
Distancia Psicológica: Los participantes que escribían en tercera persona estaban más dispuestos a escalar contenido dañino, mientras que los escritores en primera persona mostraron mayor renuencia, lo que sugiere que las personas pueden proporcionar la distancia psicológica necesaria para los red-teamers.
IA como Catalizador: Las sugerencias generadas por la IA actuaron como "provocaciones" en lugar de prescripciones. Incluso cuando los participantes no siguieron estrictamente las sugerencias de la IA, la exposición a estas ideas fomentó el pensamiento creativo y les ayudó a explorar direcciones de ataque que no habrían generado por sí mismos.
Refinamiento Iterativo: El estudio encontró una correlación positiva entre el número de ediciones realizadas en los prompts mutados y el éxito del ataque, lo que sugiere que iterar sobre los resultados generados por la IA es más productivo que simplemente redactar más personas.

Significado y Afirmaciones

El artículo afirma que PersonaTeaming avanza el campo de la seguridad de la IA al:

Cerrar la Brecha: Ofrece un punto medio entre el red-teaming completamente manual y completamente automatizado, aprovechando la escalabilidad de la IA mientras retiene la comprensión contextual y las perspectivas diversas de las identidades humanas.
Mejorar el Descubrimiento: Al incorporar personas, el método descubre un espectro más amplio de estrategias adversarias, incluidas aquellas arraigadas en experiencias vividas específicas o experiencia profesional que los algoritmos de mutación genéricos pasan por alto.
Colaboración Humano-IA: El trabajo proporciona ideas de diseño para la futura colaboración humano-IA, destacando específicamente que las sugerencias de la IA son más valiosas cuando sirven como estímulos para la creatividad humana ("provocaciones") en lugar de instrucciones directas.
Utilidad Práctica: Los autores postulan que, aunque las personas automatizadas no pueden reemplazar completamente el juicio humano, sirven como un punto de partida valioso para una mutación posterior y una alternativa de bajo costo para la exploración inicial, particularmente cuando los recursos humanos están limitados.

Los autores mantienen una postura modesta en sus afirmaciones, reconociendo que las personas automatizadas son aproximaciones de la experiencia humana real y a veces pueden ser estereotipadas. Enfatizan que el verdadero valor reside en el flujo de trabajo colaborativo donde los humanos refinan y dirigen estos procesos automatizados.