SPASM: Stable Persona-driven Agent Simulation for Multi-turn Dialogue Generation

Resumen Técnico: SPASM

1. El Problema: Inestabilidad en la Simulación de Diálogos Multi-turno

Los Grandes Modelos de Lenguaje (LLM) se utilizan cada vez más para generar datos sintéticos de diálogos multi-turno (para entrenamiento, evaluación y simulación de escenarios como tutoría o consejería). Sin embargo, los marcos de trabajo actuales (donde dos LLM interactúan entre sí) sufren de una inestabilidad crítica a largo plazo:

• Deriva de la Persona (Persona Drift): Los agentes gradualmente se desvían de sus roles, objetivos o rasgos de personalidad asignados a medida que avanza la conversación.
• Confusión de Roles y "Eco" (Echoing): Un agente comienza a imitar el lenguaje, la postura o los objetivos de su compañero, perdiendo su identidad única. Esto es particularmente común cuando los agentes comparten el mismo historial de diálogo sin una proyección de perspectiva adecuada.
• Consecuencias: Estas fallas contaminan los corpus sintéticos, debilitando la calidad de los datos para el entrenamiento y la evaluación de modelos, ya que los diálogos generados ya no corresponden a las especificaciones intencionadas.

2. Metodología: El Marco SPASM

Los autores proponen SPASM (Stable Persona-driven Agent Simulation for Multi-turn dialogue generation), un marco modular diseñado con un enfoque de "estabilidad primero". El sistema se compone de tres etapas principales:

1. Generación de Personalidades (Persona Generation):

   • Muestreo de Esquema: Se crean perfiles iniciales muestreando atributos demográficos, contexto de interacción, estado emocional y patrones de comportamiento.
   • Validador de Personalidad: Un módulo que verifica la coherencia lógica y la plausibilidad del perfil (ej. evitar que un estudiante de 18 años consulte sobre pensiones de jubilación).
   • Creador de Personalidad (Persona Crafter): Convierte los campos validados en una descripción natural coherente que se utiliza como instrucción del sistema.

2. Simulación de Diálogo (Client–Responder):

   • Un agente Cliente actúa según la personalidad validada.
   • Un agente Respondedor interactúa con el cliente según un rol específico (ej. oyente, experto).
   • Detector de Terminación: Monitorea el diálogo para identificar puntos de cierre natural (gracias, despedidas) y detener la interacción de manera coherente.

3. Innovación Central: Proyección de Contexto Egocéntrico (ECP - Egocentric Context Projection)

   • Problema: La concatenación estática del historial de diálogo suele causar confusión porque el mismo mensaje tiene roles absolutos diferentes para cada agente (ej. "Usuario" vs. "Asistente").
   • Solución ECP:
     • Se almacena el historial global en una forma agnóstica a la perspectiva (solo quién dijo qué).
     • Antes de generar una respuesta, el historial se proyecta determinísticamente a la vista egocéntrica de cada agente.
     • Se utilizan etiquetas relativas: SELF (Yo) y PARTNER (Compañero).
     • Ejemplo: Para el Cliente, el mensaje del Respondedor se etiqueta como PARTNER; para el Respondedor, ese mismo mensaje se etiqueta como PARTNER (desde su perspectiva, el Cliente es el otro).
   • Objetivo: Eliminar la ambigüedad de roles y romper los bucles de retroalimentación que causan el "eco" y la deriva.

3. Contribuciones Clave

1. Marco SPASM: Un pipeline modular que integra validación de personalidad, generación de lenguaje natural y detección de terminación para la generación de datos controlada.
2. Proyección de Contexto Egocéntrico (ECP): Un mecanismo novedoso que demuestra que un cambio mínimo en la representación del historial (de absoluto a relativo) reduce drásticamente la confusión de roles y la deriva de personalidad sin modificar los pesos del modelo.
3. Dataset a Gran Escala: Construcción y análisis de un dataset masivo con 4,500 personalidades y 45,000 conversaciones generadas a través de 9 combinaciones de modelos (GPT-4o-mini, DeepSeek-V3.2, Qwen-Plus).

4. Resultados y Análisis

Los experimentos se realizaron comparando el método ECP contra la concatenación estándar (CONCAT) y validando con humanos.

• Reducción de la Deriva de Personalidad:
  • ECP reduce significativamente la deriva en dimensiones como preocupaciones, emociones y motivación.
  • En la configuración GPT-4o-mini, la deriva emocional disminuyó con un tamaño de efecto de Cohen's d = -0.75.
• Eliminación del "Eco" (Echoing):
  • Validación Humana: Bajo el método ECP, no se observaron casos de eco en la validación humana, mientras que el método CONCAT mostró tasas de eco sustanciales (hasta un 24% en ciertas configuraciones).
  • Esto confirma que ECP elimina la falla de identidad donde un agente imita al otro.
• Geometría de Interacción:
  • Los análisis de incrustaciones (embeddings) muestran que las interacciones entre modelos del mismo "backbone" (ej. GPT-GPT) producen clusters de personalidad más compactos y separables.
  • El modelo Respondedor domina la geometría emergente del espacio de interacción; cambiar el modelo del Respondedor afecta más la estructura del diálogo que cambiar el del Cliente.
• Recuperación de Personalidad:
  • Las conversaciones generadas bajo la misma personalidad son semánticamente más similares entre sí que con otras, permitiendo una recuperación precisa (Acc@K > 0.90 en configuraciones óptimas) en el espacio de incrustaciones.

5. Significado e Impacto

• Infraestructura de Datos: SPASM establece un nuevo estándar para la generación de datos sintéticos de diálogos, tratando la estabilidad de la identidad como un objetivo de primer nivel, no como un subproducto.
• Eficiencia: Propone una solución ligera (ECP) que no requiere reentrenamiento ni ajuste fino (fine-tuning) de los modelos, sino solo un cambio en la ingeniería de prompts y la gestión del contexto.
• Aplicabilidad: Facilita la creación de datasets diversos y controlados para entrenar modelos más robustos, evaluar sesgos y riesgos de seguridad en contextos de interacción realistas (salud mental, educación, soporte).
• Liberación: El código y el dataset de 45k conversaciones están disponibles públicamente para fomentar la investigación en simulación de agentes estables.

En conclusión, el paper demuestra que la inestabilidad en los diálogos LLM-LLM no es inevitable; mediante una proyección de contexto egocéntrico adecuada, es posible mantener la coherencia de roles y la diversidad de interacciones a lo largo de conversaciones largas.