Resumen Técnico: Más Allá de los Simuladores Cooperativos (Políticas de Persona)

Declaración del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) se despliegan cada vez más en entornos que requieren interacción con diversos usuarios humanos. Sin embargo, las actuales métricas de evaluación dependen en gran medida de simuladores de usuarios basados en LLM que adolecen de una brecha crítica "Sim2Real": son inherentemente cooperativos, consistentes y excesivamente prolijos con la información. Los usuarios reales, por el contrario, exhiben comportamientos impredecibles como impaciencia, escepticismo, ambigüedad y reticencia a compartir datos. Esta homogeneidad conductual conduce a agentes que parecen robustos en simulación pero fracasan cuando se enfrentan a la fricción de la comunicación del mundo real. Los métodos existentes para introducir diversidad a menudo dependen de perfiles creados manualmente o de muestreo de rasgos fijos, los cuales no logran capturar la distribución compleja y fundamentada en la tarea de los comportamientos humanos reales.

Metodología: Políticas de Persona (PPol)

Los autores introducen las Políticas de Persona (PPol), una capa de control plug-and-play diseñada para inducir variación conductual realista en simuladores de usuarios sin alterar las tareas o recompensas subyacentes de las métricas de evaluación. La innovación central consiste en enmarcar la generación de perfiles como una búsqueda evolutiva de programas en lugar de una ingeniería de prompts manual.

1. El Generador Evolutivo

El sistema utiliza un programa en Python, $G$, como genotipo. Este programa es responsable de generar una población de $N$ políticas de persona para un contexto de tarea dado $c_t$. El proceso de generación ocurre en dos fases:

• Generación de Población: Un LLM de vanguardia propone conjuntamente $N$ perfiles conductuales distintos, asignando valores binarios a un conjunto de Ejes Conductuales ($D$). Estos ejes representan dimensiones conductuales específicas (por ejemplo, "terco", "distraído", "impreciso").
• Expansión de la Persona: Cada perfil se expande en una instrucción detallada de juego de roles que preserva la tarea (la política $P_\pi$) y dicta cómo se comunica el usuario (tono, ritmo, revelación), manteniendo al mismo tiempo los objetivos originales de la tarea.

2. Optimización Multiobjetivo

El generador se optimiza utilizando OpenEvolve, un agente de codificación evolutiva. Los generadores candidatos se evalúan basándose en dos objetivos principales derivados de huellas dactilares conductuales (19 características léxicas y de nivel de interacción):

• Similitud Humana ($P_{human}$): Medida por un discriminador Random Forest entrenado que clasifica si una trayectoria se asemeja a datos humanos reales o a datos de simuladores predeterminados.
• Cobertura Conductual ($B_{cover}$): Medida utilizando la distancia de Chamfer entre la distribución de huellas dactilares de las personas generadas y una nube de referencia de diálogos humanos reales. Esto asegura que la población abarque diversas regiones del comportamiento humano en lugar de converger a un único estilo estereotipado.

La puntuación de aptitud es una combinación ponderada de estas métricas: $M(G; T) = \lambda_h P_{human} + \lambda_b B_{cover}$.

3. Mutación Guiada por Reflexión

Para guiar la búsqueda evolutiva, el sistema emplea un mecanismo de reflexión. Un modelo separado analiza las puntuaciones de aptitud y fragmentos de diálogo de las trayectorias mejores y peores para generar críticas en lenguaje natural. Estas reflexiones identifican modos de fallo específicos (por ejemplo, "excesivamente cooperativo", "juego de roles antinatural") y se retroalimentan al agente de mutación para refinar el código del generador, los prompts y las definiciones de los ejes.

Contribuciones Clave

1. Capa de Control Plug-and-Play: PPol inyecta diversidad conductual realista en simuladores de usuarios estándar mediante la adición dinámica de políticas al prompt del sistema, preservando la integridad de las tareas de las métricas de evaluación existentes.
2. Marco Evolutivo Automatizado: El artículo formula la generación de perfiles como un problema de búsqueda automatizada, descubriendo comportamientos diversos y similares a los humanos sin intervención manual, superando el muestreo de perfiles estáticos.
3. Validación de Extremo a Extremo: El marco se valida para reducir la brecha simulador-humano, producir personas indistinguibles de los humanos en evaluaciones a ciegas y mejorar significativamente la robustez del agente cuando se utiliza para el entrenamiento.

Resultados

Los autores evaluaron PPol en los dominios de retail y aerolíneas del $\tau^2$-bench utilizando tres backends diferentes de simuladores de usuarios (DeepSeek-V3.1, Qwen3-Next-80B, GPT-5.4-Mini).

• Mejoras en Aptitud: Los programas PPol evolucionados lograron ganancias absolutas del 33–62% en la puntuación de aptitud combinada sobre los simuladores de línea base.
• Evaluación Humana: En un estudio a ciegas con anotadores humanos, los usuarios condicionados con PPol fueron calificados como humanos el 80.4% de las veces, igualando casi a las trazas humanas reales (95.3%) y superando significativamente a los simuladores de línea base (46.5%).
• Alineación Conductual: PPol mejoró drásticamente la alineación en dimensiones interaccionales como el comportamiento de aclaración (D3) y la reacción al error (D4), donde los simuladores de línea base fallaban previamente. Por ejemplo, en el dominio de Retail con Qwen3, la alineación en la reacción al error se triplicó, pasando del 23.3% al 76.4%.
• Robustez del Agente: Los agentes ajustados finamente en interacciones generadas por PPol mostraron una mejora relativa del +17% en las tasas de éxito de la tarea cuando se probaron contra rasgos de usuarios desafiantes y fuera de distribución (por ejemplo, escépticos, incoherentes, impacientes) en comparación con agentes entrenados solo en interacciones simuladas predeterminadas.

Significado y Afirmaciones

El artículo afirma que PPol ofrece un enfoque novedoso para fortalecer la evaluación y el entrenamiento basados en simuladores sin requerir cambios en las tareas subyacentes o en las estructuras de recompensa. Al pasar de rasgos creados manualmente a una búsqueda evolutiva fundamentada en distribuciones reales de comportamiento humano, el marco aborda el sesgo del "simulador cooperativo" que actualmente plaga la evaluación de agentes. Los autores postulan que, a medida que los agentes transicionan a despliegues sociales complejos, alinear los simuladores de usuarios con el espectro completo de patrones de interacción humana es esencial para garantizar que los resultados de las métricas de evaluación sigan siendo un proxy significativo de la realidad. El trabajo demuestra que la aleatorización de dominios mediante perfiles evolucionados puede servir como una señal poderosa para entrenar agentes a ser más robustos ante la imprevisibilidad de los usuarios del mundo real.