Reinforcing Human Behavior Simulation via Verbal Feedback

Resumen Técnico: Refuerzo de la Simulación del Comportamiento Humano mediante Retroalimentación Verbal

Enunciado del Problema
Los simuladores actuales de comportamiento humano basados en Modelos de Lenguaje de Gran Escala (LLM) sufren brechas sistemáticas "Sim2Real", mostrando salidas homogéneas, sesgos cognitivos desalineados y comportamientos sobrehumanos que se desvían de los usuarios reales. Una limitación principal radica en el paradigma de entrenamiento: los métodos estándar de Aprendizaje por Refuerzo (RL) (por ejemplo, RLHF, DPO, GRPO) comprimen toda la retroalimentación en recompensas escalares o preferencias binarias. Aunque efectivos en dominios con corrección verificable (por ejemplo, código, matemáticas), las recompensas escalares no capturan el matiz requerido para la simulación del comportamiento humano, que es subjetivo, multifacético y dependiente del contexto. Los humanos aprenden normas sociales no de puntuaciones, sino de retroalimentación verbal: explicaciones, correcciones y diálogos. Los enfoques existentes que intentan incorporar retroalimentación verbal a menudo dependen de ajuste fino supervisado (SFT) o reflexión en tiempo de inferencia, careciendo de la capacidad de exploración del RL o fallando en actualizar los pesos del modelo de manera efectiva a partir de la experiencia.

Metodología: DITTO
Los autores proponen DITTO, un modelo entrenado tratando la retroalimentación verbal como una señal de primera clase dentro de un marco de Aprendizaje por Refuerzo. La innovación central es un bucle de entrenamiento que genera mejoras condicionadas a la retroalimentación y las optimiza conjuntamente con la política base, permitiendo que el modelo internalice la guía sin requerir retroalimentación en tiempo de prueba.

El proceso de entrenamiento para un prompt dado $x$ procede de la siguiente manera:

1. Despliegue de Borrador: La política $\pi_\theta$ genera una respuesta inicial $y_0$.
2. Generación de Retroalimentación: Un juez LLM evalúa $y_0$, produciendo una recompensa escalar $r_0$ y retroalimentación verbal estructurada $h$ (incluyendo críticas y reflexiones sobre dimensiones como la verosimilitud, el mantenimiento de relaciones y el logro de objetivos).
3. Despliegue Refinado: La política genera una segunda respuesta $y_1$ condicionada al prompt y a la retroalimentación ($x, h$).
4. Optimización Conjunta: Tanto $y_0$ como $y_1$ se optimizan utilizando Optimización de Política Relativa por Grupos (GRPO).
   • Se calcula una ventaja relativa al grupo sobre el conjunto de despliegues originales y refinados.
   • Se aplica un objetivo estándar de GRPO recortado ($L_{group}$) al grupo conjunto para fomentar que la política base aprenda de las mejoras.
   • Se aplica un objetivo adicional ($L_{fb}$) específicamente a los despliegues condicionados a la retroalimentación para mejorar la capacidad del modelo de responder directamente a la retroalimentación.
   • La pérdida final es $L = L_{group} + L_{fb}$.

Crucialmente, la retroalimentación verbal $h$ se trata como información privilegiada: está disponible durante el entrenamiento para guiar la generación de $y_1$ y optimizar la política, pero no se requiere durante la inferencia. El objetivo es que la política base internalice el comportamiento del "profesor" (la $y_1$ mejorada) en su proceso de generación estándar.

Punto de Referencia SOUL
Para facilitar el entrenamiento y la evaluación, los autores introducen SOUL (Gimnasio de Simulación de Comportamiento Similar al Humano), un punto de referencia unificado y una suite de datos de entrenamiento. SOUL aborda el cuello de botella de la falta de datos de entrenamiento para la simulación humana al proporcionar divisiones de entrenamiento de RL curadas para 10 tareas en seis categorías:

• Teoría de la Mente: FanToM, HiToM, ToMi.
• Juego de Roles de Personaje: CoSER, LifeChoices.
• Habilidad Social: Sotopia.
• Simulación de Estudiante: Mistakes.
• Simulación de Usuario: MirrorBench, UserLLM.
• Simulación de Persona: TwinVoice.

La suite cubre formatos discriminativos (opción múltiple), generativos (diálogo abierto) y de interacción multi-turno/multi-agente.

Resultados Clave
Los experimentos se realizaron utilizando un modelo base Qwen3-8B.

• Rendimiento: DITTO logró una puntuación normalizada promedio de 0.726 en las tareas de SOUL, representando una mejora del 36% sobre el modelo base.
• Comparación con el Estado del Arte: DITTO superó al modelo cerrado de vanguardia GPT-5.4 en 6 de cada 10 puntos de referencia, incluidas las tres tareas de Teoría de la Mente y ambas tareas de Simulación de Usuario. También superó consistentemente a las líneas base especializadas en simulación humana (por ejemplo, Sotopia-RL, HER).
• Ablación: El mecanismo de retroalimentación verbal proporcionó ganancias consistentes sobre el GRPO estándar, observándose las mayores mejoras en tareas generativas y de múltiples turnos (por ejemplo, +14 puntos en TwinVoice, +11 en ToMi).
• Seguridad: El análisis mostró que la retroalimentación verbal ayudó a mitigar los riesgos de seguridad. Mientras que el GRPO estándar se degradó en las dimensiones de "guardar secretos" durante la optimización, DITTO preservó mejor la capacidad de guardar secretos, probablemente debido a la guía explícita proporcionada en la retroalimentación verbal.

Significado y Afirmaciones
El artículo afirma que ir más allá de las recompensas escalares hacia una retroalimentación verbal más rica es una dirección prometedora para entrenar simuladores más similares al ser humano. El significado del trabajo reside en tres contribuciones principales:

1. Retroalimentación Verbal como Señal: Demostrar que la retroalimentación verbal proporciona una guía accionable y específica por dimensión que mejora la velocidad de aprendizaje y reduce los riesgos de seguridad (como la fuga de secretos) en comparación con las recompensas escalares.
2. Arquitectura DITTO: Introducir un método que destila la retroalimentación verbal en la política base mediante despliegues condicionados a la retroalimentación, logrando ganancias de rendimiento significativas con un modelo de 8B que iguala o supera a modelos cerrados más grandes.
3. Punto de Referencia SOUL: Proporcionar el primer entorno unificado de entrenamiento y evaluación para el comportamiento similar al humano en diversos formatos de tareas, abordando la falta crítica de datos de entrenamiento en este dominio.

Los autores concluyen que su enfoque permite que la política base internalice una guía rica y accionable, sugiriendo que el RL con retroalimentación verbal es un camino viable para cerrar la brecha Sim2Real en la simulación del comportamiento humano.