Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding

Resumen Técnico: Mejora de la Inteligencia Social en LLMs mediante Razonamiento Jerárquico y Recompensa de Utencia a Nivel de Objetivo

Planteamiento del Problema
Aunque los Modelos de Lenguaje Extensos (LLMs) sobresalen en tareas estáticas basadas en reglas, tienen dificultades con las interacciones sociales dinámicas, particularmente en negociaciones multi-agente que requieren coordinación de objetivos a largo plazo y adaptación rápida. Los métodos de optimización actuales suelen aplicar recompensas basadas en objetivos de manera uniforme a cada utencia, lo que pasa por alto la especificidad de los objetivos en cada turno de diálogo y no logra dar cuenta de la lógica detrás de las posibles estrategias. Este enfoque corre el riesgo de entrenar a los agentes para identificar "utencias de atajo" que maximizan las métricas de éxito sin aprender genuinamente la inferencia social y la planificación estratégica propias de los humanos. Además, los métodos jerárquicos existentes suelen centrarse en la optimización del nivel de estrategia, descuidando la estabilidad y la coherencia de la ejecución a nivel de utencia.

Metodología
Los autores proponen el marco Think-Strategy-Response (TSR), fundamentado en la Teoría del Comportamiento Planificado (TPB), para descomponer el diálogo social en dos etapas jerárquicas:

1. Planificación Estratégica de Alto Nivel (Pensamiento y Estrategia): El modelo primero genera una fase de "Pensamiento" (especulación, inferencia, análisis) y una fase de "Estrategia" (intención conductual). Esta etapa traduce la evaluación cognitiva en un plan accionable, asegurando que la respuesta esté guiada por una estrategia específica y de alto nivel, en lugar de un objetivo genérico.
2. Ejecución Lingüística de Bajo Nivel (Respuesta): Basándose en la estrategia generada, el modelo produce la utencia real. Notablemente, el contenido del "Pensamiento" se excluye de la entrada de la segunda etapa para reducir la carga computacional y evitar que un razonamiento excesivo perjudique el rendimiento.

Para optimizar este marco, el artículo introduce el Aprendizaje por Refuerzo Jerárquico Linealizado con Recompensas con Compuerta de Varianza (LHRL-VGR). Este algoritmo emplea un novedoso mecanismo de enrutamiento de recompensas:

• Recompensa Compuesta para la Estrategia: El generador de estrategias se optimiza utilizando una recompensa compuesta que comprende Recompensas de Resultado Predicho (que estiman el progreso hacia el objetivo) y Recompensas de Completitud de Contenido (que evalúan la alineación con la guía conductual y los objetivos de la utencia).
• Recompensa con Compuerta de Varianza para la Respuesta: El generador de respuestas utiliza un enrutador de recompensas dinámico. Calcula la varianza de las puntuaciones de consecución de objetivos a través de múltiples muestras de respuesta.
  • Si la varianza supera un umbral ($\theta$), indicando incertidumbre en la consecución del objetivo, el sistema prioriza la Recompensa de Consecución de Objetivo ($r_{goal}$).
  • Si la varianza es baja (estable), el sistema prioriza la Recompensa de Seguimiento de Estrategia ($r_{follow}$), asegurando la adherencia a la estrategia planificada.
• Optimización de Política Relativa de Grupo (GRPO) de Dos Etapas: El proceso de entrenamiento optimiza conjuntamente ambas etapas utilizando un algoritmo de Optimización de Política Relativa de Grupo, calculando las ventajas para el contenido de la estrategia y las recompensas de consecución de objetivos transferidas, equilibrándolas mediante un hiperparámetro $\alpha$.

Contribuciones Clave

1. Marco TSR: Un paradigma jerárquico linealizado que separa explícitamente la planificación estratégica de la ejecución lingüística, permitiendo una generación de diálogo más racional e interpretable.
2. Algoritmo LHRL-VGR: Un algoritmo de entrenamiento novedoso que presenta un enrutador de recompensas con compuerta de varianza que asigna dinámicamente una recompensa de consecución de objetivo o de adherencia a la estrategia al generador de respuestas, mientras entrena conjuntamente ambos niveles de política mediante una recompensa estratégica compuesta.
3. Rendimiento de Vanguardia (State-of-the-Art): El método logra resultados superiores en el benchmark SOTOPIA, demostrando que un agente Qwen2.5-7B ajustado con LHRL-VGR supera la línea base de GPT-4o.

Resultados Experimentales
Los experimentos se realizaron en los benchmarks SOTOPIA y SOTOPIA-Hard, evaluando agentes en diálogos de múltiples turnos contra GPT-4o como compañero.

• Rendimiento: El agente Qwen2.5-7B ajustado con LHRL-VGR logró una mejora relativa del 7.32% en el éxito de consecución de objetivos sobre la línea base de GPT-4o en el benchmark SOTOPIA.
• Estudios de Ablación: Eliminar la recompensa de completitud de la estrategia o la recompensa de consecución de objetivos transferida provocó caídas significativas en el rendimiento, confirmando la necesidad de la optimización conjunta.
• Paradigma de Entrenamiento: El entrenamiento conjunto coordinado de ambas etapas superó al entrenamiento secuencial (Etapa 1 luego Etapa 2, o viceversa) y a los enfoques de RL de una sola etapa, particularmente en las métricas evaluadas por humanos para la calidad de la estrategia y la respuesta.
• Enrutamiento de Recompensas: El mecanismo de enrutamiento con compuerta de varianza superó significativamente a otras estrategias de enrutamiento basadas en modos de diálogo predefinidos o modos predichos por la estrategia.

Significancia y Reivindicaciones
El artículo afirma que el enfoque propuesto aborda dos desafíos centrales para mejorar la inteligencia social en los LLMs:

1. Inferencia Social Genuina: Al generar y optimizar explícitamente las estrategias, el método evita que los modelos aprendan utencias de atajo, fomentando en su lugar capacidades humanas como el razonamiento de intención y la planificación estratégica.
2. Adaptación Dinámica de Recompensas: El mecanismo de compuerta de varianza supera la limitación de aplicar recompensas basadas en objetivos de manera uniforme, permitiendo que el modelo se adapte a los distintos objetivos de diferentes utencias al equilibrar la consecución de objetivos con la adherencia a la estrategia.

Los autores concluyen que su método ofrece un camino prometedor hacia agentes basados en LLM más humanos e inteligentes en tareas complejas de negociación social, logrando un rendimiento de vanguardia mientras mantiene la interpretabilidad a través del marco estructurado TSR.