Resumen Técnico: EmoDistill

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) post-entrenados suelen optimizarse mediante Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y Optimización Directa de Preferencias (DPO) para ser seguros, corteses y acomodaticios. Aunque efectivos para la asistencia general, esta alineación crea una vulnerabilidad estratégica en la negociación adversarial. En tales contextos, el lenguaje enmarcado emocionalmente puede desviar inadvertidamente a los agentes hacia la concesión de valor a los intereses de la contraparte.

Los enfoques actuales para la negociación consciente de las emociones enfrentan dos limitaciones principales:

1. Costos de Aprendizaje en Línea: Los métodos que dependen del aprendizaje por refuerzo en línea (por ejemplo, PPO) son computacionalmente costosos e inestables para interacciones entre agentes de múltiples turnos, ya que requieren despliegues costosos de API y luchan con retroalimentación dispersa a nivel de trayectoria.
2. Estrategia y Expresión Desacopladas: Los métodos existentes a menudo tratan la selección de emociones como una variable de decisión, pero dejan el generador de enunciados fijo. En consecuencia, una emoción seleccionada (por ejemplo, "ira") puede realizarse aún a través de cortesía vaga o concesión prematura, porque el modelo carece de la habilidad específica para expresar esa emoción estratégicamente dentro del contexto de negociación.

El desafío central es aprender habilidades de negociación emocional—vinculando estados de diálogo, posturas emocionales, enunciados concretos y retroalimentación de jueces en movimientos de negociación reutilizables—sin incurrir en el costo del entrenamiento en línea.

Metodología: EmoDistill

Los autores proponen EmoDistill, un marco fuera de línea que destila habilidades de negociación emocional a partir de trayectorias precalculadas de LLM-vs-LLM en un modelo de lenguaje más pequeño (SLM). El marco descompone el problema en dos componentes distintos: Selección de Emoción y Expresión Emocional.

1. Conjunto de Datos de Trayectorias Fuera de Línea y Diseño de Señales

El sistema comienza construyendo un conjunto de datos de $N=80$ escenarios $\times$ $M=100$ despliegues aleatorios de secuencias de emociones por dominio (totalizando 8.000 trayectorias). Cada trayectoria se anota con dos señales complementarias:

• Señal Objetiva ($R(\tau)$): Un retorno a nivel de trayectoria basado en la dinámica de negociación (por ejemplo, cerrar la brecha entre el ancla de la contraparte y el objetivo del agente focal) y el acuerdo terminal.
• Señal Subjetiva ($r_t$): Una puntuación densa por turno asignada por un juez LLM (Qwen3.5-Plus) que evalúa la calidad del enunciado focal basándose en el anclaje, la ventaja y la consistencia con la postura emocional.

2. Pipeline de Entrenamiento de Tres Etapas

EmoDistill utiliza estas señales en tres etapas para entrenar un SLM de 7B parámetros (Qwen2.5-7B-Instruct) con adaptadores LoRA:

• Etapa 1: Selección de Emoción (Q-Learning Implícito - IQL)

  • Objetivo: Aprender qué emoción expresar dado un estado de diálogo.
  • Mecanismo: Un selector IQL se entrena en el conjunto de datos fuera de línea utilizando el retorno de trayectoria objetivo $R(\tau)$ como recompensa. Aprende una política $\pi_\phi(e|s)$ para seleccionar la acción de emoción óptima $e$ de un vocabulario de 28 etiquetas de GoEmotions.
  • Salida: Un selector que identifica secuencias emocionales de alto valor (por ejemplo, transicionar del miedo a la ira) sin actualizar el generador de enunciados.

• Etapa 2: Inicialización de Expresión (LoRA-SFT)

  • Objetivo: Aprender cómo expresar la emoción seleccionada.
  • Mecanismo: El SLM se ajusta fino mediante Ajuste Fino Supervisado (SFT) utilizando un filtro híbrido. Las demostraciones se seleccionan basándose en una puntuación $q_t^{hyb} = r_t + \frac{1}{2}R(\tau)$, asegurando que el modelo imite turnos que son tanto localmente bien formados (alta puntuación del juez) como globalmente productivos (alto retorno de trayectoria).
  • Salida: Un adaptador LoRA inicializado para generar enunciados concretos y estratégicos condicionados al estado y a la emoción seleccionada.

• Etapa 3: Refinamiento de Expresión (Optimización de Política de Juez - JPO)

  • Objetivo: Refinar la política de expresión utilizando retroalimentación densa.
  • Mecanismo: JPO aplica un objetivo sustituto de PPO recortado fuera de línea. Utiliza la ventaja por turno del juez ($A_t$) para actualizar la política. Crucialmente, JPO emplea un mecanismo de ventaja asimétrica donde las muestras de ventaja negativa se ponderan hacia abajo por un factor $\kappa$. Esto permite que el modelo aprenda qué expresiones emocionales específicas mejoran la trayectoria de negociación, preservando al mismo tiempo el prior de "cierre de trato" establecido durante el SFT.
  • Salida: Una política refinada que optimiza la redacción específica de las expresiones emocionales para maximizar la utilidad.

Contribuciones Clave

1. Marco EmoDistill: La introducción de un pipeline fuera de línea que destila estrategias de cambio y expresión emocional a nivel de LLM en un SLM más pequeño de 7B, permitiendo negociación de alto rendimiento sin despliegues de API en vivo.
2. Desacoplamiento de Selección y Expresión: Evidencia empírica que demuestra que optimizar cómo un agente expresa una emoción seleccionada (mediante LoRA-SFT y JPO) es distinto y complementario a elegir la emoción (mediante IQL). El pipeline completo supera a las líneas base que solo seleccionan emociones o solo utilizan generadores fijos.
3. Optimización de Política de Juez (JPO): Un método de refinamiento novedoso que aprovecha ventajas densas a nivel de turno de jueces LLM para mejorar la expresión emocional. A diferencia de los métodos a nivel de secuencia, JPO permite una asignación de crédito fina, distinguiendo entre expresiones de alta y baja calidad dentro de la misma trayectoria de negociación.

Resultados Experimentales

El marco se evaluó en cuatro dominios de negociación de alto riesgo: Recuperación de Crédito (CRAD), Rescate en Desastres, Programación de Cirugías Hospitalarias y Programación del Sueño Estudiantil.

• Rendimiento: La política completa de EmoDistill (IQL+SFT+JPO) logró la mayor Utilidad (tasa de éxito ponderada por la calidad del trato) en tres de los cuatro dominios, superando a las líneas base de LLM/SLM vanillas, la promoción de emociones aleatorias y las líneas base solo IQL.
• Estudios de Ablación:
  • Análisis de Componentes: Eliminar ya sea el selector de emociones (IQL) o el refinamiento de expresión (JPO) degradó significativamente el rendimiento, confirmando la necesidad de ambos componentes.
  • Análisis de Señales: El SFT se benefició más de los filtros de calidad híbridos (seleccionando buenas demostraciones), mientras que JPO se benefició más de las ventajas densas a nivel de turno de los jueces.
  • Ablación Libre de Emociones: Eliminar el canal de condicionamiento de emociones explícito resultó en menor fiabilidad y utilidad, sugiriendo que la estrategia emocional no se internaliza completamente sin una interfaz de control explícita.
• Transferencia: Las habilidades destiladas mostraron transferencia parcial entre dominios y contrapartes no vistas (por ejemplo, DeepSeek-V3, GPT-4o-mini). Si bien las tasas de éxito se transfirieron bien, la extracción de valor (Utilidad) permaneció sensible a las geometrías de negociación específicas del dominio.
• Control de Riesgos: El parámetro $\kappa$ en JPO permitió ajustar la compensación entre el éxito del acuerdo y el valor por trato, con $\kappa=0.5$ ofreciendo un equilibrio óptimo en el dominio CRAD.

Significado y Afirmaciones

El artículo afirma que la emoción en la negociación debe tratarse como una interfaz de negociación controlable, no meramente como un estilo de generación. Al separar la selección de una postura emocional de la generación del enunciado, EmoDistill permite que modelos más pequeños aprendan comportamientos de negociación efectivos y estratégicos que son robustos contra el "sesgo de cortesía" de los LLM estándar.

Los autores enfatizan que su enfoque:

• Evita Costos en Línea: Al depender enteramente de datos fuera de línea de interacciones pre-juzgadas entre LLM-vs-LLM, evita los costos prohibitivos y la inestabilidad del RL en línea en entornos multiagente.
• Proporciona Control Defensivo: Modelar la influencia emocional como una habilidad aprendible permite a los agentes resistir el enmarcado emocional manipulador de las contrapartes, preservando los objetivos del usuario en entornos adversariales.
• Ofrece una Habilidad Modular: El marco trata la negociación emocional como una habilidad reutilizable que puede destilarse, transferirse y refinarse, avanzando más allá de la ingeniería de prompts estática.

Los autores mantienen modestia respecto a las limitaciones, señalando que el marco depende de trayectorias fijas fuera de línea (arriesgando un cambio de distribución), requiere un canal de emoción explícito para un rendimiento óptimo y aún no ha sido validado en interacciones humano-agente. Posicionan el trabajo como un paso hacia agentes autónomos más robustos y estratégicos en entornos de alto riesgo.