Resumen Técnico: ¿Son los LLM negociadores eficaces?

Planteamiento del problema

Una negociación exitosa es un proceso cognitivo complejo que requiere una síntesis de comprensión conversacional, capacidades de Teoría de la Mente (ToM) para inferir los motivos de la contraparte, razonamiento estratégico y una comunicación efectiva. Aunque los Modelos de Lenguaje de Gran Escala (LLM) han demostrado un rendimiento notable en diversas tareas de PLN, sus capacidades específicas dentro del dominio de la negociación automatizada permanecen inexploradas. La investigación previa que utiliza LLM como agentes de negociación carece de una evaluación sistemática de las diversas habilidades requeridas para una negociación eficaz. Esta brecha dificulta el desarrollo de agentes de negociación avanzados y limita la aplicación de los LLM en el diseño de sistemas de diálogo, la provisión de retroalimentación pedagógica y la escala de las prácticas de recolección de datos.

Metodología

Los autores proponen un marco integral para analizar sistemáticamente las capacidades multifacéticas de los LLM a través de 35 tareas distintas derivadas de cuatro conjuntos de datos de negociación humano-humano (CRA, DND, CA y JI). Estos conjuntos de datos se basan en el marco de la Tarea de Negociación de Múltiples Temas (MIBT, por sus siglas en inglés), donde los agentes negocian para dividir cantidades fijas de artículos para maximizar el valor total basado en preferencias predefinidas.

El marco de evaluación categoriza las tareas a lo largo de tres ejes:

1. Objetividad: Distinguir entre tareas objetivas (basadas en hechos, p. ej., conteo de artículos, detalles del acuerdo) y tareas subjetivas (que involucran la percepción humana, p. ej., satisfacción, simpatía).
2. Etapa temporal: Evaluar las capacidades en el Inicio (solo contexto), Durante (diálogo parcial) y Final (diálogo completo) de una negociación.
3. Tipo de tarea:
   • Comprensión: Entender el contexto, los resultados y las prioridades.
   • Anotación: Identificar actos de diálogo y estrategias lingüísticas.
   • Modelado de la contraparte: Inferir las prioridades y los estados subjetivos de la contraparte (ToM).
   • Generación: Producir respuestas contextualmente apropiadas y estratégicamente ventajosas.

El estudio evalúa una gama de modelos propietarios (GPT-3.5, GPT-4) y de código abierto (Mistral-7B, Wizard-13B, Vicuna-13B/33B) utilizando prompting de disparo cero (zero-shot). Los modelos de referencia incluyen un modelo de votación de etiqueta mayoritaria y un modelo Flan-T5 (base) ajustado específicamente para la tarea. Las métricas de evaluación incluyen Exactitud, Macro-F1, Coeficiente de Correlación de Pearson (PCC) para tareas subjetivas, y BLEU/ROUGE/BERTScore junto con calificaciones de expertos humanos para Coherencia y Estrategia en las tareas de generación.

Contribuciones clave

1. Metodología de evaluación novedosa: El artículo introduce una metodología estructurada para descomponer la negociación en 35 tareas específicas, permitiendo un análisis granular de las capacidades de los LLM más allá del rendimiento de extremo a extremo.
2. Evaluación sistemática de disparo cero: Los autores evalúan las capacidades de los LLM fuera de la caja en diversos escenarios, revelando que GPT-4 a menudo supera incluso a los modelos de referencia ajustados (Flan-T5) en entornos de disparo cero.
3. Comparación Humano-LLM: A través de la anotación de expertos humanos, el estudio compara la generación de los modelos con las referencias humanas, identificando áreas específicas de paridad y de fallo.
4. Análisis de la estrategia de prompting: El trabajo investiga la eficacia del prompting de Cadena de Pensamiento (CoT) y de pocos disparos (few-shot), así como el impacto de variar el número de enunciados observados en el rendimiento del modelo.

Resultados

Comprensión y Modelado de la Contraparte

• Tareas Objetivas: GPT-4 demuestra un rendimiento superior en tareas de comprensión, particularmente en la etapa de Inicio (81.7% de exactitud) y la etapa de Final (65.3% de exactitud), superando tanto a los modelos de código abierto como al modelo de referencia ajustado Flan-T5.
• Tareas Subjetivas: Todos los modelos, incluido GPT-4, muestran una baja correlación con los juicios humanos respecto a las evaluaciones subjetivas (satisfacción y simpatía). El PCC de GPT-4 para las calificaciones de satisfacción es solo de 0.3, y frecuentemente clasifica erróneamente los resultados de los acuerdos en direcciones opuestas a la percepción humana.
• Modelado de la Contraparte: GPT-4 exhibe fuertes capacidades de ToM al inferir las prioridades de la contraparte (objetivo), pero tiene dificultades para capturar el grado de positividad o negatividad en los estados subjetivos de la contraparte.

Anotación y Generación

• Anotación: GPT-3.5 y GPT-4 superan al Flan-T5 ajustado para la tarea en la anotación de actos de diálogo (Macro-F1 de 62.4% y 52.5% respectivamente), aunque el rendimiento disminuye en la detección de estrategias debido a la sutileza de las estrategias lingüísticas.
• Generación:
  • Métricas Automáticas: El modelo Flan-T5 ajustado logra puntuaciones de BLEU y ROUGE más altas debido al entrenamiento específico del conjunto de datos, pero los modelos GPT muestran una mejor similitud semántica (BERTScore) en conjuntos de datos diversos.
  • Evaluación Humana: GPT-4 alcanza puntuaciones de Coherencia comparables a las referencias humanas. Sin embargo, en términos de Estrategia, todos los modelos rinden significativamente por debajo de los humanos. Los modelos tienen dificultades para generar respuestas que sean estratégicamente ventajosas, fallando a menudo al incorporar información compartida o al adherirse a sus propias prioridades.

Prompting y Robustez

• Prompting de CoT: Aplicar el prompting de Cadena de Pensamiento (CoT) a GPT-4 mejora significativamente el rendimiento en tareas de razonamiento aritmético de múltiples saltos (p. ej., calcular el total de puntos del trato), alcanzando una exactitud cercana al 100%.
• Equilibrio de Predicción: GPT-4 demuestra una robustez y un equilibrio de predicción superiores (baja divergencia KL) en comparación con otros modelos, particularmente en escenarios de tareas desbalanceadas.
• Sensibilidad al Contexto: Aumentar el número de enunciados vistos por el modelo mejora el modelado de la contraparte (inferir a otros) pero degrada la comprensión del propio contexto del agente, lo que sugiere un sesgo de recencia.

Significancia y Afirmaciones

El artículo concluye que, si bien los LLM, particularmente GPT-4, poseen las capacidades fundamentales para asistir en la investigación de la negociación —como el diseño de sistemas de diálogo, la provisión de retroalimentación pedagógica y la automatización de las prácticas de recolección de datos—, aún no son plenamente efectivos como agentes estratégicos autónomos.

• Utilidad Actual: Los LLM son efectivos para tareas que requieren la comprensión del contexto y los hechos objetivos. Pueden servir como herramientas eficientes para anotar actos de diálogo y estrategias, potenciando potencialmente la escala de las prácticas de recolección de datos.
• Limitaciones: Persisten brechas significativas en el razonamiento estratégico y en la capacidad de capturar estados humanos subjetivos. Los modelos tienden a ser excesivamente complacientes, fallan al utilizar la información compartida de manera estratégica y tienen dificultades con la coherencia en interacciones complejas de múltiples turnos.
• Direcciones Futuras: Los autores sugieren que el trabajo futuro debería centrarse en combinar los LLM con políticas de Aprendizaje por Refuerzo (RL) para controlar el comportamiento estratégico y la personalidad. Además, es necesario mejorar el manejo de contextos largos y desarrollar enfoques de razonamiento estructurado (dividir la generación en subobjetivos) para avanzar en los agentes de negociación de IA.

El estudio enfatiza que, aunque los modelos propietarios como GPT-4 muestran potencial, los modelos de código abierto más pequeños actualmente rinden de forma comparable a bases triviales en tareas clave de negociación, lo que resalta la necesidad de un mayor desarrollo en las arquitecturas de código abierto para este dominio.