Resumen Técnico: TERMS-BENCH

Planteamiento del Problema

La negociación sirve como un mecanismo central para el intercambio económico y como un banco de pruebas canónico para agentes de modelos de lenguaje (LLM), lo que requiere una interacción multiturno bajo preferencias ocultas, comunicación estratégica y restricciones vinculantes. Sin embargo, evaluar los agentes de negociación de LLM presenta un desafío metodológico único: a diferencia de las matemáticas o el código, la negociación carece de un verificador intrínseco. Los paradigios de evaluación existentes dependen de interacciones LLM contra LLM o métricas de resultados agregados como la tasa de acuerdos. Este enfoque sufre de dos límites estructurales:

1. Opacidad de Atribución: Debido a que la contraparte es una política de caja negra con preferencias latentes no especificadas, los resultados confunden la competencia del agente con la variabilidad de la contraparte, lo que impide la atribución de fallos a errores de razonamiento específicos.
2. Pérdida de Granularidad Diagnóstica: Incluso las métricas validadas por preferencia humana o puntuaciones de múltiples componentes colapsan el rendimiento en clasificaciones escalares, ocultando dónde en el flujo de trabajo de negociación un agente tiene éxito o falla (por ejemplo, inferencia frente a control).

Consecuentemente, los benchmarks actuales no logran diagnosticar si el fallo de un agente proviene de un razonamiento inestable, la sensibilidad al prompt o la variabilidad conductual latente, dejando los fallos opacos para los profesionales.

Metodología: TERMS-BENCH

Los autores introducen TERMS-BENCH (Testbed for Economic Reasoning in Multi-turn Strategy), un marco que construye el propio entorno como el verificador. En lugar de usar otro LLM como juez, TERMS-BENCH especifica explícitamente el tipo latente, la política y la estructura de pagos de la contraparte, haciendo que el entorno sea observable para el evaluador pero permanezca oculto para el agente.

1. Formulación del Marco

TERMS-BENCH modela la negociación como un juego bayesiano de información incompleta y forma extensa:

• Entorno ($\Gamma$): Definido por un conjunto de resultados factibles, espacios de tipos privados para el agente ($T_A$) y la contraparte ($T_B$), funciones de utilidad y una distribución previa sobre tipos latentes ($\mu$). Un tipo $t_i$ codifica un valor de reserva ($r_i$), una opción externa ($e_i$), urgencia ($\kappa_i$) y una postura estratégica ($\eta_i$).
• Protocolo ($P$): Fija el orden de los movimientos, el espacio de acciones (actos económicos emparejados con lenguaje natural), las reglas de revelación de información y las condiciones de terminación.
• Política del Agente ($\pi$): Mapea estados de información (historial, contexto privado, creencias) a acciones.

2. Instanciación: Negociación de Precios Bilateral

El artículo instancia este marco en un entorno de negociación de precios bilateral donde un agente negocia un precio escalar con una contraparte impulsada por un simulador.

• La Contraparte como Instrumento de Diagnóstico: La contraparte está gobernada por un núcleo estocástico fijo $\pi_B$ parametrizado por un tipo latente muestreado $t_B$. El agente debe inferir $t_B$ a partir de los precios y mensajes observados.
• Familias de Contrapartes: Para aislar capacidades específicas, los autores definen seis familias de comportamiento de contraparte que varían a lo largo de dos ejes:
  • Reactividad Económica: Cuánto depende el comportamiento de las ofertas recientes del agente frente al tipo latente (por ejemplo, Tipo-Instrumental frente a Alta-Reactividad).
  • Fiabilidad de las Señales (Cues): Si las señales lingüísticas (sentimiento, postura) reflejan con precisión la postura latente (por ejemplo, Precisa, Informativa, Ruidosa o Presionante).
  • Las familias principales son Candid, Taciturna, Expresiva y Estratégica, con pruebas de estrés Estocástica y Adversaria.

3. Métricas de Evaluación y Atribución

TERMS-BENCH va más allá de la tasa de acuerdos hacia un marco de diagnóstico de múltiples ejes:

• Valor Terminal: Eficiencia del excedente ($SE^+_\pi$), normalizada por la Zona de Posible Acuerdo (ZOPA).
• Calibración de Acuerdos: Tasas de acuerdo en episodios factibles ($AGR^+_\pi$) y acuerdos falsos en episodios infactibles ($FAGR^-_\pi$).
• Modelado del Oponente: Error de creencia respecto al valor de reserva, urgencia y postura.
• Cumplimiento del Protocolo: Tasas de violaciones críticas (límites de precio, racionalidad individual).

Intervenciones de Oráculo: Para atribuir los fallos, el marco compara el rendimiento del agente contra tres condiciones:

1. Base: El agente infiere el tipo desde cero.
2. Oráculo-Posterior: El agente recibe la distribución posterior bayesiana exacta del tipo de la contraparte.
3. Tipo-Revelado: El agente recibe el verdadero tipo latente.
4. Oráculo Basado en Modelo: Una política de referencia de programación dinámica ($\pi^*$) que es Bayes-óptima para el entorno especificado.

Esto permite la descomposición de la brecha de rendimiento en cuellos de botella de Inferencia ($\Delta_{inf}$), Incertidumbre ($\Delta_{unc}$) y Control ($\Delta_{ctrl}$).

Resultados Clave

Los autores evaluaron 13 agentes de frontera (incluyendo Claude Opus 4.6/4.7, GPT-5.5, Gemini 3.1 Pro, etc.) y tres líneas base de concesión fija a través de 1,800 episodios sembrados.

1. La Alta Tasa de Acuerdos Enmascara la Extracción de Valor: Mientras que la mayoría de los modelos de frontera logran tasas de acuerdo cercanas a la saturación ($>97\%$ en episodios factibles), divergen significamente en la extracción de excedente. Por ejemplo, Claude Opus 4.6 logró una eficiencia de excedente de 0.694, mientras que Doubao-Seed-2.0-Pro logró 0.522 a pesar de una mayor tasa de acuerdo (99.9%).
2. Fallo en el Uso de Señales (Cues): Los agentes extrajeron consistentemente menos excedente cuando las señales informativas estaban presentes en comparación con cuando estaban atenuadas ($\alpha_{cue} < 0$). Esto sugiere que los agentes pueden ceder en exceso ante señales "cálidas" o exhibir un comportamiento frágil bajo señales de "presión", fallando en desacoplar las señales lingüísticas de la estrategia económica.
3. Brecha Información-Acción: Los modelos de frontera fallaron en convertir la inferencia del tipo latente en excedente.
   • Inyección de Posterior: Proporcionar la distribución posterior bayesiana exacta a los agentes produjo retornos débiles o inconsistentes, cerrando solo ~1% de la brecha para los modelos top.
   • Calibración de Creencias: Los errores de creencia no mejoraron con el tiempo; en algunos casos, aumentaron, siendo la inferencia de la postura la fuente dominante de error.
   • Penalización de Inferencia: Los agentes a menudo se desempeñaron peor en familias donde la inferencia del tipo latente era económicamente instrumental en comparación con las familias de alta reactividad.
4. Cuellos de Botella Distintos vía Descomposición de Oráculo:
   • GPT-4o-mini estaba principalmente limitado por el control (98% de la brecha), luchando para actuar sobre la información revelada.
   • Claude Opus 4.7 y Grok 4.20 estaban limitados por la incertidumbre, con grandes brechas persistentes incluso tras la revelación del tipo.
   • Claude Opus 4.6 mostró un perfil mixto entre inferencia, incertidumbre y control.
5. Huellas Digitales de Negociación Estables: Los agentes exhibieron tipologías de comportamiento estables (por ejemplo, "anclar y mantener", "medio/equilibrado") y perfiles de autocontrol (tasas de violación de IR frente a disciplina de salida) que fueron consistentes a través de las familias de contrapartes, sugiriendo que estas son propiedades intrínsecas del modelo y no artefactos del entorno.
6. Validación Basada en Datos: Cuando se probó en una variante basada en datos usando estadísticas de catálogos de Amazon, el orden de clasificación de los agentes se preservó en gran medida (Spearman $\rho=0.90$), pero el efecto de "multiplicador de dificultad" amplificó la brecha de rendimiento entre modelos fuertes y débiles. Los modelos más fuertes aprovecharon eficazmente los anclajes de productos públicos, mientras que los más débiles tuvieron dificultades con rangos de precios más amplios.
7. Impacto Comercial: En una simulación de "Modo de Tesorería" (Bankroll Mode) encadenando múltiples episodios, los pequeños errores por período se compusieron en fallos de solvencia significativos. La brecha de saldo terminal entre el LLM más fuerte y el más débil fue de ~21x, superando ampliamente la brecha de ~14x en la eficiencia de excedente de un solo episodio.

Significancia y Reivindicaciones

El artículo afirma que TERMS-BENCH redefine la evaluación de la negociación de un ejercicio de clasificación de caja negra a una herramienta de diagnóstico atribuible al agente. Al hacer del entorno el verificador, permite:

• Diagnóstico Escalable y Libre de Anotación Humana: Identificar modos de fallo específicos (inferencia, incertidumbre, control) sin depender de jueces humanos subjetivos.
• Desenmascarar Fallos Ocultos: Revelar que las altas tasas de acuerdo a menudo enmascaran deficiencias críticas en la extracción de excedente, la sensibilidad a las señales y el autocontrol.
• Información Accionable para Profesionales: Proporcionar una base controlada para mostrar dónde fallan los agentes y qué fortalecer (por ejemplo, mejorar la calibración de creencias frente al control estratégico).

Los autores posicionan este trabajo como un paso necesario hacia agentes de negociación desplegables, señalando que aunque la instanciación actual se centra en la negociación de precios bilateral, el marco es generalizable a entornos de múltiples partes y múltiples productos. Reconocen que los estudios humanos y los entornos de múltiples temas más ricos siguen siendo pasos importantes para validar la transferencia más allá del alcance actual.