Resumen Técnico: Destilación de Estados de Creencia Bayesiana en Modelos de Lenguaje para Negociación Auditable

Declaración del Problema

Los agentes de negociación requieren la capacidad de inferir los valores ocultos de un oponente, actualizar estas creencias a lo largo de los turnos de diálogo y seleccionar acciones bajo incertidumbre. Aunque los Modelos de Lenguaje de Gran Escala (LLM) de extremo a extremo pueden generar diálogos de negociación fluidos, sus representaciones internas de las creencias del oponente suelen ser implícitas y opacas. Esta falta de transparencia dificulta distinguir si la acción de un agente proviene de un modelo estable y actualizado del oponente o de una imitación superficial del diálogo. Por el contrario, los modelos cognitivos bayesianos tradicionales ofrecen priores, verosimilitudes y posteriores explícitos, pero a menudo dependen de funciones de verosimilitud diseñadas a mano que no escalan al lenguaje de negociación estratégico y de forma libre. El desafío central es combinar la flexibilidad lingüística de los LLM con la interpretabilidad de la inferencia bayesiana para crear un agente de negociación que sea tanto efectivo como auditable.

Metodología: El Marco BOND

Los autores proponen BOND (Destilación de Creencia del Oponente Bayesiana para Negociación), un marco modular que separa la interpretación del lenguaje, la revisión de creencias y la selección de acciones. El sistema opera en el dominio de negociación CaSiNo, donde dos participantes negocian sobre tres elementos (Comida, Agua, Leña) con ordenamientos de prioridad privados. El espacio de hipótesis consta de seis ordenamientos de prioridad posibles ($\Theta$, donde $|\Theta|=6$).

1. El Profesor Bayesiano

El agente profesor funciona como un "estimador de verosimilitud" en lugar de una política de caja negra. Su arquitectura involucra cuatro etapas:

• Puntuación del Lenguaje: Un LLM (Llama-3.1-8B-Instruct con LoRA) puntúa la compatibilidad del contexto de diálogo observado contra cada uno de los seis ordenamientos de prioridad candidatos del oponente. Estas puntuaciones sirven como señales tipo verosimilitud.
• Actualización Bayesiana: Un módulo bayesiano convierte estas puntuaciones en una distribución posterior sobre los seis ordenamientos utilizando la fórmula:
  $$p_t(\theta) = \frac{\tilde{L}_t(\theta)p_{t-1}(\theta)}{\sum_{\theta' \in \Theta} \tilde{L}_t(\theta')p_{t-1}(\theta')}$$
  donde $\tilde{L}_t$ representa la puntuación de verosimilitud escalada por temperatura y recortada. El prior es inicialmente uniforme.
• Puntuación del Menú: El agente enumera asignaciones factibles y las puntúa basándose en su propia utilidad y en la utilidad esperada del oponente, marginalizada sobre la distribución posterior.
• Decisión: El agente selecciona una acción (aceptar, rechazar, contraoferta, etc.) basándose en las puntuaciones del menú.

2. Destilación al Estudiante

Los autores destilan al profesor bayesiano en un modelo estudiante de 8B. A diferencia de los agentes de extremo a extremo estándar, el estudiante se entrena para emitir una salida estructurada y etiquetada que incluye:

• <posterior>: Una distribución de probabilidad normalizada sobre los seis ordenamientos de prioridad del oponente.
• <selected_intent>: La acción elegida (por ejemplo, enviar, aceptar, rechazar).
• <selected_content>: La asignación específica si es aplicable.
• <utterance>: La respuesta en lenguaje natural.

Este diseño externaliza el estado de creencia, permitiendo que sea puntuado e inspeccionado en cada turno.

3. Protocolo de Evaluación

El sistema se evalúa sobre un conjunto retenido de 150 diálogos CaSiNo (1.054 predicciones a nivel de turno). Las métricas clave incluyen:

• Puntuación Brier del Posterior: Mide la calibración de la distribución de probabilidad predicha frente al ordenamiento real del oponente.
• Predicción de Aceptación (F1): Precisión de las decisiones de aceptar/rechazar.
• Similitud de Oferta: Similitud coseno entre las asignaciones predichas y las humanas.
• Diagnósticos de Auditabilidad: Descomposición de errores en "errores de creencia" (posterior incorrecto) frente a "errores de política" (acción incorrecta dado el posterior) e intervenciones donde la etiqueta del posterior es reemplazada forzosamente.

Resultados Clave

Calibración del Posterior y Destilación

• Rendimiento del Profesor: El profesor bayesiano logra una puntuación Brier media de 0.085 sobre las seis hipótesis de prioridad del oponente, superando significativamente la referencia uniforme de $5/36 \approx 0.139$.
• Rendimiento del Estudiante: El estudiante destilado de 8B preserva gran parte de esta señal, logrando una puntuación Brier de 0.114. Esto también está muy por debajo de la referencia uniforme, lo que indica que el estudiante aprende con éxito a emitir estados de creencia calibrados.
• Comparación con la Línea Base de 70B: Una línea base estructurada de Cadena de Pensamiento (CoT) de 70B logra una mayor F1 de Aceptación (0.947 vs. 0.908) pero falla en proporcionar un posterior calibrado. Cuando se le obliga a emitir un posterior mediante auto-consistencia, la línea base de 70B logra una puntuación Brier de 0.194, que es peor que la referencia uniforme y significativamente peor que la del estudiante de 8B.

Auditabilidad y Descomposición de Errores

• Separación de Errores: El análisis de 181 turnos de decisión revela que los errores de creencia y los errores de acción son separables. Por ejemplo, 67 turnos tuvieron la creencia MAP (Máxima A Posteriori) correcta pero una acción inconsistente, mientras que 27 turnos tuvieron una creencia incorrecta pero una acción consistente con esa creencia errónea.
• Límites de Intervención: Cuando la etiqueta del posterior fue reemplazada forzosamente con la verdad fundamental (intervención de prefijo correcto) o un valor incorrecto (intervención de prefijo adversario), la acción del estudiante cambió solo en el 1.5% al 1.8% de los casos. Esto sugiere que, aunque el estudiante aprende a reportar creencias con precisión, el acoplamiento causal entre el posterior reportado y la selección de acciones (la dependencia "posterior $\to$ planificador") es más débil en el estudiante destilado que en el profesor.

Hallazgos de Ablación

• Contexto Completo vs. Incremental: El profesor depende de puntuar el contexto de diálogo completo. Un enfoque incremental (puntuar solo la última enunciación) falló, produciendo posteriores peores que la uniforme, lo que indica que el mecanismo de atención del LLM es crucial para la integración de evidencia temporal.
• Rol de las Etiquetas: Eliminar la etiqueta del posterior durante el entrenamiento (estudiante solo de acción) resultó en métricas de decisión ligeramente mejores (F1 de Aceptación 0.921), confirmando que el valor principal de la etiqueta del posterior es la inspeccionabilidad, no el rendimiento de la decisión.

Significado y Afirmaciones

El artículo no afirma que el estudiante destilado sea la política de negociación superior en términos de resultados de victoria; de hecho, la línea base de 70B lo supera en las métricas de decisión. En cambio, el significado de BOND radica en la auditabilidad:

1. Estados de Creencia Externalizados: El marco destila con éxito una interfaz de creencia válida y puntuable en un modelo más pequeño. El estudiante expone una distribución posterior calibrada en cada turno, permitiendo a los investigadores distinguir entre fallos de "creencia incorrecta" y fallos de "creencia correcta/acción incorrecta".
2. Transparencia sobre el Rendimiento de Caja Negra: El trabajo demuestra que un modelo más pequeño (8B) puede exponer un estado de creencia válido que está mejor calibrado que un modelo mucho más grande (70B) utilizando prompts estructurados.
3. Limitaciones de la Destilación Actual: Los autores notan modestamente que la destilación estándar de Ajuste Fino Supervisado (SFT) transfiere el reporte de creencias de manera más efectiva que el uso causal de esas creencias para la toma de decisiones. El débil acoplamiento creencia-acción en el estudiante sugiere que los agentes auditable futuros requerirán decodificación restringida o pérdidas de planificación auxiliares para asegurar que las acciones estén estrictamente condicionadas a las creencias reportadas.

En resumen, BOND proporciona un método para hacer explícito, destilable y puntuable el modelo oculto del oponente de un agente de negociación, ofreciendo una nueva lente diagnóstica para comprender dónde y por qué fallan los agentes de negociación.