Resumen Técnico: BayesBench: Evaluando las Trayectorias de Creencia de los LLM bajo la Acumulación de Evidencia Multiturno

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) se despliegan cada vez más en entornos conversacionales de múltiples turnos donde la evidencia llega de forma secuencial. La toma de decisiones racional en tales entornos requiere que el agente infiera cantidades no observadas (variables latentes) que gobiernan el entorno y actualice sus creencias sobre ellas a medida que la evidencia se acumula. Sin embargo, las evaluaciones estándar suelen colapsar este proceso en un formato de un solo turno, proporcionando toda la información a la vez y calificando únicamente la respuesta final. Este enfoque deja sin examinar el proceso dinámico de actualización de creencias. Existe una falta de entornos de prueba controlados que midan directamente qué tan cerca está la trayectoria de creencia de un LLM de la de un razonador bayesiano racional conforme la evidencia se acumula a lo largo de múltiples turnos.

Metodología

Los autores introducen BayesBench, una suite de evaluación diseñada para sondear la actualización de creencias multiturno a través de tres tareas bayesianas progresivamente complejas instanciadas en cuatro entornos. El marco de evaluación distingue entre inferencia latente (estimación de cantidades ocultas) y predicción descendente (uso de esas estimaciones para pronosticar resultados).

Configuración Experimental

• Tareas:
  1. Estimación Bayesiana: Inferir un parámetro desconocido a partir de evidencia i.i.d. secuencial.
  2. Predicción Bayesiana: Inferir una variable latente para guiar una predicción descendente.
  3. Predicción Bayesiana con Marco Latente: Observar evidencia filtrada a través de un encuadre de persona de usuario (estilo de comunicación), lo que requiere una inferencia conjunta sobre el estado latente y el encuadre.
• Entornos:
  1. Lanzamiento de Moneda (Tarea 1): Estimar el sesgo $\Theta$ de una moneda a partir de una secuencia de lanzamientos. Se dispone de un posterior bayesiano de forma cerrada para la comparación.
  2. Sistema de Recomendación (Tarea 2): Inferir el "tipo" latente de un usuario a partir de una secuencia de calificaciones de películas para predecir una calificación para una película no incluida en el conjunto de entrenamiento. Se dispone de un posterior bayesiano de forma cerrada.
  3. Juicio Social (Tarea 3): Predecir el veredicto de una comunidad de Reddit (YTA/NTA) basado en una publicación de conflicto social. La publicación se descompone en segmentos de guion gráfico y se presenta en diferentes estilos de comunicación (Neutral, Concedente, Defensor). No existe un posterior de forma cerrada; la evaluación depende de comprobaciones de invariancia y auditorías de comportamiento.
  4. Triaje Médico (Tarea 3): Evaluar la urgencia clínica (Emergencia, Urgente, Observación, Rutina) basándose en informes de síntomas del paciente. Los informes están estilizados por perfiles de comunicación (Preciso, Hipocondríaco, Minimizador, Cibercondríaco). No existe un posterior de forma cerrada.
• Modelos: Siete LLM de pesos abiertos ajustados por instrucciones, que van desde 3B hasta 70B de parámetros (familias LLaMA 3 y Qwen 2.5).
• Formatos de Entrega:
  • Observación Pasiva: La evidencia se presenta secuencialmente con acuses de recibo neutrales.
  • Compromiso Activo: Un usuario simulado (impulsado por un LLM) interactúa con el modelo, revelando evidencia en un estilo conversacional dictado por una persona específica.
• Métricas:
  • Distancia de Variación Total (TVD): Mide la divergencia entre la distribución elicitada por el modelo y la referencia bayesiana de forma cerrada (para las Tareas 1 y 2).
  • Error Absoluto Medio (MAE): Mide el error entre la media del posterior del modelo y la referencia/verdad fundamental.
  • Auditorías de Comportamiento: En la Tarea 3, un evaluador externo audita las respuestas del modelo para identificar comportamientos específicos (p. ej., sicofancia, contra-concesión) en relación con la evidencia.

Contribuciones Clave

1. Suite BayesBench: Una novedosa suite de evaluación organizada a lo largo de tres tareas bayesianas estructuradas, instanciadas en cuatro entornos. Dos entornos proporcionan referencias bayesianas tratables de forma cerrada, mientras que los otros utilizan tuberías de simulación de usuario multiturno para controlar los formatos de entrega y los estilos de comunicación.
2. Evaluación Empírica de Trayectorias de Creencia: Una evaluación de siete LLM a través de estos entornos, identificando dinámicas recurrentes en cómo los modelos acumulan, calibran y utilizan la evidencia a lo largo de múltiples turnos.
3. Identificación de la Brecha de Inferencia-Predicción: La demostración de que las trayectorias de creencia intermedias exponen desviaciones de la actualización de creencias racional que la precisión del turno final por sí sola puede omitir. Específicamente, el artículo destaca una brecha entre la capacidad de un modelo para inferir la estructura latente y su capacidad para usar esa inferencia para actualizar racionalmente las creencias sobre los resultados objetivo.

Resultados Clave

1. La Inferencia Latente Mejora con la Escala

Los modelos demuestran la capacidad de inferir la estructura latente a partir de la evidencia acumulada, y esta capacidad se fortalece con el tamaño del modelo.

• Lanzamiento de Moneda: Los modelos más grandes separan los sesgos de la moneda más claramente que los modelos más pequeños, aunque a menudo sobreestiman el posterior bayesiano, volviéndose sobreconfiados (empujando las predicciones hacia 0 o 1) incluso cuando la referencia permanece moderada.
• Sistema de Recomendación: Los modelos más grandes recuperan los tipos de usuario con mayor precisión a partir de los patrones de calificación, incluso cuando las características semánticas (títulos de películas/géneros) han sido anonimizadas.
• Triaje Médico: Los modelos más grandes se vuelven más confiados al inferir los estilos de comunicación de los pacientes (p. ej., distinguir entre Hipocondríaco y Minimizador) a medida que la evidencia se acumula, alcanzando una probabilidad de ~0.80 sobre el perfil real hacia la mitad de la conversación.

2. La Brecha entre Inferencia y Predicción

Una mejor inferencia latente no se traduce de manera fiable en predicciones descendentes calibradas.

• Sobre-actualización y Extremos: En la tarea de la moneda, los modelos más grandes sobre-actualizan, empujando las predicciones hacia los extremos. En el triaje médico, los modelos agudizan las predicciones para etiquetas extremas (Emergencia, Rutina) pero tienen dificultades con las etiquetas intermedias (Urgente, Observación), a menudo empujando los casos ambiguos hacia los extremos.
• Desempeño Condicional: El condicionamiento explícito de las predicciones descendentes sobre el latente inferido (p. ej., "Dado que el usuario es Tipo X, ¿cuál es la calificación?") mejora el desempeño para algunos modelos en las tareas de recomendación y médica. Sin embargo, los modelos aún fallan en traducir de manera fiable su estructura latente inferida en predicciones incondicionales precisas.

3. Compromiso Activo y Sesgo

El compromiso activo con un usuario en una conversación simulada introduce sesgos persistentes que no están presentes en la observación pasiva.

• Juicio Social: El compromiso activo revela un sesgo persistente a favor del usuario. Los modelos asignan probabilidades más bajas de que el autor de la publicación sea culpable en comparación con la observación pasiva. Aunque los modelos más grandes reducen este sesgo a medida que la evidencia se acumula, este no desaparece.
• Cambios de Comportamiento: Los estilos de comunicación elicitan diferentes patrones de respuesta. Los usuarios concedentes elicitan más reafirmación (contra-concesión); los defensores elicitan más simpatía por el autor de la publicación. Estos cambios de comportamiento ocurren incluso cuando el veredicto final es estadísticamente invariante al estilo.
• Triaje Médico: El compromiso activo degrada la calibración de la evaluación de la urgencia para la mayoría de los modelos, con la brecha cerrándose solo para los modelos más grandes (Qwen-32B, LLaMA-70B).

Significado y Reivindicaciones

El artículo sostiene que BayesBench proporciona una forma controlada de estudiar la interacción de los LLM multiturno como un problema de actualización de creencias. El hallazgo principal es una brecha de alineación: si bien el escalado mejora la capacidad de un modelo para identificar la estructura oculta relevante (inferencia latente), esto aún no garantiza de manera fiable que dicha inferencia se traduzca en predicciones descendentes calibradas y racionales.

Los autores enfatizan que las trayectorias de creencia intermedias son críticas para el diagnóstico; la precisión del turno final por sí sola puede enmascarar fallos sistemáticos en cómo los modelos acumulan y utilizan la evidencia. El trabajo motiva la investigación futura en razonamiento multiturno que acumule la evidencia de manera más fiable y métodos de post-entrenamiento que hagan que la integración latente implícita sea más robusta, asegurando que las mejoras en el condicionamiento explícito se trasladen a las interacciones conversacionales ordinarias. Los autores mantienen la modestia, señalando que su evaluación está ligada a formatos de sondeo específicos y variables latentes controladas, y que los usuarios del mundo real pueden exhibir estructuras latentes más complejas, continuas o mixtas.