Resumen Técnico: Auditoría de Agentes LLM Condicionados por Creencias en Juegos de Deducción Social de Información Oculta

Declaración del Problema

Evaluar agentes de Modelos de Lenguaje Extensos (LLM) en entornos multiagente de información oculta es un desafío porque los resultados finales (p. ej., victoria/derrota) son señales de alta varianza que rara vez revelan los mecanismos causales detrás de las decisiones de los agentes. En juegos de deducción social como Werewolf, los agentes operan bajo observabilidad parcial, deben razonar sobre información privada, interpretar la comunicación engañosa y tomar decisiones donde la calidad solo es clara post-hoc. La evaluación estándar de caja negra falla al no poder distinguir si un fallo se debe a la falta de evidencia, un mal seguimiento de creencias, un comportamiento inducido por el prompt, la carga de la infraestructura o un override estratégico válido. Existe la necesidad de una infraestructura de evaluación que haga la cognición del agente observable, auditable y reproducible.

Metodología

Los autores implementan un entorno de Werewolf de 9 jugadores diseñado como una plataforma experimental auditable. El sistema impone un aislamiento de información estricto a nivel de código, asegurando que los agentes solo reciban eventos públicos y observaciones privadas específicas de su rol, mientras que el motor del juego retiene la asignación de roles de verdad fundamental para la evaluación post-hoc.

El marco consta de cinco componentes principales:

1. Capa de Creencia Auditable: Un sistema externo mantiene un estado de creencia (probabilidades de rol para todos los jugadores) actualizado a partir de eventos estructurados del juego. Esta capa opera en dos modos:
   • Modo Sombra (Shadow Mode): Las creencias se mantienen solo para la evaluación, no se muestran al agente.
   • Modo Activo (Active Mode): Los resúmenes de creencias (p. ej., principales sospechosos de ser lobos) se inyectan en el contexto del agente como soporte para la decisión.
2. Actualizaciones de Creencia Factorizadas: En lugar de una tabla de reglas monolítica, las actualizaciones de creencia se descomponen en factores interpretables: tipo de evento (peso base), dirección de la evidencia y credibilidad de la fuente. Las actualizaciones ocurren en el espacio de log-odds para asegurar estabilidad y trazabilidad.
3. Diagnóstico Guiado por Desviación: El sistema compara la acción sugerida por el estado de creencia contra la acción real del LLM. Las desviaciones se clasifican conceptualmente como perjudiciales (ignorar señales útiles), justificadas (override basado en otro contexto) o estratégicas (engaño intencional).
4. Bucle de Mejora Offline Defensivo: Las actualizaciones de estrategia no se aplican tras juegos individuales. En su lugar, el sistema agrega lotes de juegos, mina "casos malos" (p. ej., desviaciones perjudiciales, acciones de veneno erróneas), genera ideas candidatas y requiere revisión humana antes de versionar cualquier cambio en prompts o reglas.
5. Aislamiento Estricto de Información: El constructor de contexto asegura que los agentes reciban solo datos legalmente visibles para su rol. La verdad fundamental nunca se utiliza durante el tiempo de ejecución, solo para el cálculo de métricas post-juego.

La evaluación involucró 1,080 juegos congelados a través de múltiples brazos experimentales, incluyendo ablaciones sin creencias, condiciones de creencia activa, variantes de restricción de bando (creencia dada solo al bando bueno o malo), ablaciones de kernel (aditivo vs. factorizado) y réplicas de alta carga.

Contribuciones Clave

1. Marco Auditable: Un sistema para juegos de información oculta que cuenta con aislamiento estricto de información, registro de eventos estructurado, estado reproducible y evaluación post-juego.
2. Capa de Creencia Externa: Un mecanismo para el razonamiento de roles ocultos que incluye variantes de sombra/activa, actualizaciones factorizadas y instantáneas trazables, sirviendo como una línea base cognitiva en lugar de un controlador rígido.
3. Instrumentación de Desviación: Una taxonomía conceptual para la inspección post-hoc de las desviaciones entre creencia y acción (perjudicial, justificada, estratégica) y un flujo de trabajo para la clasificación automática a gran escala.
4. Bucle Offline Defensivo: Un flujo de trabajo que mina casos malos de lotes de juegos para apoyar actualizaciones de estrategia revisadas y versionadas, evitando los riesgos del aprendizaje online de un solo juego.
5. Evidencia Empírica: Una evaluación a gran escala (1,080 juegos) que demuestra la asociación entre la creencia activa y la mejora de los resultados, utilizando simultáneamente la capa de auditoría para diagnosticar la baja consistencia y rechazar intervenciones no fiables.

Resultados

El estudio presenta un conjunto de hallazgos coherentes pero cautelosos de una comparación A/B pareada de 200 semillas (A0: sin creencia vs. A1: creencia activa):

• Cambio en el Resultado: La condición de creencia activa está asociada con una tasa de victoria del bando bueno significativamente mayor, subiendo de 0.205 a 0.390 (McNemar $\chi^2$ pareado = 16.4, $p < 0.001$).
• Reducción de Errores: La condición de creencia activa coexiste con una reducción en los errores irreversibles de "veneno erróneo" del rol de Bruja (la tasa de veneno erróneo cayó del 76% al 36%).
• Baja Consistencia Directa: A pesar de la mejora en el resultado, la consistencia directa acción–creencia es baja (≈0.21). Los agentes frecuentemente se desvían de la recomendación principal de la creencia.
• Anomalía de Restricción de Bando: Dar la creencia solo a los lobos mejoró la tasa de victoria del bando bueno (0.313) más que darla solo al bando bueno (0.253). Esto contradice una hipótesis simple de "beneficio del poseedor" donde la creencia mejora la inferencia del agente que la posee.
• Intervención Fallida: Una política de "consumo forzado", que intentaba obligar la alineación con la creencia, no logró mejorar las tasas de victoria y solo aumentó marginalmente la consistencia. Esto sugiere que forzar a los agentes a seguir señales de creencia planas o débiles es contraproducente.
• Robustez de Carga: Las réplicas de alta concurrencia no mostraron un aumento en los errores del LLM ni violaciones del presupuesto de contexto, confirmando que los cambios observados en los resultados no fueron artefactos de la carga de la infraestructura.

Significación y Reivindicaciones

El artículo posiciona la creencia externa en juegos de información oculta con alto ruido principalmente como una línea base cognitiva auditable en lugar de un controlador probado del juego.

• Medibilidad sobre Optimidad: El valor principal del marco es hacer que las decisiones del agente sean medibles y reproducibles. Transforma el comportamiento opaco en evidencia que puede ser cuestionada y analizada.
• Diagnóstico de Mecanismo: Los autores declaran explícitamente que no atribuyen el cambio en la tasa de victoria específicamente a la calidad del contenido de la creencia. Debido a la baja consistencia acción–creencia y los resultados anómalos de restricción de bando, el mecanismo causal permanece sin resolver. El efecto puede derivar de la presencia de la sección de creencia alterando el comportamiento del agente o la estructura del prompt, más que del consumo de la señal de creencia en sí.
• Seguridad en la Iteración: El marco permite una iteración más segura al permitir a los investigadores separar los efectos de la estrategia de los confundidos de infraestructura (como fallos inducidos por la carga) y rechazar intervenciones (como el consumo forzado) con evidencia.
• Generalizabilidad: Aunque se probó en Werewolf, el patrón subyacente se aplica a cualquier entorno adversarial de observabilidad parcial donde los resultados finales son ruidosos y las decisiones requieren interpretación. Los autores argumentan que, antes de que tales agentes puedan ser mejorados de forma segura, su cognición debe ser hecha observable y contestable a través de una infraestructura de auditoría.

El artículo concluye que la infraestructura de evaluación es un componente de primer orden para los agentes LLM de información oculta, necesario para distinguir entre una inferencia débil, un override estratégico y fallos del sistema.