Resumen Técnico: MafiaScope

Planteamiento del Problema

Las evaluaciones actuales de los agentes de Modelos de Lenguaje Extensos (LLM) en juegos de deducción social (p. ej., Mafia, Werewolf) dependen principalmente de métricas de resultados, como las tasas de victoria o la precisión de la votación. Estos enfoques no logran revelar la "Teoría de la Mente" (ToM) interna de los agentes. Un agente puede votar correctamente por conjetura, o mentir eficazmente sin revelar sus verdaderas creencias. Los benchmarks estáticos de ToM (p. ej., viñetas o diálogos guionizados) no pueden capturar cómo el modelo de un agente sobre los demás evoluciona dinámicamente dentro de una interacción adversarial que el propio agente provoca parcialmente. El trabajo existente que sitúa a los LLM en juegos extrae el razonamiento dentro del contexto del juego, donde el acto de cuestionar altera el comportamiento subsecuente, o evalúa únicamente el resultado final, dejando el estado de creencia como una "caja negra".

Metodología

El artículo presenta MafiaScope, un banco de pruebas no invasivo y de resolución temporal diseñado para medir la ToM de las máquinas mediante el sondeo de las creencias privadas de los agentes sin alterar su estado de juego. El sistema opera a través de tres capas desacopladas:

1. Motor de Juego: Una implementación estándar de Mafia que soporta alineaciones de LLM heterogéneas (vía APIs compatibles con OpenAI, modelos locales o procesos HTTP externos). Los agentes están parametrizados por backend, lenguaje y un vector de personalidad de los "Big Five".
2. Motor de Sondeo de Introspección: Después de cada expresión pública y acción privada nocturna, el motor pausa el juego e interroga privadamente a cada agente vivo.
   • No Invasividad: Los sondeos se ejecutan en una copia de "descarte" de la lista de mensajes del agente. Las preguntas y respuestas existen solo durante la duración de la pasada de sondeo y nunca se escriben de vuelta en el contexto persistente del agente ni reingresan al bucle del juego.
   • Sondeo Estructurado: Los sondeos se definen mediante un DSL en YAML que admite activación condicional, encadenamiento (usando respuestas analizadas previamente) y presupuestos de tokens.
   • Sondeos por Defecto: El sistema incluye seis sondos: role_beliefs (creencias de rol), role_assessment (evaluación de rol), suspicion_ranking (clasificación de sospecha), planned_action (acción planificada), social_map (creencias de segundo orden: "cómo se sienten otros respecto a mí") y personality_profile (perfil de personalidad).
   • Calificación: Las respuestas se analizan como JSON y se califican automáticamente contra la verdad fundamental del motor (roles conocidos) o contra los propios reportes de primer orden del mismo paso del agente objetivo.
3. Pipeline de Datos y Visualizador: Una aplicación D3 de una sola página que renderiza:
   • Modo de Personificación: Re-renderiza el juego desde la perspectiva de un agente específico, contrastando sus expectativas de segundo orden ("Creído") contra los reportes reales de primer orden de otros ("Real").
   • Métricas y Calibración: Graficación en tiempo real de la precisión de primer orden, el recall de la multitud, la consistencia de segundo orden y curvas de calibración (confianza declarada vs. precisión real).
   • Replay Contrafactual: Permite "bifurcar" el estado del juego en cualquier paso para re-simular la continuación $N$ veces, generando una distribución de resultados para atribuir expresiones pivotales.

Contribuciones Clave

1. Motor de Sondeo Configurable: Un DSL basado en YAML que produce registros de creencias en JSONL totalmente indexados con activación condicional y encadenamiento, permitiendo una medición densa y de resolución temporal.
2. Visualizador Interactivo: Una herramienta para la inspección longitudinal de creencias que cuenta con vistas de personificación, paneles de calibración, superposiciones de engaño y capacidades de replay contrafactual.
3. Estudio de Caso y Experimento de Replay: Un estudio de 32 juegos con modelos DeepSeek (13,815 respuestas de sondeo analizadas) y un experimento de replay de 30 bifurcaciones que demuestra análisis invisibles para la evaluación basada solo en resultados.

Resultados

El estudio de caso, centrado en agentes DeepSeek, arrojó varios hallazgos específicos sobre la dinámica de creencias:

• F1 (Trayectorias de Creencia): Los agentes del lado de los aldeanos comienzan mayoritariamente agnósticos (74.9% "Desconocido" en la Ronda 0) y se comprometen con creencias cada vez más precisas a medida que se acumula la evidencia (la precisión comprometida sube del 47.6% al 75.4% para la Ronda 3).
• F2 (Calibración): Los agentes están mal calibrados. La confianza declarada tiene poca señal por debajo del percentil superior; la precisión permanece plana (43–46%) para niveles de confianza de 40–79. El Error de Calibración Esperado (ECE) es de 0.168, lo que indica sobreprecisión en lugar de sobreestimación.
• F3 (Creencias de Segundo Orden): Los agentes sobre-predicen significativamente ser sospechosos. Predicen "sospechosos" 1.53 veces más seguido de lo que ocurre la sospecha realmente. Este "efecto de foco" es impulsado por agentes inocentes (sobre-prediciendo 1.84x), mientras que los agentes de la Mafia están casi calibrados (1.08x).
• F4 (Acoplamiento de Voto): Las creencias sondeadas rastrean los votos. Los agentes inocentes votan por su principal sospechoso el 64.9% de las veces. Sin embargo, los agentes de la Mafia no votan de acuerdo con su "conjunto comprometido" privado (alineándose a niveles de azar), lo que indica que desacoplan estratégicamente sus votos públicos de sus creencias privadas.
• F5 (Sensibilidad de Medición): Los presupuestos de tokens impactan significativamente la calidad de los datos. Un límite legado de 400 tokens causó que el 73% de las respuestas se truncaran, requiriendo reparación de JSON; aumentar los presupuestos a 960 tokens eliminó la truncación.
• Dinámica de Creencias: Los agentes exhiben una alta "volatilidad de sospecha" (cambio medio de L1 de 0.300) y cambian frecuentemente su principal sospechoso (48.7% de los pares consecutivos), a menudo regresando a sospechosos previamente abandonados, lo que sugiere una dinámica de circularidad en lugar de convergencia.

El experimento de replay contrafactual (30 bifurcaciones) demostró la capacidad del flujo de trabajo para aislar expresiones pivotales, aunque la significancia estadística fue limitada por el tamaño de la muestra ($N=5$ por brazo).

Significancia

MafiaScope proporciona un instrumento novedoso para estudiar la trayectoria de las creencias sondeadas privadamente en lugar de solo los resultados del juego. Su significancia radica en:

• Medición No Invasiva: Garantiza que las respuestas de sondeo no influyan en el comportamiento futuro del agente, una distinción crítica de los métodos de razonamiento en contexto.
• Resolución Temporal Densa: Captura la revisión de creencias al nivel de una sola expresión, permitiendo localizar exactamente cuándo y cómo cambian las creencias.
• ToM Operacional: Trata las respuestas de sondeo como reportes de creencias operacionales con estructuras predictivas verificables, aplicables incluso a modelos de API cerrados donde las activaciones internas son inaccesibles.
• Análisis Contrafactual: Permite la atribución de resultados a expresiones específicas mediante la re-simulación de continuaciones de juego, yendo más allá de la correlación para estimar el impacto causal (aunque el artículo señala las limitaciones actuales de forking solo para reroll).

El artículo posiciona a MafiaScope no como una prueba definitiva de la conciencia de los LLM o de una ToM perfecta, sino como una herramienta para exponer la mecánica del engaño, la calibración y la evolución de las creencias en sistemas multi-agente, liberando el motor, el visualizador y un corpus de más de 200 juegos de modelos cruzados bajo una licencia abierta.