Deceive, Detect, and Disclose: Large Language Models Play Mini-Mafia

Resumen Técnico: Engañar, Detectar y Revelar: Los Modelos de Lenguaje Grande Juegan Mini-Mafia

Enunciado del Problema
Los modelos de lenguaje grande (LLM) se despliegan cada vez más en entornos multiagente donde los resultados dependen de la inteligencia social, incluido el razonamiento sobre la teoría de la mente y la actuación bajo información asimétrica. Sin embargo, la comprensión actual de estos sistemas sigue siendo abrumadoramente empírica, dependiendo de estudios de caso arquitectónicos y puntos de referencia estáticos en lugar de un marco teórico general. Las evaluaciones existentes no logran ofrecer una explicación rigurosa de cómo las capacidades individuales de los modelos se combinan para determinar los resultados colectivos en entornos interactivos. Los autores postulan que un camino hacia una teoría general requiere identificar entornos lo suficientemente simples para ser completamente analizables, pero lo suficientemente ricos para exhibir un comportamiento colectivo no trivial.

Metodología
Para abordar esto, los autores introducen Mini-Mafia, una variante simplificada de cuatro jugadores del juego de deducción social Mafia. El juego está estructuralmente restringido para aislar capacidades específicas:

• Roles: Un Mafioso, un Detective y dos Aldeanos.
• Fase Nocturna Fija: El Mafioso elimina a un Aldeano al azar, y el Detective investiga al Mafioso, aprendiendo su identidad. Esto colapsa el juego en una única fase diurna crítica.
• Fase Diurna: Los tres jugadores supervivientes participan en dos rondas de discusión pública seguidas de una votación ciega para arrestar a un sospechoso.

Esta configuración crea una asimetría informativa aguda: el Detective tiene información completa, el Mafioso tiene información parcial y el Aldeano no tiene ninguna. Las condiciones de victoria aíslan tres capacidades específicas de cada rol: engaño (Mafioso), revelación (Detective) y detección (Aldeano).

Marco Teórico y Punto de Referencia
La contribución central es un modelo analítico que predice la tasa de victorias de la Mafia ($p$) basada en parámetros intrínsecos del modelo. Los autores proponen la relación de forma cerrada:
$$\text{logit}(p) = v \times (m - d)$$
Donde:

• $m$: La capacidad de engaño del Mafioso.
• $d$: La capacidad de revelación del Detective.
• $v$: La sensibilidad de detección del Aldeano.

Este modelo reduce la predicción de resultados para todas las combinaciones de torneos $I^3$ de $I$ modelos a solo $3I$ parámetros latentes. Los autores operacionalizan esto como el Punto de Referencia Mini-Mafia:

1. Recopilación de Datos: Se realizaron experimentos sistemáticos de juego en $I=10$ modelos. En lugar de un diseño factorial completo ($1,000$ combinaciones), evaluaron $140$ configuraciones dirigidas de roles emparejados ($n_{ijk}=100$ juegos cada una), totalizando $14,000$ juegos.
2. Inferencia: Se utilizó inferencia bayesiana (usando PyMC y NUTS) con priores débilmente informativos ($N(0, 2)$) para estimar los parámetros $m, d,$ y $v$ para cada modelo.
3. Validación: Se realizó una validación cruzada de 5 pliegues en las configuraciones retenidas para probar la generalización de la descomposición de tres parámetros.

Resultados Clave

• Previsibilidad Analítica: El modelo teórico logra una reducción del 76.6% en la puntuación Brier sobre una línea base aleatoria (constante 0.5) en la validación cruzada, confirmando que las interacciones de LLM multiagente pueden capturarse analíticamente con un pequeño número de parámetros interpretables.
• Clasificaciones Contraintuitivas: El punto de referencia revela que modelos más pequeños y rentables a menudo superan a sus contrapartes insignia en roles específicos:
  • Mejor Detector (Aldeano): Grok 3 Mini (85.7% de precisión), superando significativamente a Claude Opus 4.1.
  • Mejor Revelador (Detective): GPT-5 Mini.
  • Peor Detector: Claude Sonnet 4 funcionó cerca del azar (50.6% de precisión), clasificándose por debajo de modelos más pequeños como Llama 3.1 8B y Mistral 7B.
• Fenómenos Emergentes: El marco cuantifica comportamientos multiagente emergentes:
  • Sesgo de Nombre: Un sesgo estadísticamente significativo donde el nombre "Bob" confiere una mayor tasa de victorias (55.96%) en comparación con "Diana" (53.76%), lo que sugiere que los modelos son más propensos a confiar en ciertos nombres.
  • Efecto de Recencia: Hablar al final proporciona una ventaja sustancial; los Detectives que hablan al último obtienen una ventaja de 7.10 puntos porcentuales en las tasas de victoria.

Significado y Afirmaciones
El artículo afirma proporcionar la primera descripción analítica de forma cerrada de un bucle completo de interacción de tres agentes LLM. Su significado radica en tres áreas:

1. Avance Teórico: Demuestra que un sistema multiagente no trivial puede reducirse a capacidades latentes acopladas sin sacrificar la tratabilidad teórica, ofreciendo una prueba de concepto para una teoría general de sistemas LLM multiagente.
2. Evaluación: Introduce una herramienta de evaluación escalable que estima las capacidades de engaño, revelación y detección, revelando que el rendimiento del modelo es altamente específico del rol y no está estrictamente correlacionado con el tamaño del modelo o su estatus insignia.
3. Seguridad de la IA: El punto de referencia proporciona datos de entrenamiento etiquetados para sistemas de detección de engaños y permite el seguimiento longitudinal de las capacidades engañosas. También sirve como un entorno de prueba controlado para estudiar fenómenos emergentes como sesgos y efectos de recencia en interacciones multiagente.

Los autores reconocen limitaciones, señalando que la fase nocturna fija simplifica la selección de objetivos y que la aproximación de segundo orden del modelo puede fallar cuando las brechas de capacidad son grandes. No obstante, argumentan que Mini-Mafia sirve como un entorno principiado, no trivial y analíticamente resoluble para estudiar la inteligencia social de los LLM.