Triadic Werewolf: A Jester Role for Multi-Hop Theory of Mind in LLMs

Resumen Técnico: Triadic Werewolf: Un rol de Bufón para la Teoría de la Mente de múltiples saltos en LLMs

Planteamiento del Problema
Los benchmarks actuales para evaluar la Teoría de la Mente (ToM) en Modelos de Lenguaje de Gran Escala (LLMs) dentro de juegos de deducción social (ej. Werewolf, Avalon) son predominantemente diádicos. Estos juegos dividen a los jugadores en dos facciones opuestas (ej. Aldeanos vs. Hombres Lobo), creando un escenario donde cada señal observable apunta a un único bando oculto. En consecuencia, un modelo puede obtener puntuaciones altas explotando heurísticas superficiales (ej. "la vacilación implica ser Hombre Lobo") sin simular genuinamente los incentivos de los oponentes o razonar sobre estados mentales ocultos. Esto se denomina el problema de la suficiencia de señales: una puntuación alta bajo condiciones diádicas no indica necesariamente un razonamiento genuino de ToM de múltiples saltos, ya que la política óptima y una política de pura lectura de señales suelen seleccionar la misma acción.

Metodología
Para romper esta coincidencia, los autores introducen Triadic Werewolf, un benchmark de 10 jugadores que añade una tercera facción: el Bufón (Jester).

• Arquitectura del Juego: El juego incluye 6 Aldeanos, 2 Hombres Lobo, 1 Doctor y 1 Bufón. La función de utilidad del Bufón es invertida: gana si y solo si es votado para ser exiliado por la mayoría durante el día. Por el contrario, los Hombres Lobo ganan eliminando a los Aldeanos, y los Aldeanos ganan eliminando a los Hombres Lobo.
• El Conflicto de Incentivos: Esta estructura crea ambigüedad de señales. Un jugador que exhibe una alta sospecha es evidencia ambigua: podría ser un Hombre Lobo (a quien los Aldeanos deben exiliar) o un Bufón (a quien los Aldeanos no deben exiliar, ya que exiliarlo provoca una pérdida para el Aldeano). Los Hombres Lobo también deben razonar que exiliar a un jugador con alta sospecha podría ser un Bufón, lo que terminaría el juego en una pérdida para la facción de los Lobos.
• Diseño Experimental: El estudio evalúa tres modelos de frontera (GPT-4.1, DeepSeek-V3.1, Llama-3.3-70B) a través de 60 juegos (10 juegos por modelo por condición).
  • Condiciones: Un bucle de autoaprendizaje del Bufón se activa/desactiva (ON/OFF). En la condición ON, el modelo del Bufón resume el juego, extrae lecciones (tácticas, qué hacer, qué evitar) y las añade a un archivo de aprendizaje persistente que se reintroduce en el prompt del sistema para los juegos subsiguientes.
  • Métricas: Los resultados se miden mediante tasas de victoria por facción, dinámica de votación (específicamente votos del Día 1) y análisis de comportamiento de tipos de engaño y puntuaciones de sospecha.
  • Control: Se ejecuta un control diádico (eliminando al Bufón y añadiendo un sexto Aldeano) en GPT-4.1 para aislar el efecto de la estructura triádica.

Contribuciones Clave

1. Benchmark Triádico: Una variante de Werewolf de 10 jugadores donde la utilidad invertida del Bufón rompe la suficiencia de señales de los juegos de deducción diádicos estándar, obligando a los agentes a razonar a través de tres funciones de utilidad competitivas.
2. Evaluación Controlada: Una evaluación sistemática de bucles de autoaprendizaje en un contexto de engaño, midiendo ganancias de primer orden para el Bufón y efectos de segundo orden en otras facciones.
3. Análisis Mecanicista: Una codificación deductiva de 141 lecciones acumuladas del Bufón, categorizándolas por estrategia y orden de la Teoría de la Mente (1er orden: imperativo puro; 2do orden: referencia a las percepciones de otros; 3er orden: contraste explícito entre dos percepciones de facciones, ej. "parecer lobo sin parecer alineado con el aldeano").

Resultados

• Dominio del Bufón: En todos los modelos, el Bufón gana entre el 55 y el 70% de los juegos, mientras que los Hombres Lobo rara vez superan el 20%. Esto sugiere que los modelos fallan al resolver la ambigüedad de las señales, tratando a menudo a los jugadores con alta sospecha como Hombres Lobo para ser exiliados, ayudando inadvertidamente al Bufón.
• Autosabotaje: Los Hombres Lobo votan frecuentemente contra el Bufón en el Día 1 (60–70% para GPT-4.1), una acción estrictamente autodestructiva que termina el juego en una pérdida para la facción de los Lobos. Esto indica una falla al modelar al Bufón como una tercera parte distinta con incentivos diferentes.
• Efecto de Sustitución: Cuando el bucle de autoaprendizaje mejora la tasa de victorias del Bufón, la pérdida es absorbida casi por completo por los Aldeanos, no por los Hombres Lobo. Los Hombres Lobo ya estaban fallando en la tarea de inferencia; las ganancias del Bufón provienen de explotar la actualización de creencias de los Aldeanos.
• Aprendizaje Específico del Modelo:
  • DeepSeek-V3.1: Muestra la mayor ganancia del autoaprendizaje (+40% de tasa de victoria). Es el único modelo que produce de manera confiable entradas de ToM de 3er orden (15.4% de las lecciones), aprendiendo explícitamente a imitar a un Lobo mientras evita la alineación con el Aldeano.
  • GPT-4.1: Muestra un efecto de techo; comienza con una tasa de victoria de Bufón alta (70%) y el autoaprendizaje aporta poca mejora o incluso una ligera degradación en algunas métricas. Depende de un comportamiento errático y agresivo en lugar de un razonamiento contrastivo matizado.
  • Llama-3.3-70B: Muestra ganancias moderadas (+20%) pero depende de razonamientos de 1er y 2do orden (imperativos puros o referencias simples de percepción) sin el contraste triádico explícito.
• El Engaño como Propiedad del Modelo: Los estilos de engaño (ej. fabricación vs. distorsión) son consistentes entre roles para un modelo dado, lo que sugiere que los modelos aplican una "estética de engaño" fija en lugar de adaptar estrategias basadas en los incentivos de los oponentes.

Significancia y Reivindicaciones
El artículo sostiene que las estructuras de incentivos triádicas exponen una capa de razonamiento multi-agente que los juegos diádicos dejan invisibles. Los resultados indican que los LLM de frontera actuales no realizan de manera confiable la inferencia de ToM de múltiples saltos requerida para distinguir entre un "aldeano/bufón sospechoso" y un "hombre lobo sospechoso" cuando la acción correcta depende de la utilidad del rol oculto.

El estudio argumenta que las puntuaciones altas en benchmarks diádicos pueden ser artefactos de la suficiencia de señales más que de un razonamiento genuino sobre estados mentales. El fracaso de los modelos para prevenir la victoria del Bufón —específicamente el autosabotaje de los Hombres Lobo y la incapacidad de los Aldeanos para distinguir al Bufón de un Lobo— sirve como una firma conductual de esta limitación. Además, el estudio demuestra que los bucles de autoaprendizaje pueden ayudar a los modelos a adquirir estrategias contrastivas complejas (como se ve en DeepSeek-V3.1), pero también pueden degradar el rendimiento en modelos que ya han saturado la tarea o que dependen de diferentes heurísticas (como se ve en GPT-4.1).

Los autores concluyen que la tasa de victorias del Bufón sirve como una medida directa del fallo de la ToM de múltiples saltos y que la configuración triádica es un cambio estructural necesario para evaluar si los LLM pueden realmente razonar sobre incentivos competitivos más allá del simple emparejamiento de patrones superficiales.