Resumen Técnico: QUACK – Cuestionamiento, Comprensión y Auditoría del Conocimiento Comunicado en Agentes de Deducción Social Multimodales

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) y los Modelos Visión-Lenguaje (VLM) se despliegan cada vez más como agentes interactivos capaces de percibir entornos, comunicarse y razonar bajo incertidumbre. Un requisito crítico para estos agentes es la anclaje (grounding): sus declaraciones en lenguaje natural sobre su ubicación, observaciones y acciones deben mantenerse fieles a su trayectoria percibida real.

Las actuales métricas de evaluación para juegos de deducción social (por ejemplo, Among Us, Werewolf) enfrentan dos limitaciones principales:

1. Puntuación Centrada en el Resultado: La mayoría de las evaluaciones dependen de los resultados del juego (tasas de victoria, tasas de supervivencia, precisión en votaciones). Estas métricas no logran distinguir entre un agente que tiene éxito debido a un razonamiento coherente y uno que tiene éxito a pesar de producir afirmaciones inconsistentes o alucinadas.
2. Limitaciones de Solo Texto: Los entornos existentes restringen en gran medida a los agentes a interacciones de solo texto. Sin observaciones visuales ancladas y trayectorias reconstruibles, es imposible determinar si el diálogo de un agente se alinea con lo que realmente percibió y hizo, lo que dificulta identificar modos de fallo específicos como la alucinación espacial o acusaciones sin fundamento.

Existe una falta de marcos que puedan auditar si el lenguaje de un agente está anclado en su percepción multimodal y sus acciones a lo largo de horizontes largos en entornos adversarios y multiagente.

2. Metodología: El Marco QUACK

Los autores introducen QUACK, un entorno de código abierto y un marco de evaluación diseñados para auditar el razonamiento social multimodal anclado.

2.1 El Entorno

QUACK se formaliza como un juego de Markov parcialmente observable jugado en un mapa con estructura de grafo.

• Roles: Se asignan roles ocultos a los agentes como Gansos (tripulación) o Patos (impostores).
  • Los Gansos ganan completando tareas vinculadas a ubicaciones o expulsando a todos los Patos.
  • Los Patos ganan logrando paridad en las votaciones (Patos vivos $\ge$ Gansos vivos) y pueden eliminar a los Gansos que se encuentren en la misma ubicación.
• Observaciones: Los agentes reciben entradas multimodales en cada punto de decisión:
  • Vista Global ($I_{global}$): Un mapa renderizado que muestra la distribución de las habitaciones y los costos de viaje, pero no a otros jugadores.
  • Vista Local ($I_{local}$): Una imagen renderizada de la habitación actual, mostrando solo a los jugadores visibles, los cuerpos y los eventos de movimiento presenciados.
  • Resumen Estructurado ($\tau$): Una codificación textual del estado de tránsito, eventos presenciados, progreso de tareas y tiempos de espera.
• Acciones: Los agentes realizan acciones como moverse, completar tareas, reportar cuerpos, llamar a reuniones y matar (para los Patos). También participan en "chat de proximidad" (enunciados libres escuchados solo por agentes en la misma habitación) y discusiones formales en reuniones.
• Reproducibilidad: Crucialmente, cada episodio genera registros estructurados de eventos a nivel de motor, creando una trayectoria de verdad fundamental tick a tick para cada agente. Esto permite una reproducción y verificación exactas.

2.2 Marco de Evaluación de Tres Niveles

QUACK evalúa a los agentes en tres niveles complementarios:

• Nivel 1 (Resultados del Juego): Métricas estándar que incluyen tasas de victoria, precisión de expulsiones, completado de tareas y supervivencia.
• Nivel 2 (Trayectorias Conductuales): Métricas derivadas de trayectorias reconstruidas, como cobertura espacial, eficiencia en tareas, tasas de eliminación y utilización de tiempos de espera.
• Nivel 3 (Verificación de Declaraciones): La contribución central. Este nivel audita la coherencia entre los enunciados de discusión de un agente y su trayectoria de verdad fundamental.

2.3 Pipeline de Verificación de Declaraciones

El pipeline del Nivel 3 opera en dos etapas:

1. Extracción de Afirmaciones: Un LLM analiza los enunciados de discusión libres en afirmaciones estructuradas y verificables. Se definen cinco tipos de afirmaciones:
   • Ubicación/Ruta: Afirmaciones sobre dónde estaba un jugador.
   • Avistamiento: Afirmaciones sobre ver a otro jugador.
   • Actividad: Afirmaciones sobre tareas, viajes o espera.
   • Acusación: Sospechar que un jugador es un Pato.
   • Defensa: Dar fe de un jugador.
2. Verificación de Afirmaciones: Cada afirmación se verifica contra la trayectoria de verdad fundamental reconstruida del agente para la ventana de tiempo relevante. Los veredictos incluyen Verdadero, Falso, Habitación Incorrecta, Casi Acertado (parcialmente verdadero) o No Verificable.

Este pipeline operacionaliza cuatro modos de fallo de anclaje específicos:

1. Alucinación Espacial: Afirmar una ubicación o avistamiento que contradice la propia trayectoria del agente.
2. Acusación Sin Fundamento: Acusar a un jugador sin evidencia anclada (distinguiendo entre la precisión de la acusación y su anclaje).
3. Colapso de la Engaño: Un Pato que produce mentiras fácilmente falsificables (por ejemplo, afirmar ver a un jugador muerto) en lugar de engaños sutiles y de "casi acertado".
4. Inconsistencia Lenguaje-Acción: Actividades o rutas declaradas que entran en conflicto con las acciones registradas.

El pipeline fue validado contra anotación humana, logrando un 99.5% de precisión y un 98.7% de recuperación en la extracción y verificación de afirmaciones.

3. Configuración Experimental y Resultados

Los autores evaluaron tres VLM de vanguardia (GPT-5.5, GEMINI-3.1-PRO, CLAUDE-OPUS-4.7) en 270 juegos tanto en configuraciones homogéneas (todos los agentes con el mismo modelo) como en configuraciones adversarias entre modelos cruzados (Gansos vs. Patos de diferentes modelos).

Hallazgos Clave

• Brecha entre Resultado y Anclaje: Las altas tasas de victoria no implican razonamiento anclado. Por ejemplo, GPT-5.5 logró una tasa de victoria del 81.1% como Ganso, pero aún alucinó el 16.4% de sus afirmaciones espaciales y realizó el 54.5% de sus acusaciones sin evidencia anclada.
• Alucinaciones Sistemáticas: Incluso los agentes más fuertes alucinan una fracción sustancial de afirmaciones espaciales verificables. La tasa de alucinación espacial agrupada en todos los modelos fue del 15.1% (aproximadamente 1 de cada 7 afirmaciones).
• Acusaciones Infundadas: La tasa de acusaciones sin apoyo agrupada fue del 53.5%. Más de la mitad de todas las acusaciones se hicieron sin ninguna evidencia que el acusador podría haber observado realmente, independientemente de si la acusación resultó ser correcta o no.
• Colapso de la Engaño: Los Patos exhibieron una tasa de engaño del 22.1%. Crucialmente, la sofisticación del engaño fue cercana a cero; las mentiras eran "plana y falsificables" (por ejemplo, afirmar estar en una habitación donde el registro muestra que el agente estaba en otro lugar) en lugar de sutiles.
• Brecha de Detección de Mentiras: Incluso cuando un Pato decía una mentira verificable, la tripulación (Gansos) falló en expulsarlos en aproximadamente el 25% de los casos (la tasa promedio de expulsión después de una mentira fue del 75.2%), lo que indica una brecha entre la evidencia disponible y la capacidad deductiva de la tripulación.

Los tres modelos compartieron el mismo perfil cualitativo de fallo, diferenciándose principalmente en grado y no en tipo.

4. Significado y Contribuciones

El artículo afirma las siguientes contribuciones:

1. Entorno QUACK: Un entorno de deducción social multimodal de código abierto con observabilidad parcial y registros completamente reproducibles, que permite la reconstrucción de trayectorias de verdad fundamental para los agentes.
2. Evaluación de Tres Niveles: Un marco que va más allá de las tasas de victoria para medir trayectorias conductuales y coherencia a nivel de enunciado, abordando directamente el "anclaje" del lenguaje del agente.
3. Pipeline de Verificación de Declaraciones: Un método para auditar automáticamente las afirmaciones de los agentes contra estados del mundo reconstruidos, operacionalizando cuatro modos de fallo cualitativos en cantidades medibles.
4. Evidencia Empírica de Fallo: Demostración de que incluso los VLM de vanguardia exhiben fallos de anclaje sistemáticos y diagnosticables en tareas de razonamiento social que son invisibles para las métricas estándar basadas en resultados.

Implicaciones Más Amplias

Los autores argumentan que el anclaje es un eje distinto de capacidad en entornos de lenguaje multiagente que no es capturado por el éxito en tareas y requiere medición directa. Postulan que los juegos de deducción social sirven como un instrumento único para estudiar la generación anclada porque combinan fuertes incentivos para afirmaciones verificables (y mentiras) con un estado del mundo totalmente recuperable, una combinación rara vez disponible en tareas de lenguaje abiertas.

El trabajo se enmarca como diagnóstico, con el objetivo de exponer cuándo los agentes hacen afirmaciones no ancladas para facilitar su detección y mitigación, en lugar de optimizar a los agentes para el engaño. Los autores liberan el motor, el marco y los registros para apoyar la reproducción independiente y el escrutinio del anclaje de los agentes.