SocialGrid: A Benchmark for Planning and Social Reasoning in Embodied Multi-Agent Systems

1. El Problema

La inteligencia artificial está evolucionando desde el procesamiento pasivo de texto hacia agentes autónomos que operan en entornos dinámicos. Sin embargo, los marcos de evaluación actuales presentan dos deficiencias críticas:

• Evaluación en Silos: Las capacidades de planificación espacial y razonamiento social se evalúan por separado (planificación en mundos de rejilla de un solo agente vs. razonamiento social en simulaciones de texto sin cuerpo).
• Falta de Integración: En el mundo real, un agente inteligente debe navegar físicamente y realizar inferencias sociales simultáneamente. No existen benchmarks que evalúen la integración de estas habilidades en un entorno encarnado (embodied) y multiagente adversario.
• Confusión de Métricas: Las fallas en la navegación física a menudo enmascaran o confunden la evaluación de la inteligencia social. Si un agente no puede moverse, no puede demostrar su capacidad para detectar mentiras o engaños.

2. Metodología: SocialGrid

Los autores introducen SocialGrid, un entorno de benchmarking encarnado y controlable inspirado en el juego de deducción social Among Us.

• Entorno: Un mundo de rejilla (GridWorld) donde los agentes (Tripulantes e Impostores) deben navegar, completar tareas y realizar razonamiento social bajo restricciones físicas (colisiones, puertas, campo de visión limitado).
• Fases del Juego:
  1. Fase de Tareas: Los tripulantes completan tareas (requiriendo múltiples acciones de "toggle") mientras los impostores sabotean y eliminan tripulantes.
  2. Fase de Votación: Los agentes votan para expulsar a un impostor basándose únicamente en la historia de observaciones y comportamientos (sin comunicación verbal explícita para aislar el razonamiento conductual).
• Oráculo de Planificación (Planning Oracle): Una característica distintiva es la inclusión de un módulo simbólico (basado en A*) que asiste a los agentes en la navegación. Esto permite desacoplar la evaluación:
  • Sin asistencia: Evalúa planificación y razonamiento social conjuntamente.
  • Con asistencia: Aísla y evalúa puramente el razonamiento social, eliminando el ruido de las fallas de navegación.
• Métricas: Se utilizan métricas multidimensionales:
  • Rendimiento de Tarea (TP) y Éxito de Planificación (PSR).
  • Eficiencia de Planificación (PP): Comparación de la ruta real vs. la óptima.
  • Razonamiento Social: Precisión de detección (DA), calibración de confianza (Brier Score) y volatilidad de confianza.
• Análisis de Fallos: El sistema detecta automáticamente patrones de fallo como "ping-pong" de posición, bucles de retroceso, "spam" de puertas y bloqueos (stalls).

3. Contribuciones Clave

1. SocialGrid: Un nuevo benchmark unificado para evaluar la planificación espacial, la ejecución de tareas y el razonamiento social adversario en un entorno encarnado.
2. Cuantificación de Brechas: Demostración empírica de que los modelos actuales luchan severamente con la navegación básica en entornos encarnados, incluso los modelos más grandes.
3. Identificación de Deficiencias Sociales: Revelación de que el razonamiento social en LLMs se basa en heurísticas superficiales en lugar de acumular evidencia conductual, y que no mejora significativamente con el aumento de la escala del modelo.
4. Liderazgo Competitivo: Establecimiento de una tabla de clasificación (leaderboard) basada en el sistema Elo de partidos adversarios para rastrear el progreso en inteligencia encarnada.

4. Resultados Principales

Los autores evaluaron modelos de 14B a 120B parámetros (incluyendo GPT-OSS-120B, DeepSeek-R1, Llama3.1, Qwen3, etc.):

• Déficit de Planización Espacial:

  • Incluso el modelo más fuerte (GPT-OSS-120B) logró menos del 60% de precisión en tareas básicas de navegación y completado de tareas sin asistencia.
  • Los agentes a menudo se quedaban atrapados en comportamientos repetitivos o fallaban al evitar obstáculos simples.
  • La asistencia del "Oráculo de Planificación" mejoró drásticamente la ejecución de tareas (llegando a casi el 100% en el mejor modelo), confirmando que la limitación principal era la navegación, no la comprensión de la tarea.

• Fracaso en el Razonamiento Social:

  • Detección de Engaño: Cuando se eliminó la carga de navegación (con el Oráculo), los agentes fueron incapaces de detectar impostores, operando cerca del azar aleatorio (~29.9% de precisión vs. un 33% esperado por azar).
  • Independencia de la Escala: A diferencia del rendimiento en tareas, el razonamiento social no mejoró con el tamaño del modelo (de 14B a 120B).
  • Causas del Fallo: El análisis cualitativo mostró tres modos de fallo:
    1. Escasez de evidencia: Votos aleatorios cuando no hay observaciones directas.
    2. Heurísticas débiles: Confianza excesiva en señales superficiales (ej. "movimiento errático") que no correlacionan con la identidad real.
    3. Sobreconfianza: Confianza alta (T ≥ 0.7) en impostores que simulan comportamiento cooperativo.

• Análisis de Complejidad: Aumentar la complejidad espacial (más habitaciones) degradó el rendimiento de navegación linealmente, pero no afectó la precisión de votación, la cual se mantuvo estancada cerca del azar, confirmando que la limitación social es ortogonal a la dificultad de navegación.

• Aprendizaje por Refuerzo (RL): El ajuste fino con RL (PPO) en un entorno simplificado no logró superar significativamente los cuellos de botella de planificación, sugiriendo que la planificación espacial es un obstáculo fundamental que el RL básico no resuelve fácilmente.

5. Significado e Impacto

• Diagnóstico Preciso: SocialGrid proporciona herramientas para que los desarrolladores diagnostiquen si un agente falla por falta de "inteligencia social" o simplemente por no saber moverse.
• Advertencia sobre la Escalabilidad: Los resultados desafían la noción de que escalar los modelos de lenguaje resolverá automáticamente los problemas de razonamiento social complejo en entornos físicos. Se requiere un cambio arquitectónico o de entrenamiento, no solo más parámetros.
• Seguridad de la IA: La incapacidad de los agentes para detectar engaño o manipulación en entornos adversarios tiene implicaciones críticas para el diseño de sistemas multiagente confiables y seguros.
• Nueva Línea Base: El benchmark establece un estándar riguroso para la evaluación de la inteligencia encarnada, moviendo el foco de la simulación de texto a la interacción física y social real.

En resumen, el paper demuestra que, aunque los LLMs han avanzado en el razonamiento textual, su capacidad para integrarse en entornos físicos y realizar inferencias sociales complejas (como la detección de mentiras) sigue siendo extremadamente débil y no escala con el tamaño del modelo.