🤖 AI

Integrating Counterfactual Simulations with Language Models for Explaining Multi-Agent Behaviour

Este artículo presenta AXIS, un marco que aprovecha los modelos de lenguaje de gran tamaño para interrogar simuladores de entornos con prompts contrafácticos, generando así explicaciones centradas en el ser humano para sistemas multiagente que mejoran significativamente la corrección percibida y la precisión de la predicción de objetivos en comparación con las líneas base existentes.

Autores originales: Bálint Gyevnár, Christopher G. Lucas, Stefano V. Albrecht, Shay B. Cohen

Publicado 2026-06-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bálint Gyevnár, Christopher G. Lucas, Stefano V. Albrecht, Shay B. Cohen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo una compleja coreografía de danza con cinco bailarines (los agentes) moviéndose por un escenario. De repente, un bailarín hace un movimiento extraño. Preguntas: "¿Por qué hizo eso?".

En el mundo de los sistemas autónomos (como los coches autónomos), obtener una buena respuesta a esa pregunta es difícil. La "danza" ocurre en un entorno caótico, y los bailarines están reaccionando entre sí de formas que son difíciles de desenredar.

Este artículo presenta un nuevo método llamado AXIS (Explicaciones Agénticas mediante Interrogación de Simulación) para ayudar a explicar estos movimientos. Piensa en AXIS no como un informe estático, sino como un detective con una máquina del tiempo y un guionista mágico.

Así es como funciona, desglosado en pasos sencillos:

1. El Detective (El Modelo de Lenguaje Grande)

El "detective" es una IA inteligente (un Modelo de Lenguaje Grande o LLM). Su trabajo es hablar contigo y descubrir la historia detrás de la acción. Pero no se limita a adivinar; tiene una herramienta especial.

2. La Máquina del Tiempo (El Simulador)

El detective tiene acceso a una simulación perfecta del mundo. Esto es como un videojuego que puede reproducir el momento exacto en que ocurrió la acción.

3. El Interrogatorio (Preguntar "¿Qué pasaría si...?")

En lugar de limitarse a mirar el vídeo y adivinar, el detective comienza a hacer preguntas específicas a la máquina del tiempo utilizando "prompts de interrogación". Es como un científico realizando experimentos:

"Eliminar": "¿Qué pasaría si borráramos ese otro coche de la escena por completo? ¿Habría cambiado nuestro conductor de carril de todos modos?"
"Qué pasaría si": "¿Qué pasaría si ese otro coche hubiera seguido recto en lugar de girar? ¿Habría esperado nuestro conductor?"

4. La Síntesis (Armar el rompecabezas)

La máquina del tiempo ejecuta estos escenarios y le entrega al detective nuevos datos. El detective entonces observa las diferencias:

Escenario A (Vida real): El Coche 1 gira, el Coche 0 hace un volantazo.
Escenario B (Máquina del tiempo): El Coche 1 sigue recto, el Coche 0 no hace el volantazo.

El detective se da cuenta: "¡Ajá! El Coche 0 hizo el volantazo porque el Coche 1 giró. Si el Coche 1 no hubiera girado, no habría pasado nada".

El detective escribe entonces una explicación comprensible para el humano basada en estos experimentos de "¿qué pasaría si?", en lugar de simplemente describir los datos brutos.

¿Por qué es esto mejor que la forma antigua?

El artículo compara AXIS con otros dos métodos:

El enfoque de "Solo el Modelo": Esto es como pedirle al detective que mire el vídeo una vez y adivine la razón sin probar nada. El artículo encontró que esto a menudo conduce a respuestas genéricas, erróneas o superficiales (por ejemplo, "Se movieron porque había espacio", perdiendo de vista la razón real).
El enfoque de "Sin Explicación": Simplemente entregar al usuario los datos brutos para que se las arregle solo.

Los Resultados:
Cuando los investigadores probaron esto en escenarios de coches autónomos (como incorporarse en una autopista o navegar por una rotonda), AXIS funcionó significativamente mejor:

Más Preciso: Las explicaciones fueron juzgadas como más correctas (aproximadamente entre un 7,7% y un 17% más que la línea base).
Mejores Predicciones: Cuando las personas leían la explicación de AXIS, eran mucho mejores adivinando qué haría el coche a continuación o hacia dónde intentaba ir (hasta un 23% más de precisión para algunos modelos).
Enfoque en la Causalidad: El "detective" aprendió a hacer las preguntas de "¿qué pasaría si...?" adecuadas para encontrar la causa real, en lugar de simplemente enumerar hechos.

El Problema (Limitaciones)

El artículo es honesto sobre dónde tiene dificultades el sistema:

Actores Irracionales: Si un "bailarín" en la simulación hace algo completamente loco o rompe las reglas de la carretera, el detective a veces se confunde porque asume que todos actúan de forma lógica.
Actores Ocultos: Si un coche está oculto detrás de un edificio (oclusión), el detective a veces no detecta que ese coche oculto es la verdadera razón de la acción, porque no puede "verlo" en la simulación.
El Juez: Para probar qué tan buenas eran las explicaciones, los investigadores utilizaron otra IA para calificarlas (ya que los estudios humanos son costosos). Aunque esto funcionó, el artículo señala que los jueces de IA pueden tener sus propios sesgos, como preferir respuestas cortas o confundirse con demasiados detalles.

La Conclusión

AXIS es un sistema que ayuda a la IA a explicar sus decisiones mediante la simulación de realidades alternativas. En lugar de decir simplemente "Hice X", pregunta "¿Qué habría pasado si no hiciera X?" y utiliza la respuesta para contar una historia clara de causa y efecto al usuario humano. Funciona mejor cuando los agentes actúan de forma lógica y el entorno es visible.

Resumen Técnico: Integración de Simulaciones Contrafácticas con Modelos de Lenguaje para la Explicación del Comportamiento Multiagente

Planteamiento del Problema
Los Sistemas Multiagente (MAS) autónomos, como los vehículos de conducción autónoma y los algoritmos de negociación, enfrentan desafíos significativos de confianza debido a riesgos como la descoordinación y el desalineamiento de objetivos. Si bien la IA explicable (XAI) es crucial para la calibración de la confianza, los métodos actuales para la Toma de Decisiones Secuenciales (SDM) explicable enfrentan tres obstáculos principales: (1) la complejidad de los entornos (espacios de alta dimensionalidad, observabilidad parcial, dinámica no estacionaria); (2) el "factor humano", donde las explicaciones deben alinearse con diversos procesos cognitivos y preferencias; y (3) la falta de métricas de evaluación estandarizadas. Los enfoques existentes suelen centrarse en explicaciones mecanísticas de bajo nivel (por ejemplo, mapas de saliencia) en lugar de explicaciones de "acción" de alto nivel que describan el comportamiento del agente en términos de relaciones causales entre acciones, creencias y resultados.

Metodología: AXIS
Los autores proponen AXis (Agentic eXplanations via Interrogative Simulation), un marco que genera explicaciones de acción centradas en el humano combinando Modelos de Lenguaje de Gran Escala (LLMs) con simuladores de entorno. AXIS operacionaliza el Modelo de Tamaño de Efecto Contrafáctico (CESM), el cual postula que una causa se selecciona para una explicación si coexiste con un evento bajo condiciones de trasfondo diferentes pero similares.

El marco AXIS funciona mediante un proceso de interrogación y síntesis de múltiples rondas:

Contextualización: El sistema recupera el estado actual del MAS (modelado como un Juego Estocástico Parcialmente Observable, o POSG) y verbaliza observaciones, acciones y elementos estáticos del entorno en texto para el LLM.
Interrogación: El LLM propone prompts de intervención (por ejemplo, remove [eliminar], whatif [qué pasaría si], add [añadir], what [qué]) al simulador. Estos prompts se basan en opciones (abstracciones de acciones de alto nivel) para cerrar la brecha entre los estados de bajo nivel del simulador y las capacidades de razonamiento del LLM.
Simulación: El simulador ejecuta la intervención propuesta, realizando una simulación hacia adelante del entorno para generar trayectorias y recompensas contrafácticas.
Síntesis: Los resultados de la simulación se verbalizan y se retroalimentan al LLM, el cual sintetiza la información contrafáctica en una explicación parcial.
Iteración: Este bucle se repite hasta un número máximo de rondas ( $N_{max}$ ), permitiendo que el LLM refine su comprensión de las relaciones causales antes de generar una explicación final.

Contribuciones Clave

Formalización: Se formaliza el problema de la explicación de acciones para MAS en el contexto de juegos estocásticos parcialmente observables.
Marco de Trabajo: La introducción de AXIS, un método novedoso para generar explicaciones de acción utilizando simulaciones contrafácticas y LLMs.
Metodología de Evaluación: Un marco de evaluación integral para SDM explicable que combina:
- Análisis de corrección cualitativa.
- Pruebas de robustez frente a hiperparámetros y variaciones de modelos.
- Métricas de preferencia subjetiva (completitud, satisfacción, detalle, confiabilidad).
- Métricas de capacidad de acción objetiva (precisión en la predicción de objetivos y de la siguiente acción).
- El uso de un LLM externo como juez para escalar la evaluación.
Validación Empírica: Experimentos realizados en planificación de movimiento para conducción autónoma a través de diez escenarios (racionales, irracionales y de oclusión) utilizando cinco LLMs diferentes.

Resultados
La evaluación, realizada en escenarios de conducción autónoma con hasta cinco agentes, arrojó los siguientes hallazgos:

Corrección Percibida: AXIS mejoró la corrección percibida de las explicaciones en al menos un 7.7% en todos los modelos probados en comparación con una línea base "ModelOnly" (donde el LLM solo recibe el contexto inicial sin simulación).
Predicción de Objetivos: AXIS mejoró la precisión de la predicción de objetivos en un 23% para cuatro de los cinco modelos probados.
Predicción de Acciones: Los resultados fueron comparables o mejoraron para la predicción de acciones en cuatro modelos.
Utilidad de la Interrogación: El análisis del uso de prompts reveló que los modelos que utilizaron prompts de remove y whatif (que facilitan el razonamiento contrafáctico) alcanzaron puntuaciones de corrección más altas. Los modelos que no utilizaron estos prompts (por ejemplo, DeepSeek-V3) tuvieron un desempeño deficiente.
Limitaciones en el Razonamiento: Aunque fue efectivo en escenarios racionales, AXIS tuvo dificultades con el comportamiento de agentes irracionales y factores de oclusión. Los LLMs tendieron a asumir la adherencia racional a las reglas y fallaron al proponer intervenciones que forzaran el comportamiento irracional o al inferir correctamente agentes ocluidos, lo que resalta las limitaciones actuales del razonamiento de los LLM respecto a la observabilidad parcial.
Varianza de Modelos: Ningún LLM dominó todas las métricas. Los modelos con mayor capacidad de razonamiento (por ejemplo, o4-mini, DeepSeek-R1) proporcionaron una alta corrección percibida, pero a veces menores puntuaciones de capacidad de acción, potencialmente debido a que el exceso de contexto "confundió" al LLM evaluador.

Significancia y Reivindicaciones
El artículo afirma que AXIS representa un paso significativo hacia adelante en la explicabilidad de los MAS al pasar de una atribución de características estática y post-hoc a un razonamiento contrafáctico dinámico e interactivo. Los autores sostienen que su proceso de interrogación-síntesis permite la selección de los factores causales más relevantes, resultando en explicaciones que son más precisas y accionables para tareas posteriores como la predicción de objetivos.

Sin embargo, los autores mantienen una postura modesta respecto a sus afirmaciones:

Reconocen que el uso de un LLM como evaluador introduce posibles sesgos, particularmente en la puntuación de preferencias subjetivas, y llaman a futuros estudios con sujetos humanos.
Señalan que el éxito del método está actualmente limitado por las capacidades de los LLMs subyacentes, específicamente en lo que respecta al razonamiento sobre la irracionalidad y la observabilidad parcial.
Destacan que la falta de bases estandarizadas en el campo limita las comparaciones directas, aunque establecieron una línea base "ModelOnly" para contextualizar sus mejoras.
El trabajo se presenta como una prueba de concepto para la integración de simulación y modelos de lenguaje, quedando abierta la cuestión de la escalabilidad a un mayor número de agentes y dominios discretos para futuras investigaciones.