Explainable Decision Graphs for Trustworthy Autonomous Multi-Agent Systems

Resumen Técnico: Grafos de Decisión Explicables para Sistemas Multiagente Autónomos Confiables

Declaración del Problema
Los Sistemas Multiagente (MAS, por sus siglas en inglés) Autónomos se despliegan cada vez más en dominios críticos como la salud, las finanzas, la ciberseguridad y el transporte autónomo. Si bien estos sistemas ofrecen flexibilidad y escalabilidad mediante la toma de decisiones distribuida, su naturaleza colaborativa crea un problema de "caja negra". Las decisiones finales surgen de secuencias complejas de observaciones, comunicaciones entre agentes, razonamiento intermedio, conflictos y pasos de verificación. Las técnicas existentes de Inteligencia Artificial Explicable (XAI), específicamente LIME (Local Interpretable Model-Agnostic Explanations) y SHAP (SHapley Additive exPlanations), están diseñadas primordialmente para explicar predicciones de modelos de aprendizaje automático individuales. Carecen de la capacidad de representar fenómenos a nivel de sistema, tales como qué agentes específicos contribuyeron a una decisión, cómo se intercambió la evidencia, cómo se resolvieron los conflictos o cómo se aplicaron las reglas de verificación. En consecuencia, existe una brecha en la representación del proceso de razonamiento distribuido de los MAS en una forma que sea comprensible, trazable y verificable.

Metodología: El Grafo de Decisión Explicable (EDG)
Para abordar esta brecha, el artículo propone el marco de trabajo del Grafo de Decisión Explicable (EDG, por sus siglas en inglés). Este marco actúa como una capa de explicación y trazabilidad que opera junto a, en lugar de reemplazar, los agentes autónomos subyacentes. La metodología consta de cuatro módulos primarios:

1. Ejecución y Monitoreo de Agentes: Este módulo monitorea la ejecución de los agentes autónomos, registrando eventos que incluyen identificadores de agentes, entradas/observaciones, decisiones intermedias, puntuaciones de confianza, evidencia de apoyo y marcas de tiempo.
2. Seguimiento de Interacción entre Agentes: Este módulo registra las comunicaciones entre agentes, definidas como tuplas de emisor, receptor, mensaje y tiempo. Rastrea específicamente los conflictos donde los agentes proponen decisiones divergentes.
3. Construcción del Grafo de Decisión Explicable: El núcleo del marco construye un grafo dirigido $G = (V, E)$. El conjunto de nodos $V$ es la unión de nodos de agentes, nodos de entrada/observación, nodos de evidencia, nodos de decisión, nodos de verificación y nodos de acción. Las aristas representan relaciones tales como "apoya", "influye", "comunica", "contradice", "verifica" y "produce". Esta estructura permite el rastreo hacia atrás de una acción final del sistema hasta sus agentes y evidencia contribuyentes.
4. Verificación y Generación de Explicaciones: Una capa de verificación comprueba las decisiones contra restricciones de seguridad y políticas predefinidas ($D |= R$). Basándose en la estructura del grafo, el sistema genera explicaciones en tres niveles distintos:
   • Nivel de Usuario: Un resumen conciso de la razón principal de la decisión.
   • Nivel de Desarrollador: Información detallada con respecto a agentes, evidencia, interacciones y verificación.
   • Nivel de Auditor: Un rastro completo de los eventos de decisión y resultados de verificación.

El marco utiliza el Benchmark MAESTRO MAS para la evaluación experimental, el cual proporciona trazas de ejecución de 12 sistemas multiagente. La metodología de evaluación propuesta se centra en métricas como la fidelidad de la explicación, la completitud, la trazabilidad de la decisión, la comprensibilidad humana, la precisión de la decisión, la consistencia de la explicación y la sobrecarga computacional.

Contribuciones Clave
El artículo describe cinco contribuciones primarias al campo de la IA confiable:

1. Representación de Grafo a Nivel de Sistema: Una novedosa estructura basada en grafos para explicar decisiones multiagente que se extiende más allá de las explicaciones de modelos individuales.
2. Trazabilidad Consciente de la Interacción: Un mecanismo que conecta explícitamente agentes, evidencia, decisiones intermedias y acciones finales, capturando las dependencias entre agentes.
3. Explicación Consciente de la Verificación: Un mecanismo integrado que asegura que las rutas de decisión puedan examinarse frente a restricciones de seguridad y política.
4. Explicaciones Multinivel: La capacidad de adaptar las explicaciones para diferentes partes interesadas (usuarios, desarrolladores, auditores) basándose en los mismos datos del grafo subyacente.
5. Metodología Experimental: Un marco propuesto para evaluar el EDG frente a enfoques existentes (LIME, SHAP, XAI a nivel de agente) utilizando métricas cuantitativas y cualitativas.

Resultos y Estado Experimental
El artículo establece explícitamente que los resultados numéricos empíricos están reservados para la etapa de implementación y evaluación. Por consiguiente, la sección de "Resultados" no presenta datos de rendimiento, puntuaciones de precisión o mediciones de latencia. En su lugar, proporciona:

• Comparaciones Conceptuales: Una tabla (Tabla I) que ilustra que, a diferencia de LIME o SHAP, el propuesto EDG soporta capacidades de nivel de agente, nivel de interacción, trazabilidad y verificación.
• Visualizaciones Listas para Medición: Las figuras y tablas (por ejemplo, Fig. 4, Tabla II, Fig. 7) se presentan como plantillas para datos futuros. Indican que la complejidad del grafo se medirá frente al número de agentes participantes y que las comparaciones de rendimiento se realizarán contra líneas base.
• Marco Estadístico: El artículo define los métodos estadísticos (estadística descriptiva, pruebas t, ANOVA, intervalos de confianza) que se utilizarán para analizar los datos una vez que el marco sea ejecutado en el conjunto de datos MAESTRO.

Significancia y Reivindicaciones
El artículo afirma modestamente que el marco EDG proporciona una estructura fundacional para la trazabilidad, transparencia y rendición de cuentas a nivel de sistema en los MAS autónomos. Argumenta que, si bien los métodos existentes como LIME y SHAP son valiosos para modelos individuales, son insuficientes para el razonamiento colaborativo que se encuentra en los MAS. La significancia de este trabajo radica en su capacidad para:

• Representar la ruta de decisión completa, incluyendo conflictos y eventos de verificación.
• Permitir a los usuarios rastrear decisiones finales hasta agentes y evidencia específicos.
• Apoyar la verificación de decisiones frente a restricciones de seguridad.

El autor reconoce limitaciones, señalando que los grafos de decisión pueden crecer considerablemente con el aumento de la cantidad de agentes, lo que podría incrementar la sobrecarga computacional y los desafíos de interpretabilidad humana. El artículo concluye que el marco es un paso hacia la IA confiable, pero enfatiza que se requiere validación empírica para sustentar las afirmaciones sobre mejoras de rendimiento o significancia estadística. El trabajo futuro se identifica centrándose en la construcción en tiempo real, el razonamiento causal, la integración con Modelos de Lenguaje Grande (LLM) y la verificación formal.