Explainable Decision Graphs for Trustworthy Autonomous Multi-Agent Systems

Resumo Técnico: Grafos de Decisão Explicáveis para Sistemas Multiagentes Autônomos Confiáveis

Declaração do Problema
Sistemas Multiagentes (MAS) Autônomos são cada vez mais implantados em domínios críticos, como saúde, finanças, cibersegurança e transporte autônomo. Embora esses sistemas ofereçam flexibilidade e escalabilidade por meio de tomada de decisão distribuída, sua natureza colaborativa cria um problema de "caixa preta". As decisões finais emergem de sequências complexas de observações, comunicações entre agentes, raciocínios intermediários, conflitos e etapas de verificação. As técnicas existentes de Inteligência Artificial Explicável (XAI), especificamente LIME (Local Interpretable Model-Agnostic Explanations) e SHAP (SHapley Additive exPlanations), são projetadas primariamente para explicar previsões individuais de aprendizado de máquina. Elas carecem da capacidade de representar fenômenos em nível de sistema, como quais agentes específicos contribuíram para uma decisão, como a evidência foi trocada, como os conflitos foram resolvidos ou como as regras de verificação foram aplicadas. Consequentemente, há uma lacuna na representação do processo de raciocínio distribuído de MAS de uma forma que seja compreensível, rastreável e verificável.

Metodologia: O Grafo de Decisão Explicável (EDG)
Para abordar essa lacuna, o artigo propõe o framework de Grafo de Decisão Explicável (EDG). Este framework atua como uma camada de explicação e rastreabilidade que opera ao lado, e não substituindo, os agentes autônomos subjacentes. A metodologia consiste em quatro módulos primários:

1. Execução e Monitoramento de Agentes: Este módulo monitora o tempo de execução dos agentes autônomos, registrando eventos incluindo identificadores de agentes, entradas/observações, decisões intermediárias, pontuações de confiança, evidências de suporte e carimbos de tempo (timestamps).
2. Rastreamento de Interação entre Agentes: Este módulo registra comunicações entre agentes, definidas como tuplas de remetente, receptor, mensagem e tempo. Ele rastreia especificamente conflitos onde os agentes propõem decisões divergentes.
3. Construção do Grafo de Decisão Explicável: O núcleo do framework constrói um grafo direcionado $G = (V, E)$. O conjunto de nós $V$ é a união de nós de agentes, nós de entrada/observação, nós de evidência, nós de decisão, nós de verificação e nós de ação. As arestas representam relações como "suporta", "influencia", "comunica", "contradiz", "verifica" e "produz". Esta estrutura permite a rastreabilidade reversa de uma ação final do sistema até seus agentes e evidências contribuintes.
4. Verificação e Geração de Explicação: Uma camada de verificação checa as decisões contra restrições de segurança e políticas predefinidas ($D |= R$). Com base na estrutura do grafo, o sistema gera explicações em três níveis distintos:
   • Nível do Usuário: Um resumo conciso do motivo principal da decisão.
   • Nível do Desenvolvedor: Informações detalhadas sobre agentes, evidências, interações e verificação.
   • Nível do Auditor: Um rastro completo de eventos de decisão e resultados de verificação.

O framework utiliza o benchmark MAESTRO MAS para avaliação experimental, que fornece traços de execução de 12 sistemas multiagentes. A metodologia de avaliação proposta foca em métricas como fidelidade da explicação, completude, rastreabilidade de decisão, compreensibilidade humana, precisão da decisão, consistência da explicação e sobrecarga computacional.

Principais Contribuições
O artigo delineia cinco contribuições primárias para o campo da IA confiável:

1. Representação de Grafo em Nível de Sistema: Uma estrutura de grafo inovadora baseada em grafos para explicar decisões multiagentes que se estende além das explicações de modelos individuais.
2. Rastreabilidade Consciente de Interação: Um mecanismo que conecta explicitamente agentes, evidências, decisões intermediárias e ações finais, capturando dependências inter-agentes.
3. Explicação Consciente de Verificação: Um mecanismo integrado que garante que os caminhos de decisão possam ser examinados contra restrições de segurança e políticas.
4. Explicações de Múltiplos Níveis: A capacidade de adaptar explicações para diferentes partes interessadas (usuários, desenvolvedores, auditores) com base nos mesmos dados do grafo subjacente.
5. Metodologia Experimental: Um framework proposto para avaliar o EDG contra abordagens existentes (LIME, SHAP, XAI de nível de agente) usando métricas quantitativas e qualitativas.

Resultos e Status Experimental
O artigo afirma explicitamente que resultados numéricos empíricos estão reservados para a etapa de implementação e avaliação. Consequentemente, a seção de "Resultos" não apresenta dados de desempenho, pontuações de precisão ou medidas de latência. Em vez disso, ela fornece:

• Comparações Conceituais: Uma tabela (Tabela I) ilustrando que, ao contrário do LIME ou SHAP, o proposto EDG suporta capacidades de nível de agente, nível de interação, rastreabilidade e verificação.
• Visualizações Prontas para Medição: Figuras e tabelas (ex: Fig. 4, Tabela II, Fig. 7) são apresentadas como modelos para dados futuros. Elas indicam que a complexidade do grafo será medida contra o número de agentes participantes e que as comparações de desempenho serão conduzidas contra bases de comparação (baselines).
• Estrutura Estatística: O artigo define os métodos estatísticos (estatística descritiva, testes t, ANOVA, intervalos de confiança) que serão usados para analisar os dados uma vez que o framework seja executado no conjunto de dados MAESTRO.

Significância e Alegações
O artigo alega modestamente que o framework EDG fornece uma estrutura fundamental para rastreabilidade, transparência e responsabilidade em nível de sistema para MAS autônomos. Argumenta-se que, embora métodos existentes como LIME e SHAP sejam valiosos para modelos individuais, eles são insuficientes para o raciocínio colaborativo encontrado em MAS. A significância deste trabalho reside em sua capacidade de:

• Representar o caminho completo da decisão, incluindo conflitos e eventos de verificação.
• Permitir que usuários rastreiem decisões finais até agentes e evidências específicas.
• Suportar a verificação de decisões contra restrições de segurança.

O autor reconhece limitações, observando que os grafos de decisão podem crescer consideravelmente com o aumento do número de agentes, potencialmente aumentando a sobrecarga computacional e os desafios de interpretabilidade humana. O artigo conclui que o framework é um passo em direção à IA confiável, mas enfatiza que a validação empírica é necessária para substanciar as alegações relativas a melhorias de desempenho ou significância estatística. O trabalho futuro é identificado focando em construção em tempo real, raciocínio causal, integração com Modelos de Linguagem de Grande Escala (LLMs) e verificação formal.