Interpretable Failure Analysis in Multi-Agent Reinforcement Learning Systems

Título: Análise de Falhas Interpretável em Sistemas de Aprendizado por Reforço Multiagente (MARL)

1. O Problema

O Aprendizado por Reforço Multiagente (MARL) é cada vez mais utilizado em domínios críticos para a segurança (como frotas de robôs, redes de energia e sistemas de transporte). No entanto, a detecção e atribuição de falhas nesses sistemas permanecem subdesenvolvidas e pouco interpretáveis.

O desafio central reside no efeito dominó: em sistemas multiagente acoplados, o primeiro agente a mostrar instabilidade detectável nem sempre é a verdadeira fonte da falha (o "Paciente Zero").

• Um agente a montante (a fonte real) pode sofrer uma pequena perturbação que se propaga lentamente.
• Um agente a jusante (afetado) pode amplificar essa perturbação devido à sua sensibilidade ou dinâmica de coordenação, cruzando o limiar de falha primeiro.
• Métodos atuais baseados em recompensas globais ou atribuição de crédito (como valores de Shapley) não conseguem identificar a origem temporal da falha, nem explicar como e por que a falha se propagou através das vias de coordenação aprendidas.

O artigo busca responder a três perguntas fundamentais:

1. Quem é o verdadeiro Paciente Zero? (O primeiro agente a entrar em um estado não robusto).
2. Por que agentes não atacados podem ser sinalizados primeiro? (Distinção entre fontes reais e efeitos de amplificação a jusante).
3. Como a instabilidade se propaga? (Rastreamento das vias de coordenação aprendidas).

2. Metodologia

Os autores propõem um framework de duas etapas baseado em gradientes para forense de falhas, movendo-se de caixas-pretas para análises no nível do gradiente.

Etapa 1: Detecção Local de Instabilidade (Candidato ao Paciente Zero)

• Mecanismo: Analisa a estabilidade da política de cada agente individualmente.
• Técnica: Utiliza a análise do resto de Taylor do custo do gradiente da política.
• Lógica: Define um custo de compromisso de ação $J_i$ baseado nas observações locais. Ao introduzir pequenas perturbações nas observações, calcula-se o erro de Taylor (que reflete a curvatura/segunda ordem).
• Detecção: Se o erro de Taylor exceder significativamente a faixa de operação normal, o agente é sinalizado. O primeiro agente a cruzar esse limiar torna-se o candidato inicial ao Paciente Zero ($\hat{p}_{S1}$).
• Vantagem: Funciona em execução descentralizada, sem necessidade de acessar políticas de outros agentes.

Etapa 2: Validação e Rastreamento da Fonte (Correção de "Downstream-First")

• Objetivo: Validar ou corrigir o candidato da Etapa 1, identificando se a detecção precoce foi devido a uma amplificação de uma fonte a montante.
• Mecanismo: Utiliza as derivadas do Critic (função de valor) para analisar a influência entre agentes.
• Técnica Geométrica:
  • Calcula a sensibilidade de primeira ordem ($G_{ij}$): quão fortemente a ação do agente $j$ afeta o valor do agente $i$.
  • Calcula a curvatura direcional de segunda ordem ($D_{ij}$): determina se a influência é aceleradora ($D > 0$, amplifica desvios) ou amortecida ($D < 0$).
• Algoritmo de Rastreamento (Traceback):
  • A partir do agente sinalizado na Etapa 1, o sistema rastreia para trás no tempo, agregando apenas as influências que são aceleradoras ($D > 0$).
  • Identifica o agente a montante com a maior influência acumulada.
  • Constrói um Grafo de Contágio Interpretável que mostra a direção, força, frequência de amplificação e tempo de propagação.

3. Principais Contribuições

1. Detecção de Paciente Zero em Duas Etapas: Um método que combina detecção local de instabilidade com validação de rastreamento a montante.
2. Explicação Geométrica de Anomalias: A análise de segunda ordem distingue influências aceleradoras de amortecidas, explicando por que agentes a jusante podem falhar antes das fontes reais.
3. Grafos de Contágio Interpretáveis: Grafos direcionados que quantificam matematicamente a força da influência, a frequência de amplificação e o tempo de propagação.
4. Avaliação Abrangente: Testes em dois ambientes (Simple Spread e StarCraft II) e dois algoritmos (MADDPG e HATRPO), demonstrando alta precisão e utilidade prática.

4. Resultados Experimentais

Os métodos foram avaliados em 500 episódios no Simple Spread (3 e 5 agentes) e 100 episódios no StarCraft II (SMAC).

• Precisão de Detecção (Paciente Zero):

  • O método alcançou uma precisão combinada (após correção da Etapa 2) entre 88,2% e 99,4%.
  • O algoritmo HATRPO (com paisagens de gradiente mais suaves) superou consistentemente o MADDPG na Etapa 1, pois o ruído de exploração do MADDPG gera mais "jitter" nos sinais de erro de Taylor.
  • A Etapa 2 foi crucial para corrigir falsos positivos em cenários de "downstream-first", especialmente no SMAC, onde a correção alcançou taxas de 70,8% a 76,9%.

• Validação de Influência:

  • A métrica de Ocupação de Instabilidade (IO) proposta superou significativamente as métricas tradicionais de desempenho (queda de recompensa ou valor Q), com ganhos de mais de 20 pontos percentuais em muitos casos.
  • Isso prova que a geometria do gradiente captura sinais de vulnerabilidade invisíveis para abordagens baseadas apenas em recompensa.

• Casos de Uso:

  • Caso de Alta Influência: Perturbações em estados críticos (alta sensibilidade + curvatura aceleradora) geraram instabilidade mais forte e persistente, corretamente rastreada pelo grafo.
  • Correção de Falso Paciente Zero: Em um cenário onde o agente 1 foi sinalizado primeiro (a jusante) devido à amplificação, a Etapa 2 rastreou corretamente a fonte real (agente 3 a montante) e explicou a via de propagação.

5. Significado e Conclusão

Este trabalho representa um avanço significativo para a segurança e confiabilidade de sistemas MARL em domínios críticos.

• Mudança de Paradigma: Transita da simples detecção de anomalias (baseada em recompensa) para a forense interpretável no nível do gradiente.
• Ação Prática: Permite que engenheiros não apenas saibam quem falhou primeiro, mas por que e através de quais caminhos a falha se espalhou.
• Aplicabilidade: Oferece ferramentas para depuração, teste e validação de sistemas multiagente, essencial para a confiança na implantação de IA em ambientes reais.

O framework demonstra que, ao desvendar as interdependências e a dinâmica de propagação de falhas através de análises geométricas (curvatura e sensibilidade), é possível diagnosticar falhas em cascata com precisão e transparência.