Alleviating Community Fear in Disasters via Multi-Agent Actor-Critic Reinforcement Learning

1. Problema e Motivação

Durante desastres, ocorrem falhas em cascata entre infraestruturas físicas (redes elétricas), sistemas cibernéticos (notícias, redes sociais) e comportamentos humanos (medo, cooperação). Essas interações acopladas criam ciclos de feedback onde a desinformação se espalha mais rápido que fatos, amplificando o medo da comunidade e reduzindo a adesão a ordens de evacuação.

O problema central identificado é que os modelos existentes de Resiliência Ciber-Físico-Social (CPS) são predominantemente descritivos. Eles simulam a dinâmica acoplada, mas não possuem mecanismos para intervenção ativa ou prescrição de estratégias de resposta. Não há um quadro unificado que capture o feedback em tempo real e oriente como as agências de resposta devem alocar recursos para mitigar o medo e restaurar a infraestrutura.

2. Metodologia Proposta

Os autores propõem uma extensão do modelo CPS de Valinejad e Mili (2023), transformando-o de um sistema de equações diferenciais puramente descritivo para um sistema de controle ativo.

• Formulação do Jogo: O sistema é modelado como um Jogo Diferencial Não-Zero-Sum (NZS) de três jogadores. Os jogadores são:
  1. Agência de Comunicação: Responsável por contra-mensagens e comunicação de risco.
  2. Concessionária de Energia: Responsável pelo despacho de equipes e restauração da rede.
  3. Agência de Gerenciamento de Emergência (EMS): Responsável por ambulâncias, abrigos e suprimentos.
• Dinâmica do Sistema: O estado do sistema é representado por um vetor de 10 variáveis (normalizadas entre 0 e 1), incluindo indicadores sociais (medo, busca por informação, cooperação), físicos (disponibilidade de energia, saúde) e cibernéticos (intensidade de notícias falsas). A dinâmica é descrita por equações diferenciais acopladas, onde o medo e a desinformação são drivers centrais.
• Solução via Aprendizado por Reforço (RL):
  • Como as equações de Hamilton-Jacobi (HJ) acopladas que definem o equilíbrio de Nash são intratáveis analiticamente para dinâmicas não lineares, os autores utilizam uma arquitetura Actor-Critic online baseada em Programação Dinâmica Adaptativa (ADP).
  • Cada agência mantém um Critic (aproximador da função de valor) e um Actor (aproximador da política).
  • O sistema opera em janelas de tempo com sinais exógenos (severidade do desastre) congelados, atualizando os pesos dos agentes continuamente para convergir para políticas de equilíbrio de Nash aproximadas.
  • O objetivo de cada agente é minimizar sua própria função de custo (penalizando o medo, déficits de infraestrutura e esforço de controle), reconhecendo que suas ações afetam os outros jogadores.

3. Principais Contribuições

1. Extensão Control-Affine do Modelo CPS: Adição de canais de controle aditivos ao modelo existente, permitindo a simulação de intervenções diretas (contra-mensagens, restauração de energia, deploy de EMS).
2. Jogo Diferencial NZS Resolvido Online: Implementação de uma arquitetura Actor-Critic baseada em modelo para resolver o jogo de três jogadores em tempo real, utilizando inicialização de controle zero e exploração limitada.
3. Validação Empírica e Generalização: Demonstração da eficácia da política aprendida em dados reais de furacões (Harvey e Irma), mostrando redução significativa no medo com generalização cruzada (treinado em Harvey, testado em Irma sem re-ajuste).

4. Resultados Experimentais

Os experimentos foram realizados utilizando dados do Furacão Harvey (para treinamento e validação) e do Furacão Irma (para validação cruzada).

• Redução do Medo:
  • Furacão Harvey: Redução média de ~70% no medo da comunidade em comparação com a simulação de malha aberta (sem controle).
  • Furacão Irma: Redução média de ~50% no medo, mesmo com parâmetros calibrados no Harvey e sem re-ajuste, confirmando a generalizabilidade do modelo.
• Recuperação de Infraestrutura: O controle manteve níveis mais altos de disponibilidade de energia e melhorou a saúde física em comparação com a linha de base.
• Comparação com Outros Controladores:
  • O controlador Actor-Critic NZS (proposto) superou controladores centralizados e heurísticos em termos de eficiência de esforço de controle.
  • Embora um controlador de "esforço máximo constante" tenha reduzido o medo em 92%, ele teve um custo de recursos proibitivo. O método proposto alcançou uma redução de 70% com o menor esforço de controle (0.97 vs 1.27 do centralizado), demonstrando que a otimização descentralizada baseada em jogos é mais eficiente.
• Trade-offs Identificados: A supressão do medo e a recuperação de energia foram priorizadas, resultando em um aumento no déficit de serviços de emergência médica (EMS). Análises de sensibilidade indicaram que a capacidade física do canal de EMS é o limitante, não a ponderação de custos.

5. Significado e Conclusões

O trabalho demonstra que a estrutura de acoplamento do sistema CPS, e não apenas o otimizador escolhido, determina quais agências podem reduzir efetivamente o medo. As principais conclusões políticas são:

1. Alavancagem da Comunicação: A agência de comunicação (contra-mensagens) é a intervenção de maior alavancagem devido ao seu duplo acoplamento com o medo e a desinformação.
2. Limitação Física vs. Otimização: A disponibilidade de EMS é limitada pela capacidade física de resposta (canal), e não apenas pela alocação de recursos via otimização.
3. Eficiência Descentralizada: A formulação de jogo não-zero-sum gera políticas mais eficientes em termos de esforço do que abordagens centralizadas, respeitando as estruturas de custo distintas de cada agência sem necessidade de coordenação centralizada perfeita.

Em suma, o artigo fornece um quadro teórico e prático para o controle ativo da resiliência comunitária, utilizando aprendizado por reforço multi-agente para coordenar respostas a desastres de forma a mitigar o pânico social e restaurar a infraestrutura de maneira eficiente.