Resumo Técnico: PLATO (Pointer Learner for Agent and Task Openness)

Declaração do Problema

Sistemas de Agentes Abertos (OASYS) são ambientes multiagente onde os conjuntos de agentes e tarefas mudam imprevisivelmente ao longo do tempo. Essa "abertura" manifesta-se como Abertura de Agentes (AO), onde agentes entram ou saem do sistema, e Abertura de Tarefas (TO), onde tarefas aparecem ou desaparecem. Essas dinâmicas desafiam fundamentalmente o Aprendizado por Reforço Multiagente (MARL) padrão, que tipicamente assume espaços de estados e ações fixos. Métodos existentes abordam esses problemas apenas parcialmente: abordagens de preenchimento (padding) e mascaramento introduzem limites artificiais, enquanto métodos recentes baseados em grafos ou hipergrafos frequentemente lidam com apenas uma dimensão de abertura ou dependem de suposições restritivas (por exemplo, conjuntos de agentes fixos ou espaços de tarefas limitados). Consequentemente, há uma falta de frameworks que tratem conjuntamente a AO e a TO sem exigir retreinamento ou impor limites fixos no espaço agente-tarefa.

Metodologia

O artigo introduz o PLATO (Pointer Learner for Agent and Task Openness), um algoritmo de MARL de Treinamento Centralizado e Execução Descentralizada (CTDE) projetado para operar sobre espaços de estados e ações ilimitados.

1. Formalização: TaAgO-MG

Os autores formalizam o problema como um Jogo de Markov de Agentes e Tarefas Abertos (TaAgO-MG). Isso estende os anteriores Jogos de Markov de Tarefas Abertas (TaO-MG) ao tratar tanto o conjunto de agentes ($N$) quanto o conjunto de tarefas ($X$) como variáveis dinâmicas que evoluem ao longo do tempo. Uma função geradora $\Psi$ adapta os componentes básicos do jogo de Markov (estado, ação, transição e recompensa) em cada passo de tempo com base na composição atual de agentes e tarefas.

2. Arquitetura

O PLATO emprega uma arquitetura de ator-crítico com os seguintes componentes:

• Ator de Ponteiro (Descentralizado):

  • Em vez de classificar ações de um vocabulário fixo, o ator utiliza um mecanismo de rede de ponteiro (pointer network).
  • Fatoração de Observação: A observação local do agente é fatorada em uma matriz de características do agente e uma matriz de características da tarefa.
  • Geração de Consulta (Query): Para lidar com a AO, o conjunto de agentes é agregado em um vetor de consulta de comprimento fixo usando estatísticas invariantes à permutação (média, variância, mínimo, máximo) processadas por um MLP. Isso garante que a política seja invariante à ordenação dos agentes.
  • Geração de Chave (Key): Cada tarefa disponível é codificada em um vetor de chave via MLP.
  • Apontamento Baseado em Conteúdo: O ator calcula pontuações de atenção entre a consulta e as chaves das tarefas usando atenção aditiva. A saída é uma distribuição de probabilidade diretamente sobre as tarefas atualmente disponíveis (mais uma ação NO-OP). À medida que as tarefas aparecem ou desaparecem, o suporte desta distribuição muda automaticamente sem retreinamento.

• Crítico GNN (Centralizado):

  • O crítico estima o valor do estado global durante o treinamento.
  • Ele representa o estado aberto como um grafo bipartido onde os nós são agentes e tarefas, e as arestas representam interações potenciais.
  • Uma Rede Neural Convolucional de Grafos (GCN) propaga informações através das arestas agente-tarefa.
  • A estrutura do grafo muda dinamicamente com o número de agentes e tarefas, evitando a concatenação de tamanho fixo. Uma camada de pooling de média seguida por um MLP produz uma estimativa de valor escalar.

3. Treinamento

O PLATO é treinado usando Otimização de Política Próxima Multiagente (MAPPO). O ator e o crítico são otimizados conjuntamente usando Estimativa de Vantagem Generalizada (GAE). A complexidade computacional por passo de tempo escala com o número de agentes ativos ($|N_t|$) e tarefas ativas ($|X_t|$), especificamente $O(|N_t|^2 + |N_t||X_t|)$, em vez de um limite fixo.

Principais Contribuições

1. Arquitetura PLATO: O primeiro framework de MARL que lida conjuntamente com AO e TO via apontamento baseado em conteúdo, eliminando a necessidade de limites fixos, preenchimento (padding) ou retreinamento quando a composição do ambiente muda.
2. Formalização TaAgO-MG: Uma extensão rigorosa das formulações de tarefas abertas que fornece garantias formais de que o PLATO é bem definido e invariante à permutação sobre espaços de estado e ação contáveis e ilimitados.
3. Avaliação Empírica: Avaliação abrangente no domínio de Supressão de Incêndios Florestais (parte da iniciativa MOASEI), demonstrando desempenho em vários tamanhos de grade e configurações de abertura (S0–S3).
4. Generalização Zero-Shot: Evidência de que políticas treinadas em grades menores generalizam efetivamente para grades maiores não vistas sem retreinamento, superando as linhas de base de estado da arte em consistência.

Resultados Experimentais

Os autores avaliaram o PLATO contra linhas de base inteligentes (DICG, DGN, MOHITO) e linhas de base heurísticas (NOOP, Aleatório, Mais Forte, Mais Fraco) em grades 2×3, 3×3 e 4×4 sob quatro configurações que variam de fechada (S0) a totalmente aberta (S3, combinando propagação endógena, ignições exógenas e depleção de agentes).

• Desempenho: O PLATO alcançou os retornos de episódio mais altos nas configurações mais exigentes (S2 e S3) em grades 3×3 e 4×4 com significância estatística. Na configuração fechada (S0), seu desempenho foi equivalente ao de outros métodos inteligentes.
• Eficiência: O PLATO demonstrou uma eficiência superior de recompensa-por-combate na maioria das configurações abertas, indicando melhor alocação de recursos e priorização de tarefas.
• Generalização: Em avaliações zero-shot (treinamento em grades menores, teste em grades maiores), o PLATO mostrou uma generalização mais consistente do que as linhas de base. Notavelmente, o MOHITO colapsou para retornos negativos em certos cenários abertos zero-shot, enquanto o PLATO manteve retornos positivos.
• Estudos de Ablação: Os autores investigaram tipos de codificador (MLP vs. LSTM) e pontuação de atenção (aditiva vs. produto escalar). Os resultados indicaram que a combinação de LSTM + Atenção Aditiva gerou a generalização zero-shot mais forte em configurações altamente abertas (S3), enquanto MLP + Produto Escalar teve o melhor desempenho em configurações mais simples e fechadas (S0).

Significância e Alegações

O artigo afirma que o PLATO aborda uma limitação fundamental no MARL atual: a incapacidade de escalar para conjuntos de agentes e tarefas dinâmicos e ilimitados sem mudanças arquiteturais ou retreinamento. Ao utilizar redes de ponteiro e redes neurais de grafos, o PLATO trata o espaço de ação como um conjunto dinâmico de conteúdo, em vez de um índice fixo.

Os autores afirmam que o PLATO fornece uma solução bem definida para OASYS, provando que a política permanece válida independentemente do número de agentes ou tarefas. Os resultados empíricos sugerem que esta abordagem permite o implante robusto e escalável em cenários do mundo real, onde a composição do sistema é imprevisível, oferecendo um passo significativo para tornar o MARL aplicável a ambientes abertos e dinâmicos. O trabalho não pretende resolver todas as formas de abertura (excluindo especificamente a Abertura de Estrutura/Frame Openness), mas estabelece uma base sólida para lidar com mudanças estruturais nos conjuntos de agentes e tarefas.