Fluid-Agent Reinforcement Learning

Título: Aprendizado por Reforço de Agentes Fluidos (Fluid-Agent Reinforcement Learning)

Autores: Shishir Sharma, Doina Precup e Theodore J. Perkins.

---

1. Problema e Motivação

O Aprendizado por Reforço Multiagente (MARL) tradicional foca predominantemente em cenários com um número fixo de agentes. Embora essa suposição simplifique a modelagem matemática e o estudo de equilíbrios, ela é limitante para aplicações do mundo real. Em muitos sistemas reais (biológicos, econômicos, corporativos), o número de agentes não é fixo nem conhecido a priori; agentes podem criar novos agentes (ex.: divisão celular, criação de subsidiárias) ou eliminá-los.

O artigo identifica a lacuna na formalização de ambientes onde a população de agentes é fluida e dinâmica, permitindo que os próprios agentes decidam ativamente modificar o tamanho da equipe através de ações de "nascimento" (spawning).

2. Metodologia e Framework

2.1. Definição Formal: POFSG

Os autores propõem o framework Jogos Estocásticos Parcialmente Observáveis Fluidos (POFSG - Partially Observable Fluid Stochastic Games).

• Extensão do POSG: O modelo estende os Jogos Estocásticos Parcialmente Observáveis (POSG) tradicionais.
• Função de Sobrevivência ($L$): Introduz uma função $L: S \to 2^I$ que mapeia o estado para o conjunto de agentes vivos no momento.
• Ação de Spawn: Cada agente possui uma ação especial de "spawn" (criar outro agente). Quando executada, um novo agente é adicionado ao conjunto de agentes vivos, alterando dinamicamente o espaço de ações conjuntas e o conjunto de estados alcançáveis.
• Limites: O número total de agentes é limitado por um teto ($N$), mas o número ativo varia.

2.2. Fundamentos Teóricos

O artigo prova a existência de soluções de equilíbrio teóricas neste novo setting:

• Equilíbrio de Nash (NE): Demonstra-se que todo POFSG possui um Equilíbrio de Nash em estratégias mistas estacionárias, utilizando uma transformação para um jogo estocástico de jogadores fixos (onde agentes "não nascidos" têm uma ação de "fazer nada").
• Equilíbrio de Nash Perfeito em Subjogos (SPNE): Prova-se a existência de SPNE para POFSGs de horizonte finito com ações conjuntas observadas publicamente e memória perfeita, garantindo racionalidade sequencial em todos os pontos de decisão.

2.3. Ambientes de Avaliação

Os autores adaptaram benchmarks existentes e criaram um novo ambiente para testar o framework:

1. Predator-Prey (Fluido): Predadores devem cooperar para capturar presas. Agentes podem criar novos predadores. Testa-se diferentes estruturas de recompensa (recompensa constante vs. inversa ao tamanho da população).
2. Level-Based Foraging (LBF) (Fluido): Agentes com níveis devem coletar alimentos de níveis correspondentes. A nova dinâmica permite que agentes herdem o nível do pai ao nascer, testando a otimização da composição da equipe (não apenas o tamanho).
3. PuddleBridge (Novo): Um ambiente de grade 8x8 onde agentes devem atravessar uma parede. Se o "portão" estiver fechado, eles precisam criar uma "ponte" física sobre poças de água, exigindo que um agente fique embaixo (imobilizado) enquanto outro passa por cima. Isso força a descoberta de estratégias que alternam entre comportamento fluido (criar equipe) e não fluido (agir sozinho), dependendo da condição do ambiente.

2.4. Estratégia de Exploração

Para lidar com a complexidade exploratória (explorar o ambiente + explorar tamanhos de população), os autores utilizam:

• Amostragem aleatória do tamanho inicial da população e do teto de população no início de cada episódio.
• Um parâmetro de exploração específico para a ação de spawn ($\epsilon_{spawn}$), que aumenta linearmente durante o treinamento (aprendizado curricular).

3. Contribuições Principais

1. Formalização Teórica: Primeira definição formal de ambientes de agentes fluidos com provas de existência de equilíbrios de Nash e SPNE.
2. Novo Framework (POFSG): Um modelo que integra a criação de agentes como uma ação estratégica dentro do processo de decisão.
3. Análise de Viés Indutivo vs. Recompensa Fluida: Investigação de como algoritmos que otimizam o retorno individual (per-agent) versus o retorno conjunto (joint) se comportam sob diferentes estruturas de recompensa (ex.: quando a recompensa é dividida, criar mais agentes pode reduzir o ganho individual, mas aumentar o total).
4. Demonstração de Adaptação Dinâmica: Evidência empírica de que agentes podem aprender a ajustar o tamanho da equipe e as características dos novos membros (nível, tipo) em resposta à variabilidade da tarefa.

4. Resultados Experimentais

• Comparação de Algoritmos (Predator-Prey):

  • Em cenários de recompensa inversa ao tamanho (onde criar agentes dilui a recompensa individual), algoritmos de otimização individual (IQL, PPO) tendem a não criar agentes, mesmo que isso aumentasse o retorno conjunto. Métodos baseados em decomposição de valor (VDN) e CTDE (MAPPO) conseguiram otimizar o retorno conjunto, encontrando um ponto de equilíbrio ótimo (ex.: ~6 agentes).
  • Em cenários de recompensa constante, algoritmos CTDE conseguiram maximizar o retorno criando o número máximo de agentes, enquanto métodos DTDE falharam em coordenar essa expansão.

• Ablação de Variabilidade de Tarefa:

  • Grupos fluidos aprenderam a adaptar seu tamanho populacional à disponibilidade de recursos (presas). Quando as presas eram escassas, a equipe permanecia pequena para evitar custos de manutenção; quando abundantes, expandiam-se para capturar mais. Grupos de tamanho fixo não conseguiam se adaptar tão eficientemente a todas as densidades.

• Otimização de Composição (LBF):

  • Agentes aprenderam não apenas quando criar, mas quem criar. No cenário LBF, os algoritmos (VDN, PPO, MAPPO) aprenderam a criar exatamente um agente de nível 2 para complementar a equipe inicial, permitindo coletar todos os alimentos com o menor custo de spawn possível.

• Estratégias Ricas (PuddleBridge):

  • Os agentes aprenderam a distinguir entre cenários onde agir sozinho era ótimo (portão aberto) e onde a cooperação e criação de agentes eram necessárias (portão fechado). Eles alternaram dinamicamente entre estratégias fluidas e não fluidas, demonstrando uma capacidade de política qualitativamente superior à encontrada em ambientes de agentes fixos.

5. Significado e Conclusão

O trabalho estabelece as bases teóricas e práticas para o Aprendizado por Reforço de Agentes Fluidos. Ele demonstra que a capacidade de criar novos agentes não é apenas uma extensão mecânica, mas uma ferramenta estratégica poderosa que permite:

• Escalabilidade dinâmica em resposta a demandas ambientais.
• Otimização de recursos e composição de equipe.
• Descoberta de estratégias de coordenação mais complexas e adaptativas.

O artigo sugere que futuros trabalhos devem explorar cenários onde agentes podem também "morrer" (além de nascer) e investigar propriedades teóricas mais profundas, como complexidade de amostragem e condições de convergência em sistemas fluidos.