Ant swarm functional control via stigmergic Reinforcement Learning agents

Resumo Técnico: Controle Funcional de Enxames de Formigas via Agentes de Aprendizado por Reforço Estigmérgicos

Definição do Problema
Sistemas complexos, como enxames de formigas, frequentemente exibem comportamentos globais emergentes (ex: trilhas ordenadas vs. movimento desordenado) que são difíceis de prever ou controlar, mesmo quando as regras de interação local são bem compreendidas. A teoria de controle tradicional visa conduzir um sistema a um estado específico, mas os autores propõem um conceito relaxado de controlabilidade funcional: direcionar um sistema para uma região do espaço de fase onde um comportamento macroscópico desejado (especificamente, a emergência de trilhas ordenadas) possa surgir espontaneamente. O desafio reside em influenciar essas dinâmicas sem intervenção direta nos agentes individuais ou conhecimento global do estado do sistema, particularmente em regimes onde parâmetros intrínsecos (capacidade sensorial e ruído) tipicamente levam ao caos.

Metodologia
Os autores propõem um framework onde uma população de agentes de Aprendizado por Reforço (RL) estigmérgicos (denominados "agentes inteligentes") é introduzida em um Modelo de Enxame de Formigas (ABM) padrão para influenciar a dinâmica coletiva de uma população nativa ("formigas ABM").

• Modelo do Sistema: O ambiente é uma rede discreta 2D onde as formigas ABM movem-se com base em um campo probabilístico dependente da concentração local de feromônio, capacidade sensorial ($\delta$) e ruído de sinal ($\beta$). Os feromônios são depositados a uma taxa $\eta$ e decaem a uma taxa $\kappa$.
• Agentes de Controle: Um subconjunto de agentes ($N'$) é equipado com uma política aprendida. Diferente das formigas ABM, seu movimento é determinado por uma política de RL, e eles depositam uma quantidade significativamente maior de feromônio ($\eta' = 1$ vs. $\eta = 0,01$).
• Framework de RL:
  • Algoritmo: Otimização de Política Próxima (PPO) é utilizada em um cenário de Treinamento Centralizado, Execução Descentralizada (CTDE).
  • Espaço de Estados: Cada agente inteligente observa uma vizinhança local de $9 \times 9$ contendo quatro canais: densidade de feromônio local, densidade de formigas ABM, densidade de agentes inteligentes e a direção anterior de movimento do agente.
  • Espaço de Ações: Movimento discreto para um dos 8 sítios vizinhos da rede.
  • Design de Recompensa: A recompensa é individual e local, derivada de uma métrica baseada em grafos construída a partir do estado local do agente. Ela penaliza estruturas altamente ramificadas ou periódicas e recompensa:
    1. Distribuição bimodal de feromônio (alta concentração em áreas específicas, baixa em outras).
    2. Alinhamento populacional (formigas ABM concentradas em traços de alto feromônio).
    3. Geometria da trilha (caminhos finos, alongados e não ramificados).
• Cenários de Treinamento: As políticas foram treinadas em dois cenários: (1) exposição ao diagrama de fase completo de parâmetros sensoriais ($\delta, \beta$), e (2) exposição a uma configuração específica ($\delta^*=0,3, \beta^*=4,5$) para testar a generalização.

Contribuições Principais

1. Controlabilidade Funcional via Estigmia: O artigo demonstra que o controle funcional pode ser alcançado inserindo uma pequena população de agentes de RL que interagem exclusivamente através do campo ambiental compartilhado (feromônios), sem manipulação direta dos agentes controlados.
2. Deslocamento da Transição de Fase: As políticas aprendidas deslocam com sucesso a linha de transição de fase do sistema, induzindo a formação de trilhas ordenadas em regimes de parâmetros (alto ruído, baixa sensibilidade) onde o sistema nativo permaneceria tipicamente desordenado.
3. Generalização: Uma política treinada em uma única configuração específica generaliza-se efetivamente por todo o diagrama de fase, sugerindo o aprendizado de princípios de navegação transferíveis em vez de um sobreajuste (overfitting) a condições ambientais específicas.
4. Distinção de um Simples Aumento de Feromônio: O estudo distingue rigorosamente entre os efeitos de apenas aumentar a deposição de feromônio (o que leva a estruturas agrupadas, não em trilhas) e os efeitos de políticas de movimento aprendidas (que geram trilhas coerentes e finas).

Resultados

• Formação de Trilhas: No "setup inteligente" (presença de agentes de RL), o sistema atingiu uma métrica média de cenário de trilha ($\langle TS \rangle_{50}$) de $-1,43$, superando o limiar empírico de $-1,6$ necessário para a formação de trilhas definidas. Em contraste, o baseline (sem controle) e o "setup aprimorado" (apenas aumento de feromônio, sem RL) falharam em atingir consistentemente esse limiar ($-5,99$e$-3,63$, respectivamente).
• Parâmetros de Ordem: A estratégia de controle aumentou o número de configurações onde tanto o parâmetro de ordem de feromônio ($m(T)$) quanto o parâmetro de ordem populacional ($M(T)$) excederam 0,8 (indicando uma fase ordenada) de 13/42 no baseline para 28/42 no setup inteligente.
• Robustez: O controle permaneceu eficaz mesmo quando o número de agentes inteligentes foi reduzido para 15 (metade da população de treinamento), embora o desempenho tenha degradado significativamente com 5 agentes.
• Limitações: No regime extremo de baixíssima capacidade sensorial e altíssimo ruído (canto inferior direito do diagrama de fase), o sistema permaneceu parcialmente desordenado, indicando limites fundamentais à controlabilidade impostos pela dinâmica intrínseca das formigas ABM.

Significância
Os autores afirmam que este trabalho contribui para a compreensão da controlabilidade funcional em sistemas complexos, mostrando que o comportamento coletivo global pode ser direcionado por um pequeno número de agentes usando apenas observações locais e interações ambientais indiretas. O estudo destaca como o Aprendizado por Reforço pode descobrir estratégias locais capazes de explorar efeitos coletivos para estabilizar fases ordenadas (trilhas) em ambientes estocásticos onde elas não emergiriam de outra forma. Esta abordagem oferece um paradigma escalável para robótica de enxames e sistemas sociotécnicos, onde a coordenação global explícita é inviável e as intervenções devem depender de mecanismos estigmérgicos locais. O trabalho estabelece que controladores aprendidos podem ativamente moldar a dinâmica do enxame em vez de meramente amplificar a ordem pré-existente.