Ant swarm functional control via stigmergic Reinforcement Learning agents

Technische Samenvatting: Functionele Controle van Mierzwermen via Stigmerge Reinforcement Learning Agents

Probleemstelling
Complexe systemen, zoals mierenzwermen, vertonen vaak emergente globale gedragingen (bijv. geordende paden versus wanordelijke beweging) die moeilijk te voorspellen of te controleren zijn, zelfs wanneer de lokale interactieregels goed begrepen worden. Traditionele control theory streeft ernaar een systeem naar een specifieke staat te drijven, maar de auteurs stellen een verruimd concept van functionele controleerbaarheid voor: het sturen van een systeem naar een regio in de faseruimte waar een gewenst macroscopisch gedrag (specifiek de emergentie van geordende paden) spontaan kan ontstaan. De uitdaging ligt in het beïnvloeden van deze dynamiek zonder directe interventie op individuele agenten of globale kennis van de systeemtoestand, met name in regimes waar intrinsieke parameters (sensorische capaciteit en ruis) doorgaans tot willekeur leiden.

Methodologie
De auteurs stellen een raamwerk voor waarbij een populatie van stigmerge Reinforcement Learning (RL) agents (getiteld "smart-agents") wordt geïntroduceerd in een standaard Ant Swarm Model (ABM) om de collectieve dynamiek van een inheemse populatie ("ABM-mieren") te beïnvloeden.

• Systeemmodel: De omgeving is een 2D-rooster (lattice) waarbij ABM-mieren bewegen op basis van een probabilistisch veld dat afhankelijk is van de lokale feromoonconcentratie, sensorische capaciteit ($\delta$) en signaalruis ($\beta$). Feromonen worden afgezet met een snelheid $\eta$ en vervallen met snelheid $\kappa$.
• Control Agents: Een subset van agenten ($N'$) is uitgerust met een geleerd beleid (policy). In tegen tegenstelling tot de ABM-mieren wordt hun beweging bepaald door een RL-beleid, en zij zetten een aanzienlijk hogere hoeveelheid feromoon af ($\eta' = 1$ vs. $\eta = 0.01$).
• RL-raamwerk:
  • Algoritme: Proximal Policy Optimization (PPO) wordt gebruikt in een Centralized Training, Decentralized Execution (CTDE) setting.
  • Toestandsruimte (State Space): Elke smart-agent observeert een $9 \times 9$ lokale omgeving die vier kanalen bevat: lokale feromoonconcentratie, ABM-mieren-dichtheid, smart-agent-dichtheid en de vorige bewegingsrichting van de agent.
  • Actieruimte (Action Space): Discrete beweging naar een van de 8 naburige roosterlocaties.
  • Beloningsontwerp (Reward Design): De beloning is individueel en lokaal, afgeleid van een graafgebaseerde metriek die is geconstrueerd uit de lokale toestand van de agent. Deze straft sterk vertakte of periodieke structuren af en beloont:
    1. Bimodale feromoonverdeling (hoge concentratie in specifieke gebieden, lage elders).
    2. Populatie-uitlijning (ABM-mieren geconcentreerd op hoog-feromoon sporen).
    3. Padgeometrie (dunne, langgerekte, niet-vertakte paden).
• Trainingsscenario's: De policies werden getraind in twee settings: (1) blootstelling aan het volledige fasediagram van sensorische parameters ($\delta, \beta$), en (2) blootstelling aan één specifieke configuratie ($\delta^*=0.3, \beta^*=4.5$) om generalisatie te testen.

Belangrijkste Bijdragen

1. Functionele Controleerbaarheid via Stigmergie: Het artikel toont aan dat functionele controle kan worden bereikt door een kleine populatie RL-agents te introduceren die uitsluitend interageren via het gedeelde omgevingsveld (feromonen), zonder directe manipulatie van de gecontroleerde agenten.
2. Verschuiving van Faseovergang: De geleerde policies slagen erin de faseovergangslijn van het systeem te verschuiven, waardoor geordende padvorming wordt geïnduceerd in parameterregimes (hoge ruis, lage gevoeligheid) waar het oorspronkelijke systeem doorgaans wanordelijk blijft.
3. Generalisatie: Een policy die getraind is op een specifieke configuratie generaliseert effectief over het gehele fasediagram, wat suggereert dat er een leerproces van overdraagbare navigatieprincipes heeft plaatsgevonden in plaats van overfitting op specifieke omgevingscondities.
4. Onderscheid van Simpele Feromoonversterking: De studie onderscheidt rigoureus tussen de effecten van het simpelweg verhogen van de feromoonafzetting (wat leidt tot geclusterde, niet-padstructuren) en de effecten van geleerde bewegingspolicies (die coherente, dunne paden genereren).

Resultaten

• Padvorming: In de "smart setup" (met aanwezigheid van RL-agents) bereikte het systeem een gemiddelde trail scenario metriek ($\langle TS \rangle_{50}$) van $-1.43$, waarmee het de empirische drempel van $-1.6$ overtrof die vereist is voor gedefinieerde padvorming. In contrast hiermee faalden de baseline (zonder controle) en de "enhanced setup" (alleen verhoogde feromoonafzetting, geen RL) om deze drempel (respectievelijk $-5.99$ en $-3.63$) consistent te halen.
• Ordeparameters: De controlestrategie verhoogde het aantal configuraties waarin zowel de feromoonorde-parameter ($m(T)$) als de populatieorde-parameter ($M(T)$) groter waren dan 0.8 (wat duidt op een geordende fase) van 13/42 in de baseline naar 28/42 in de smart setup.
• Robuustheid: De controle bleef effectief zelfs wanneer het aantal smart-agents werd teruggebracht naar 15 (de helft van de trainingspopulatie), hoewel de prestaties significant verslechterden bij 5 agents.
• Beperkingen: In het extreme regime van zeer lage sensorische capaciteit en zeer hoge ruis (rechtsonder in het fasediagram) bleef het systeem gedeeltelijk wanordelijk, wat wijst op fundamentele grenzen aan controleerbaarheid opgelegd door de intrinsieke dynamiek van de ABM-mieren.

Betekenis
De auteurs stellen dat dit werk bijdraagt aan het begrip van functionele controleerbaarheid in complexe systemen door aan te tonen dat globaal collectief gedrag gestuurd kan worden door een klein aantal agenten die enkel gebruikmaken van lokale observaties en indirecte omgevingsinteracties. De studie benadrukt dat Reinforcement Learning lokale strategieën kan ontdekken die in staat zijn om collectieve effecten te exploiteren om geordende fasen (paden) te stabiliseren in stochastische omgevingen waar deze anders niet zouden ontstaan. Deze aanpak biedt een schaalbaar paradigma voor zwermrobotica en socio-technische systemen, waarbij expliciete globale coördinatie onhaalbaar is en interventies moeten vertrouwen op lokale, stigmerge mechanismen. Het werk vestigt de conclusie dat geleerde controllers actief de zwermdynamiek kunnen vormgeven in plaats van slechts een reeds aanwezige orde te versterken.