Learning to flock in open space by avoiding collisions and staying together

Technische Samenvatting: Leren zwermen in een open ruimte door botsingen te vermijden en bij elkaar te blijven

Probleemstelling
Het artikel behandelt een fundamentele uitdaging in de modellering van collectieve beweging: hoe men groepscohesie kan behouden in een open, grenzeloze ruimte. Terwijl minimale modellen zoals het Vicsek-model succesvol langetermijnorde genereren in periodieke systemen door middel van uitlijningsinteracties, falen zij in open systemen. Zuiver op uitlijning gebaseerde interacties leiden tot diffuse verspreiding en desintegratie van de groep, terwijl zuiver aantrekkende interacties vaak resulteren in ongeordend zwermen of draaien (milling) in plaats van cohesief zwermen. De auteurs onderzoeken hoe zelfbeweeglijke deeltjes (SPP's) kunnen leren om balans te vinden tussen uitlijning en aantrekking om cohesief, hooggeordend zwermen te bereiken zonder te vertrouken op vooraf gedefinieerde interactieregels of metriek-gebaseerde zones.

Methodologie
De auteurs maken gebruik van een Multi-Agent Reinforcement Learning (MARL) raamwerk om zwermdynamica af te leiden vanuit eerste beginselen.

• Agent-dynamica: $N$ agenten bewegen in een 2D onbegrensde ruimte met een constante snelheid $v_0$. Agenten nemen alleen hun topologische (Voronoi) buren waar. Hun beweging wordt bijgewerkt door een nieuwe koers te kiezen die een gewogen combinatie is van de gemiddelde buuroriëntatie ($V_i$) en de richting naar het lokale zwaartepunt ($R_i$).
• Controleparameter: Het relatieve gewicht $\beta \in [0, 1]$ tussen uitlijning en aantrekking is de leerbare actie. $\beta=0$ komt overeen met zuivere uitlijning (Vicsek-achtig), terwijl $\beta=1$ overeenkomt met zuivere aantrekking.
• Leerraamwerk: De studie maakt gebruik van twee trainingsparadigma's:
  1. Gecentraliseerde training (CT): Agenten delen een enkele Q-matrix en leren van een gedeelde ervaringenpool.
  2. Gedecentraliseerde training (DT): Elke agent onderhoudt zijn eigen Q-matrix en leert onafhankelijk op basis van zijn specifieke traject.
• Kostenfunctie: Agenten worden getraind om een kostenfunctie $L(d)$ te minimaliseren op basis van de gemiddelde afstand $d$ tot hun buren. De functie is een niet-convexe, Lennard-Jones-achtige potentiaal: $L(d) = a/d - b/\sqrt{d}$. Deze functie straft zowel overmatige scheiding ($d \to \infty$) als nabijheid door drukte ($d \to 0$) af, met een minimum bij een optimale afstand $\bar{d}=1$.
• Optimalisatie: De agenten gebruiken een Q-learning algoritme met $\epsilon$-greedy exploratie om het optimale beleid $\beta^*(d)$ te vinden dat de cumulatieve kosten over de tijd minimaliseert.

Belangrijkste bijdragen en resultaten

1. Emergentie van cohesief zwermen: De studie toont aan dat agenten, getraind met een kostenfunctie die zowel grote scheidingen als kleine afstanden bestraft, spontaan een beleid leren dat leidt tot cohesief zwermen met een hoge polaire orde ($\Phi \approx 0,95$). Dit gedrag is robuust in zowel CT als DT paradigma's voor gematigde groepsgroottes ($N < 800$).
2. Rol van botsingsvermijding: Een cruciale bevinding is dat de straf voor kleine afstanden essentieel is voor het zwermen. Wanneer de kostenfunctie wordt gewijzigd om de divergentie bij kleine $d$ te verwijderen (effectief de botsingsstraf te verwijderen), leren de agenten een strategie die gedomineerd wordt door aantrekking ($\beta \approx 1$), wat resulteert in een ongeordende, cohesieve zwermtoestand in plaats van zwermen. Dit suggereert dat de noodzaak om botsingen te vermijden een primaire drijfveer is voor de emergentie van uitlijningsgebaseerd zwermen.
3. Afstandsafhankelijk beleid: Analyse van de geleerde Q-matrices onthult een duidelijk regime-onderscheid:
   • Korte afstanden ($d < d^*$): Het optimale beleid wordt gedomineerd door sterke uitlijning ($\beta \approx 0$).
   • Grote afstanden ($d > d^*$): Het beleid omvat een flexibele combinatie van uitlijning en aantrekking. De auteurs tonen via "policy distillation" aan dat de exacte balans in dit regime niet kritiek is; zolang er enige aantrekking bestaat, behoudt het systeem de cohesie.
4. Structurele kenmerken: De resulterende zwermen vertonen structurele kenmerken die consistent zijn met biologische observaties (bijv. spreeuwenmurmuraties). Ze gedragen zich als een "structuurloze niet-evenwichtsvloeistof" met een eindige maar lage buuruitwisselingssnelheid (mengsnelheid) en een radiale paarverdelingsfunctie $g(r)$ die de oscillerende structuur van typische vloeistoffen mist, wat overeenkomt met experimentele gegevens.
5. Schaalbaarheid en robuustheid: Het algoritme schaalt effectief tot $N=1600$ agenten onder gecentraliseerde training. Gedecentraliseerde training vertoont verminderde prestaties voor zeer grote groepen ($N > 800$) vanwege de moeilijkheid voor individuele agenten om de volledige toestandsruimte binnen een eindige trainingstijd te verkennen, hoewel dit kan worden gemitigeerd door de exploratie-exponenten aan te passen.
6. Randvoorwaarden: De auteurs hebben een alternatieve kostenfunctie getest op basis van het Voronoi-celoppervlak (om binnenste versus randagenten te onderscheiden) en vonden geen kwalitatief verschil in het resulterende zwermgedrag vergeleken met afstand-gebaseerde kosten.

Betekenis en claims
Het artikel beweert de vraag te hebben opgelost waarom bepaalde sociale soorten zwermen in plaats van zwermen (swarming). De auteurs stellen dat zwermen niet louter voortkomt uit een mechanisme voor groepscoherentie, maar als een optimale strategie die tegelijkertijd voldoet aan de noodzaak om bij elkaar te blijven en de noodzaak om gevaarlijke botsingen te vermijden. De geleerde dynamica is robuust tegen ruis en algoritmische details, wat suggereert dat de wisselwerking tussen uitlijning en aantrekking, gemoduleerd door afstandsafhankelijke botsingsvermijding, een voldoende voorwaarde is voor de spontane emergentie van complexe collectieve beweging. De resultaten worden gepresenteerd als biologisch plausibel voor echte vogels (vanwege de quasi-2D aard van de vlucht) en potentieel toepasbaar op zwermrobotica, wat een op leren gebaseerd alternatief biedt voor vooraf geprogrammeerde interactieregels.