De droom van droneswarmen—honderden kleine machines die als één geest bewegen om structuren te bouwen, voorraden te leveren of rampgebieden in kaart te brengen—wordt al lang tegengehouden door een hardnekkig probleem van fysica en tijd. Om één enkele drone te leren vliegen, gebruiken ingenieurs vaak computersimulaties die de echte wereld nabootsen. Er is echter een constante afweging tussen snelheid en nauwkeurigheid. Een eenvoudige, snelle simulatie behandelt een drone als een enkel punt van massa, waarbij wordt genegeerd hoe de rotoren draaien, hoe het lichaam kantelt en hoe de lucht tegen het toestel duwt. Deze snelheid stelt onderzoekers in staat om duizenden oefenvluchten in seconden uit te voeren, maar de geleerde lessen falen vaak wanneer ze worden toegepast op een echte machine omdat het eenvoudige model de subtiele vertragingen en krachten van de echte wereld mist. Omgekeerd is een zeer nauwkeurige simulatie die rekening houdt met elk fysiek detail ongelooflijk traag. Wanneer onderzoekers een heel team van drones proberen te trainen in een dergelijke precieze omgeving, loopt de computer vast. Elke keer dat twee drones dicht bij elkaar komen, moet de software de complexe fysica van hun potentiële botsing berekenen, een taak die exponentieel moeilijker wordt naarmate er meer drones worden toegevoegd. Het resultaat is vaak een digitale crash, waardoor het leerproces opnieuw moet beginnen, wat het bijna onmogelijk maakt om grote groepen efficiënt te trainen.

Onderzoekers Maxim Mednikov en Oren Gal van de Universiteit van Haifa hebben een manier gevonden om deze flessenhals volledig te omzeilen. In plaats van de computer te dwingen om vanaf nul te leren in een trage, perfecte wereld, of te vertrouwen op een snelle maar gebrekkige wereld, hebben zij een methode ontwikkeld die het beste van beide combineert zonder de gebruikelijke kosten. Hun aanpak, getest in computersimulaties, stelt een team van drones in staat om complexe coöperatieve taken te leren met behulp van een snel, eenvoudig model, terwijl een kleine, vooraf berekende correctie ervoor zorgt dat het gedrag nauwkeurig genoeg blijft voor de echte wereld. De kerninzicht is dat de verschillen tussen het eenvoudige model en de complexe realiteit één keer geleerd kunnen worden, met behulp van slechts één drone, en vervolgens kunnen worden toegepast op een willekeurig aantal drones, ongeacht hoe groot het team wordt.

Het proces begint met een eenvoudige, snelle simulatie waarbij een drone wordt behandeld als een puntmassa. De onderzoekers laten eerst een basiscontroller een eenvoudige drone langs een specif kind pad vliegen. Vervolgens nemen ze exact datzelfde pad en vliegen ze dat in een veel gedetailleerdere, hoogwaardige simulatie die alle rommelige real-world fysica bevat, zoals luchtweerstand en lichaamsrotatie. Door te vergelijken hoe het eenvoudige model bewoog versus hoe het gedetailleerde model daadwerkelijk bewoog, berekenen zij het verschil. Dit verschil, of de "residuele", is als een kleine foutenkaart die het systeem precies vertelt hoe het de eenvoudige drone moet aanpassen om overeen te komen met de complexe versie. Cruciaal is dat deze kalibratie slechts één keer, offline, wordt uitgevoerd met een enkele geïsoleerde drone. De onderzoekers passen een klein wiskundig model toe op deze verschillen en bevriezen het vervolgens, waardoor de correcties worden vastgelegd zodat ze niet meer kunnen veranderen.

Zodra deze correctiekaart gereed is, begint het echte leren. De onderzoekers trainen een gedeelde strategie (policy) voor de gehele zwerm binnen de snelle, eenvoudige simulator, maar met een twist: bij elk moment van de vlucht wordt de bevroren correctie toegepast op de beweging van de drone. Dit betekent dat de drones leren vliegen alsof ze zich in de complexe, realistische wereld bevinden, terwijl de computer in werkelijkheid de snelle, eenvoudige fysica uitvoert. Omdat de correctie alleen afhangt van de staat van een individuele drone en niet van zijn teamgenoten, hoeven de onderzoekers nooit twee drones samen te laten vliegen tijdens deze trainingsfase. Ze kunnen een team van drie of een team van achttien trainen met exact dezelfde hoeveelheid kalibratiedata, verzameld uit vluchten van een enkele drone. Dit elimineert het risico op digitale crashes tijdens de training, die doorgaans exponentieel toenemen naarmig de teamgrootte in volledig realistische simulaties.

De resultaten van deze methode werden getest over vier verschillende coöperatieve taken, variërend van het behouden van een formatie tot het vliegen in een figuur-acht-patroon, met teamgroottes variërend van drie tot achttien drones. In elk scenario presteerde een team dat getraind is met deze hybride methode beter dan een team dat alleen op het eenvoudige, ongecorrigeerde model is getraind. Nog indrukwekkender is dat het beter presteerde dan teams die vanaf nul zijn getraind in de trage, realistische simulatie in tweeëntwintig van de vierentwintig testgevallen. Hoewel de methode iets minder effectief was dan een team dat getraind is in de realistische simulatie voor zeer kleine groepen, sloot de kloof zich snel naarmate het team groter werd. Voor de grootste teams van achttien drones bereikte de hybride methode een prestatie die bijna identiek was aan de dure, realistische training, maar deed dit in een fractie van de tijd en met nul trainingscrashes. De dure realistische training resulteerde vaak in crashpercentages van meer dan zestig procent voor grote teams, wat de voortgang effectief stillegde, terwijl de nieuwe methode stabiel en efficiënt bleef.

De onderzoekers ontdekten ook dat de hoeveelheid data die nodig is om de initiële correctiekaart te maken verrassend klein is. Ze kwamen tot de conclusie dat het vliegen van een enkele drone gedurende slechts enkele minuten om ongeveer tweeëndertig korte vliegpaden te verzamelen, voldoende was om het systeem te kalibreren voor teams van elke omvang. Deze datavereiste groeide niet met het aantal drones; een team van achttien vereiste dezelfde hoeveelheid kalibratie-inspanning als een team van drie. Bovendien bleek de methode robuust bij tests tegen veranderingen in de fysieke eigenschappen van de drone, zoals toegevoegd gewicht of extra luchtweerstand. Door een korte, warme herkalibratie uit te voeren onder de nieuwe omstandigheden, paste het systeem zich snel aan en behield het een hoge prestatie zonder de hele taak opnieuw te hoeven leren.

Dit werk demonstreert dat high-fidelity training voor grote droneswarmen niet vereist dat elke botsing en interactie in realtime wordt gesimuleerd. Door een snelle, eenvoudige simulator te funderen met een kleine, offline correctie die geleerd is van een enkele agent, kunnen onderzoekers complexe, coöperatieve gedragingen trainen die zowel nauwkeurig als computationeel haalbaar zijn. Hoewel deze resultaten momenteel beperkt zijn tot computersimulaties, biedt de aanpak een schaalbaar pad voor real-world toepassingen, wat suggereert dat de toekomst van droneswarmen niet afhangt van snellere computers, maar van slimmere manieren om de computers te gebruiken die we al hebben.