D-VLC: Decentralized Vision-Language Collaboration for Heterogeneous Embodied Multi-Robot Systems in Unknown Environments

Stel je een wereld voor waarin een groep robots in een gloednieuw, rommelig huis wordt gedropt dat ze nog nooit eerder hebben gezien. Hun menselijke baas geeft hen een vage, lastige opdracht zoals: "Zoek de oude klok en de garage, maar wees voorzichtig!" In het verleden was het krijgen van een team van verschillende robots om samen aan een dergelijke taak te werken alsof je een orkest probeert te dirigeren waarbij elke muzikant een andere taal spreekt en een andere partituur heeft. Ze hadden een strikt, vooraf geschreven script (een "regelgebaseerd" plan) nodig dat hen precies vertelde wat ze moesten doen, wat betekende dat ze niet goed om konden gaan met verrassingen of nieuwe instructies.

Om dit op te lossen, zijn wetenschappers begonnen met het geven van "Grote Breinen" aan robots. Eerst gaven ze ze Large Language Models (LLMs), die lijken op superintelligente tekstlezers die complexe zinnen kunnen begrijpen en grote taken kunnen opdelen in kleinere stappen. Daarna voegden ze Vision-Language Models (VLMs) toe, die lijken op die tekstlezers, maar dan met ogen. Deze modellen kunnen naar een afbeelding kijken, begrijpen wat ze zien (zoals "dat is een deur" of "dat is een rode beker") en dit verbinden aan de woorden die ze horen. De grote vraag die onderzoekers zich stellen is: Kunnen we een team van verschillende robots deze "ogen en breinen" geven, zodat ze dingen ter plekke kunnen uitzoeken zonder een vooraf geschreven kaart of een centrale baas die elke beweging vertelt?

Dit is precies waar het papier D-VLC (Decentralized Vision-Language Collaboration) onderzoek naar doet. De onderzoekers hebben een systeem gebouwd waarbij een team van verschillende robots — specifiek twee vliegende drones en één grondrobot met armen — samenwerkt in onbekende omgevingen met behulp van deze slimme AI-modellen. In plaats van dat één centrale computer alle beslissingen neemt (wat traag en verward kan raken), denkt elke robot voor zichzelf, deelt alleen de belangrijkste stukjes informatie en helpt zijn teamgenoten wanneer dat nodig is.

Hier is hoe de magie gebeurt: Stel je voor dat de robots een groep ontdekkingsreizigers zijn in een donkere grot. In plaats van elkaar hun hele levensverhaal toe te schreeuwen, geven ze een kleine, vereenvoudigde schets van de grot die ze tot nu toe hebben gezien (een "mini-kaart") aan elkaar door. Als een vliegende drone een deur ziet die hij niet kan openen, blijft hij niet gewoon steken; hij vraagt aan de grondrobot: "Hé, kun jij deze openen?" De grondrobot zegt: "Natuurlijk," en doet het. De vliegende drone vliegt vervolgens door om naar de volgende aanwijzing te zoeken. Ze doen dit zonder te wachten op een groepsvergadering; ze blijven gewoon bewegen, denken en elkaar helpen op een asynchrone manier.

Het papier laat zien dat deze aanpak erg goed werkt in simulaties. Wanneer het werd getest in lastige scenario's zoals een ruïne na een ramp, een ziekenhuis en een huis, vond het robotteam hun doelen in meer dan 70% van de gevallen, ongeacht welk specif kind "Groot Brein" AI-model ze gebruikten. Nog beter: ze voltooiden hun taken veel sneller dan een robotteam dat gewoon blindelings naar de dichtstbijzijnde lege ruimte bewoog (een "geometrische hebzuchtige" aanpak). Sterker nog, de slimste opstelling was 55,8% sneller.

De onderzoekers kwamen tot de conclusie dat deze methode geweldig is omdat deze niet opnieuw getraind hoeft te worden voor elke nieuwe robot of elke nieuwe kamer. De robots kunnen de instructies begrijpen, zien wat er om hen heen is en uitzoeken wie wat moet doen op basis van hun eigen vermogens. Hoewel dit in computersimulaties is getest en nog niet op echte robots in de vrije natuur, suggereren de resultaten dat het geven van dit soort gedecentraliseerde, coöperatieve "gezond verstand" aan robots de sleutel kan zijn om hen samen complexe, echte taken te laten aanpakken zonder dat er een mens nodig is om elke stap te micromanagen.