Stel je een wereld voor waarin een team robots samen moet werken om een complexe taak te voltooien, zoals het bezorgen van pakketjes in een druk magazijn of het verkennen van een gevaarlijke grot. In de echte wereld is het testen van hoe deze machines coördineren duur, riskant en vaak onmogelijk te herhalen als er iets misgaat. Om dit op te lossen, hebben wetenschappers lang gebruikgemaakt van computersimulaties, waarbij ze digitale tweelingen van robots en hun omgeving creëren om ideeën veilig te testen. Echter, er bestond een kloof tussen de eenvoudige, blokkerige simulaties die ingenieurs gebruiken en de rijke, realistische omgevingen die nodig zijn om echt te begrijpen hoe robots zullen reageren wanneer ze de rommelige realiteit van de fysieke wereld ontmoeten. Onderzoekers hadden een manier nodig om deze twee te mengen, zodat een echte robot door een kamer kan lopen terwijl hij een digitale wereld ziet en ervaart die fysiek niet bestaat, terwijl hij tegelijkertijd samenwerkt met virtuele teamgenoten.

Dit is de uitdaging die wordt aangepakt door een nieuwe toolkit genaamd VIRTOOS, ontwikkeld door een team van onderzoekers aan de Universiteit van Bologna. Het systeem fungeert als een brug die twee krachtige stukken software met elkaar verbindt: ROS 2, een standaard framework dat robots helpt te denken en te bewegen, en Unity, een game-engine die beroemd is om het creëren van verbluffend realistische 3D-werelden. Door deze twee te koppelen, creëerden de onderzoekers een mixed-reality omgeving waarin fysieke robots en digitale robots dezelfde ruimte kunnen delen, dezelfde obstakels kunnen zien en kunnen samenwerken aan taken alsof ze allemaal echt zijn. Het doel was niet alleen om een simulatie te bekijken, maar om een flexibel systeem te bouien waar ingenieurs complexe scenario's kunnen ontwerpen, kunnen testen hoe groepen robots samen beslissingen nemen, en hun strategieën kunnen valideren voordat ze ooit in de echte wereld worden ingezet.

De kern van VIRTOOS is een modulair ontwerp dat het probleem onderverdeelt in drie afzonderlijke lagen, die elk een specifiek deel van het leven van de robot afhandelen. De eerste laag is het "brein" van de vloot, een managementsysteem dat beslist wie wat doet. In plaats van één enkele computer die elke robot vertelt wat hij moet doen, gebruikt dit systeem gedistribueerde optimalisatie, een methode waarbij elke robot zijn eigen beste zet uitzoekt terwijl hij met zijn buren communiceert. Dit stelt de groep in staat om snel aan te passen als er een nieuwe taak verschijnt of als een robot defect raakt. De tweede laag regelt de daadwerkelijke beweging. Deze neemt de beslissingen op hoog niveau over van de eerste laag en vertaalt deze naar specifieke commando's voor de wielen en sensoren, zodat de robot kan navigeren rond obstakels en niet tegen zijn teamgenoten aan botst. De laatste laag is de visuele interface, gebouwd binnen de Unity game-engine. Dit is waar de magie van mixed reality plaatsvindt. De onderzoekers hebben tools gebouwd om virtuele binnenomgevingen te genereren, compleet met muren, planken en verlichting, die direct aangepast kunnen worden. Ze hebben ook echte robotmodellen in deze digitale ruimte geïntegreerd, om ervoor te zorgen dat de virtuele robot er precies zo uitziet en zich precies zo beweegt als zijn fysieke tegenhanger.

Om dit werkend te krijgen, moesten de onderzoekers een lastig probleem van perspectief oplossen. De software die de robots aanstuurt en de software die de 3D-wereld tekent, spreken verschillende talen wat betreft hoe ze de ruimte definiëren. Het ene systeem kan zeggen dat "boven" het plafond is, terwijl het andere systeem zegt dat "boven" de zijkant van een muur is. De onderzoekers schreven aangepaste scripts om deze richtingen direct te vertalen, zodat wanneer een echte robot naar voren beweegt, zijn digitale tweeling in de simulatie ook naar voren beweegt, en wanneer de virtuele robot een muur ziet, de echte robot een signaal krijgt om te stoppen. Deze verbinding wordt onderhouden via een snelle netwerkverbinding waardoor gegevens in real time heen en weer kunnen stromen. Het systeem is ook ontworig om draagbaar te zijn; de gehele software suite is verpakt in een container, een zelfstandige eenheid die op bijna elke computer kan worden uitgevoerd, wat het gemakkelijk maakt voor andere onderzoekers om hun eigen ideeën over te nemen en te testen zonder een supercomputer nodig te hebben.

De onderzoekers testten hun toolkit met drie verschillende scenario's om te bewijzen dat het werkte. In het eerste scenario creëerden ze een volledig virtueel magazijn vol met planken en obstakels. Ze stuurden een vloot van vier digitale robots in deze ruimte om een dynamisch taaktoewijzingsprobleem op te lossen. Dit betekent dat de robots onderling moesten beslissen wie naar welke locatie zou gaan om items op te halen, waarbij ze voortdurend hun plan herevalueerden naarmate er nieuwe taken verschenen. De simulatie liet zien dat de robots erin slaagden de omgeving in kaart te brengen, botsingen met elkaar en de planken te vermijden en hun missies te voltooien. In het tweede scenario namen ze een echte robot, een Clearpath Jackal, en plaatsten deze in hun laboratorium. Terwijl de robot over de werkelijke vloer bewoog, werden de sensoren gevoed met gegevens uit een virtuele omgeving gebouwd in Unity. De robot kon virtuele muren en obstakels "zien" die niet in de kamer bestonden, en navigeerde er succesvol omheen alsof ze echt waren. Dit toonde aan dat een fysieke machine veilig kan interageren met een digitale wereld.

De meest ambitieuze test combineerde deze twee ideeën. De onderzoekers zetten een mixed-reality experiment op waarbij één echte robot en drie virtuele robots in dezelfde ruimte moesten samenwerken. De echte robot bewoog rond in een kleine kamer in het lab, terwijl de andere drie enkel op een computerscherm bestonden. Ze kregen allemaal een gedeeld doel: om op een gecoördineerde manier een reeks locaties te bezoeken. De echte robot moest de virtuele robots vermijden, die in de simulatie om hem heen bewogen, net alsof het fysieke machines waren. Het systeem werkte naadloos. De echte robot ontving gegevens over de virtuele obstakels en paste zijn pad aan om ze te vermijden, terwijl de virtuele robots reageerden op de aanwezigheid van de echte robot. Op een gegeven moment moesten de robots hun beweging pauzeren omdat de ruimte te krap was om veilig langs elkaar te passeren, een gedrag dat natuurlijk voortkwam uit hun gedeelde begrip van de omgeving. Nadat de groep hun plan opnieuw had berekend, hervatten ze hun reis.

De resultaten laten zien dat VIRTOOS een levensvatbare tool is om de kloof te overbruggen tussen algoritmisch onderzoek en implementatie in de echte wereld. Het stelt wetenschappers in staat om complexe coördinatiestrategieën te testen in een veilige, gecontroleerde omgeving die echt aanvoelt. Het systeem is niet beperkt tot eenvoudige navigatie; het kan worden gebruikt om te testen hoe robots onbekende gebieden in kaart brengen, hoe ze pakketjes bezorgen, of hoe ze naast mensen kunnen werken in drukke ruimtes. Omdat de toolkit open-source is en gemakkelijk aanpasbaar is, biedt het een nieuwe manier voor de robotica-gemeenschap om hun ideeën te valideren. Door echte en virtuele robots dezelfde wereld te laten delen, kunnen onderzoekers nu de toekomst van multi-robot teams verkennen met een niveau van vertrouwen en realisme dat voorheen onbereikbaar was.