Stellen Sie sich eine Welt vor, in der ein Team von Robotern zusammenarbeiten muss, um eine komplexe Aufgabe zu bewältigen, wie etwa die Auslieferung von Paketen in einem belebten Lagerhaus oder das Erkunden einer gefährlichen Höhle. In der realen Welt ist das Testen, wie diese Maschinen koordinieren, teuer, riskant und oft unmöglich zu wiederholen, wenn etwas schiefgeht. Um dies zu lösen, haben sich Wissenschaftler schon lange der Computersimulation zugewandt, indem sie digitale Zwillinge von Robotern und ihrer Umgebung erschaffen, um Ideen sicher zu testen. Es bestand jedoch eine Lücke zwischen den einfachen, blockartigen Simulationen, die Ingenieure verwenden, und den reichhaltigen, realistischen Umgebungen, die nötig sind, um wirklich zu verstehen, wie Roboter reagieren werden, wenn sie auf die chaotische Realität der physischen Welt treffen. Forscher brauchten einen Weg, diese beiden Welten zu verschmelzen, damit ein echter Roboter durch einen Raum laufen kann, während er eine digitale Welt sieht und auf sie reagiert, die physisch gar nicht existiert, und dabei gleichzeitig mit virtuellen Teamkollegen zusammenarbeitet.

Dies ist die Herausforderung, die ein neues Toolkit namens VIRTOOS adressiert, das von einem Forscherteam der Universität Bologna entwickelt wurde. Das System fungiert als Brücke, die zwei leistungsstarke Softwarepakete verbindet: ROS 2, ein Standard-Framework, das Robotern hilft zu denken und sich zu bewegen, und Unity, eine Game-Engine, die für ihre spektakulär realistischen 3D-Welten berühmt ist. Durch die Verknüpfung dieser beiden schufen die Forscher eine Mixed-Reality-Umgebung, in der physische Roboter und digitale Roboter denselben Raum teilen, dieselben Hindernisse sehen und Aufgaben kooperativ bearbeiten können, als wären sie alle real. Das Ziel war nicht nur, eine Simulation zu beobachten, sondern ein flexibles System zu bauen, in dem Ingenieure komplexe Szenarien entwerfen, testen, wie Robotergruppen gemeinsam Entscheidungen treffen und ihre Strategien validieren können, bevor sie diese jemals in der realen Welt einsetzen.

Der Kern von VIRTOS ist ein modularer Aufbau, der das Problem in drei verschiedene Schichten unterteilt, von denen jede einen spezifischen Teil des Lebens eines Roboters handhabt. Die erste Schicht ist das „Gehirn“ der Flotte, ein Managementsystem, das entscheidet, wer was tut. Anstatt dass ein einzelner Computer jedem Roboter sagt, was er tun soll, nutzt dieses System verteilte Optimierung – eine Methode, bei der jeder Roboter seinen eigenen besten Zug berechnet, während er mit seinen Nachbarn kommuniziert. Dies ermöglicht es der Gruppe, sich schnell anzupassen, wenn eine neue Aufgabe auftaucht oder ein Roboter ausfällt. Die zweite Schicht kümmert sich um die eigentliche Bewegung. Sie nimmt die Entscheidungen auf hoher Ebene aus der ersten Schicht entgegen und übersetzt sie in spezifische Befehle für die Räder und Sensoren, um sicherzustellen, dass der Roboter Hindernissen ausweicht und nicht mit seinen Teamkollegen kollidiert. Die letzte Schicht ist die visuelle Schnittstelle, die innerhalb der Unity-Game-Engine aufgebaut ist. Hier geschieht die Magie der Mixed Reality. Die Forscher entwickelten Werkzeuge, um virtuelle Innenräume zu generieren, komplett mit Wänden, Regalen und Beleuchtung, die sofort angepasst werden können. Sie integrierten zudem reale Robotermodelle in diesen digitalen Raum, um sicherzustellen, dass der virtuelle Roboter exakt so aussieht und sich genau so bewegt wie sein physisches Gegenstück.

Um dies umzusetzen, mussten die Forscher ein kniffliges Problem der Perspektive lösen. Die Software, die die Roboter steuert, und die Software, die die 3D-Welt zeichnet, sprechen unterschiedliche Sprachen, wenn es darum geht, den Raum zu definieren. Ein System sagt vielleicht, dass „oben“ die Decke ist, während das andere sagt, dass „oben“ die Seite einer Wand ist. Die Forscher schrieben maßgeschneiderte Skripte, um diese Richtungen instantan zu übersetzen, sodass, wenn ein echter Roboter vorwärts fährt, sein digitaler Zwilling in der Simulation ebenfalls vorwärts fährt und wenn der virtuelle Roboter eine Wand sieht, der echte Roboter das Signal erhält, zu stoppen. Diese Verbindung wird durch ein Hochgeschwindigkeitsnetzwerk aufrechterhalten, das einen Datenaustausch in Echtzeit ermöglicht. Das System ist zudem portabel konzipiert; die gesamte Software-Suite ist in einem Container verpackt, einer eigenständigen Einheit, die auf fast jedem Computer ausgeführt werden kann, was es anderen Forschern erleichtert, ihre eigenen Ideen zu übernehmen und zu testen, ohne einen Supercomputer zu benötigen.

Die Forscher testeten ihr Toolkit mit drei verschiedenen Szenarien, um die Funktionsweise zu beweisen. Im ersten Szenario erschufen sie ein vollständig virtuelles Lagerhaus voller Regale und Hindernisse. Sie schickten eine Flotte von vier digitalen Robotern in diesen Raum, um ein dynamisches Aufgabenzuweisungsproblem zu lösen. Das bedeutet, dass die Roboter untereinander entscheiden mussten, welcher an welchen Ort geht, um Gegenstände aufzunehmen, wobei sie ihren Plan ständig neu bewerteten, sobald neue Aufgaben auftauchten. Die Simulation zeigte, dass die Roboter in der Lage waren, die Umgebung erfolgreich zu kartieren, Kollisionen mit einander und den Regalen zu vermeiden und ihre Missionen zu erfüllen. Im zweiten Szenario nahmen sie einen echten Roboter, einen Clearpath Jackal, und platzierten ihn in ihrem Labor. Während sich der Roboter auf dem tatsächlichen Boden bewegte, wurden seine Sensoren mit Daten aus einer virtuellen Umgebung gespeist, die in Unity erstellt wurde. Der Roboter konnte virtuelle Wände und Hindernisse „sehen“ und navigierte erfolgreich um sie herum, als wären sie real. Dies demonstrierte, dass eine physische Maschine sicher mit einer digitalen Welt interagieren kann.

Der ehrgeizigste Test kombinierte diese beiden Ideen. Die Forscher setzten ein Mixed-Reality-Experiment auf, bei dem ein echter Roboter und drei virtuelle Roboter gemeinsam im selben Raum arbeiten mussten. Der echte Roboter bewegte sich in einem kleinen Raum im Labor, während die anderen drei nur auf einem Computerbildschirm existierten. Sie erhielten alle ein gemeinsames Ziel: eine Reihe von Orten in einer koordinierten Weise zu besuchen. Der echte Roboter musste den virtuellen Robotern ausweichen, die sich in der Simulation um ihn herum bewegten, als wären sie physische Maschinen. Das System funktionierte nahtlos. Der echte Roboter erhielt Daten über die virtuellen Hindernisse und passte seinen Pfad an, um ihnen auszuweichen, während die virtuellen Roboter auf die Anwesenheit des echten Roboters reagierten. An einem Punkt mussten die Roboter ihre Bewegung unterbrechen, weil der Platz zu eng war, um sicher vorbeizufahren – ein Verhalten, das natürlich aus ihrem gemeinsamen Verständnis der Umgebung hervorging. Sobald die Gruppe ihren Plan neu berechnet hatte, setzten sie ihre Reise fort.

Die Ergebnisse zeigen, dass VIRTOOS ein lebensfähiges Werkzeug ist, um die Lücke zwischen algorithmischer Forschung und der Implementierung in der realen Welt zu schließen. Es erlaubt Wissenschaftlern, komplexe Koordinationsstrategien in einer sicheren, kontrollierten Umgebung zu testen, die sich real anfühlt. Das System ist nicht auf einfache Navigation beschränkt; es kann verwendet werden, um zu testen, wie Roboter unbekannte Gebiete kartieren, wie sie Pakete ausliefern oder wie sie in belebten Räumen neben Menschen arbeiten könnten. Da das Toolkit Open-Source ist und darauf ausgelegt ist, leicht modifiziert zu werden, bietet es der Robotik-Gemeinschaft eine neue Möglichkeit, ihre Ideen zu validieren. Indem es Forschern ermöglicht, dass echte und virtuelle Roboter dieselbe Welt teilen, können sie nun die Zukunft von Multi-Roboter-Teams mit einem Maß an Zuversicht und Realismus erforschen, das zuvor unerreichbar war.