Collaborative Deep Q-Network for Multi-Robot Coverage Path Planning in Complex Environments

Stellen Sie sich ein Team kleiner Roboter vor, die in ein riesiges, dunkles Lagerhaus geschickt werden, das sie noch nie zuvor gesehen haben. Ihre Aufgabe besteht nicht nur darin, einen bestimmten Gegenstand zu finden, sondern jeden einzelnen Quadratzentimeter des Bodens abzulaufen, um sicherzustellen, dass nichts übersehen wird. Dies ist eine Aufgabe, die als Coverage Path Planning (Abdeckungspfadplanung) bekannt ist. In der realen Welt werden Maschinen so etwa große Fabriken reinigen, eine Katastrophenzone kartieren oder eine Baustelle inspizieren. Die Herausforderung besteht darin, dass die Roboter nicht das ganze Zimmer auf einmal sehen können; sie wissen nur, was sich unmittelbar in ihrer Umgebung befindet. Wenn sie allein agieren, laufen sie möglicherweise viele Male über denselben Fleck, was Zeit und Energie verschwendet, oder sie lassen Lücken, in denen der Boden unberührt bleibt. Um dies zu lösen, müssen die Roboter miteinander kommunizieren, das, was sie gesehen haben, teilen und gemeinsam entscheiden, wer wohin gehen soll.

Jahrelang haben Wissenschaftler versucht, Roboter mit Computerprogrammen zu trainieren, die aus Erfahrung lernen, ganz ähnlich wie ein Mensch, der durch Versuch und Irrtum lernt, sich in einer neuen Stadt zurechtzufinden. Viele bestehende Methoden haben jedoch Schwierigkeiten, wenn sich die Teamgröße ändert oder die Umgebung komplex ist. Einige Systeme verlassen sich auf vorgezeichnete Karten, die in unbekannten Umgebungen nicht existieren, während andere verwirrt sind, wenn zu viele Roboter zur Gruppe hinzugefügt werden, was zu Chaos und wiederholten Schritten führt. Die Kernschwierigkeit liegt darin, die Roboter dazu zu bringen, nicht nur ihre eigene Umgebung zu verstehen, sondern auch die Absichten und Positionen ihrer Teamkollegen in Echtzeit zu erfassen.

In einer kürzlich durchgeführten Studie haben Forscher der Hubei University of Technology einen neuen Weg vorgeschlagen, um dieses Problem mithilfe eines Systems zu lösen, das sie ein Collaborative Deep Q-Network nennen. Anstatt den Robotern einen starren Satz von Regeln zu geben, entwickelten sie ein Lernsystem, das es den Robotern ermöglicht, die Zusammenarbeit auf ihre eigene Weise herauszufinden. Die Forscher trainierten diese virtuellen Roboter in einer Computersimulation, in der sie mit unterschiedlicher Anzahl an Teamkollegen und verschiedenen Raumlayouts konfrontiert wurden, von kleinen Quadraten bis hin zu großen, hindernisreichen Gittern. Das Ziel war es zu sehen, ob die Roboter eine flexible Strategie erlernen können, die funktioniert, egal ob sie zu dritt oder zu neunt sind und ob der Raum klein oder groß ist.

Das Herzstück dieses neuen Systems ist eine Methode, mit der die Roboter einander Aufmerksamkeit schenken. Stellen Sie sich eine Gruppe von Menschen in einem überfüllten Raum vor, die versucht, diesen aufzuräumen. Wenn jeder nur auf seine eigenen Füße schaut, laufen sie alle zusammen. Wenn alle gleichzeitig schreien, hört niemand etwas. Die Forscher entwarfen einen Mechanismus, bei dem sich jeder Roboter auf die relevantesten Informationen seiner Teamkollegen konzentriert. Er fragt sich selbst: „Wer ist in meiner Nähe? Wer hat diesen Bereich bereits gereinigt? Wer bewegt sich auf einen Punkt zu, zu dem ich gehen sollte?“ Indem sie diese Fragen gewichten, kann der Roboter eine Entscheidung treffen, die zur aktuellen Situation passt, anstatt einem festen Plan zu folgen. Dieser Aufmerksamkeitsmechanismus ermöglicht es dem Team, sich sofort anzupassen, falls ein Roboter stecken bleibt oder ein neues Hindernis auftaucht.

Um die Roboter zu effizientem Verhalten zu leiten, entwickelten die Forscher auch ein System aus Belohnungen und Strafen. Wenn ein Roboter auf einen Bodenabschnitt tritt, den noch niemand besucht hat, erhält er eine Belohnung. Wenn er auf einen Fleck tritt, den ein anderer Roboter bereits gereinigt hat, wird er bestraft, weil er Mühe verschwendet. Das System ermutigt die Roboter auch dazu, innerhalb ihrer zugewiesenen Zonen zu bleiben, die sich ständig verschieben, während sich das Team bewegt. Wenn ein Roboter zu weit in das Territorium eines Teamkollegen wandert, wird er sanft zurückgestoßen. Dies schafft eine natürliche Arbeitsteilung, bei der sich die Roboter ausbreiten, um das gesamte Gebiet abzudecken, ohne sich gegenseitig in die Quere zu kommen.

Die Ergebnisse der Studie wurden in tausenden von simulierten Szenarien getestet. Die Forscher fanden heraus, dass ihr neues System konsistent mehr als 99 Prozent der verfügbaren Bodenfläche abdeckte, unabhängig davon, wie viele Roboter in der Gruppe waren oder wie groß die Karte war. In Tests mit drei Robotern auf einem 30-mal-30-Raster vollendete die neue Methode die Aufgabe in etwa 618 Schritten, während ältere Methoden über 1.000 Schritte benötigten. Wichtiger noch: Das neue System reduzierte die Menge der verschwendeten Bewegungen erheblich. Während ältere Methoden oft dazu neigten, dass Roboter wiederholt über dieselben Stellen liefen, hielt dieser neue Ansatz die Redundanz auf unter 10 Prozent. Die Roboter lernten so effektiv zu koordinieren, dass sie den Job schneller und mit weniger Überschneidungen als bisherige Techniken erledigen konnten.

Um sicherzustellen, dass dies nicht nur ein Computertrick war, testeten die Forscher das System auch in einer physikbasierten Simulation, die reale Bewegungen nachahmt. Sie verwendeten ein Modell eines kleinen, radgesteuerten Roboters namens E-puck, der sich bewegt, indem er seine linken und rechten Räder mit unterschiedlichen Geschwindigkeiten dreht. Das System konnte die abstrakte Entscheidung „Bewege zum nächsten Quadrat“ erfolgreich in die niedrigschwelligen Befehle übersetzen, die zum Steuern der Räder nötig sind. Die Roboter navigierten um Hindernisse herum und bewegten sich reibungslos über den Boden, was bewies, dass die abstrakten Entscheidungen des Lernalgorithmus von physischen Maschinen ausgeführt werden können.

Die Studie verdeutlicht, dass der Schlüssel zum Erfolg nicht nur in einem Teil des Systems lag, sondern in der Kombination mehrerer Komponenten, die zusammenarbeiten. Als die Forscher den Teil entfernten, der es den Robotern ermöglichte, einander Aufmerksamkeit zu schenken, sank die Leistung drastisch und die Roboter begannen, ihre Pfade viel häufiger zu wiederholen. Ähnlich verhielt es sich, als sie das dynamische System entfernten, das unterschiedliche Zonen verschiedenen Robotern zuwies; das Team wurde desorganisiert und ineffizient. Dies deutet darauf an, dass für eine Gruppe von Robotern, die in einer unbekannten Umgebung gut arbeiten sollen, sowohl eine Möglichkeit zur Informationsweitergabe als auch eine Möglichkeit zur rollenbasierten Anpassung im laufenden Betrieb erforderlich sind.

Obwohl sich die Studie auf statische Umgebungen mit festen Hindernissen konzentrierte, räumten die Forscher ein, dass reale Szenarien chaotischer sein können, mit beweglichen Objekten oder Robotern, die ausfallen könnten. Sie planen, das System in Zukunft mit größeren Teams und in komplexeren, sich verändernden Umgebungen zu testen. Für den Moment zeigt diese Arbeit, dass, indem wir Roboter lehren, einander zuzuhören und ihre Rollen in Echtzeit anzupassen, wir Teams schaffen können, die weitaus effizienter und zuverlässiger sind als solche, die starren, vorprogrammierten Anweisungen folgen. Dieser Ansatz bietet einen vielversprechenden Weg für den Einsatz von Roboterteams in der Katastrophenhilfe, der großflächigen Reinigung und der Erkundung unbekannter Gebiete.