PRISM: Multimodal Terrain Mapping for Rover Navigation in Unstructured Environments

Stellen Sie sich einen Roboter-Rover vor, der versucht, durch eine wilde, felsige Landschaft zu fahren, in der es keine Straßen, keine Straßenschilder und keine GPS-Signale gibt, die ihm den Weg weisen könnten. Dies ist die tägliche Herausforderung für Roboter, die geschickt werden, um Orte wie den Mars oder die tiefe Wildnis auf der Erde zu erforschen. Um zu überleben, benötigen diese Roboter „Situationsbewusstsein“ – eine schicke Art zu sagen, dass sie genau wissen müssen, was sich unter ihren Rädern befindet und was vor ihnen liegt. Wenn sie eine weiche Sandstelle mit festem Boden verwechseln, könnten sie stecken bleiben. Wenn sie einen steilen Hügel für flach halten, könnten sie umkippen.

Normalerweise verlassen sich Roboter auf Kameras, die sichtliches Licht sehen (wie unsere Augen), und Tiefensensoren, die Entfernungen messen (wie das Sonar eines Fledermaus). Aber in der Wildnis reicht es nicht immer aus, nur so auszusehen wie ein Mensch. Manchmal sehen zwei Dinge für das Auge identisch aus, fühlen sich aber völlig unterschiedlich an oder haben eine andere Temperatur. Hier kommt eine spezielle Art von „Super-Vision“ ins Spiel: die Kombination von Standard-Vision mit Wärmebildtechnik. Wärmekameras sehen Hitze, was enthüllen kann, ob der Boden trockener Sand oder verdichtete Erde ist, selbst wenn sie die gleiche Farbe haben. Die große Frage, die sich Wissenschaftler stellen, lautet: Können wir Roboter dazu bringen, diese verschiedenen Sinne miteinander zu verschmelzen, um in den chaotischsten Umgebungen sicherere und intelligentere Entscheidungen zu treffen?

---

Die große Idee des Papers: Den Robotern einen „Hitzesinn“ geben

In diesem Paper stellt ein Forscherteam ein neues System namens PRISM (Perception for RGB, Infrared, and Spatial Mapping) vor. Betrachten Sie PRISM als eine hochtechnologische Brille für einen Roboter-Rover, die es ihm ermöglicht, die Welt gleichzeitig in drei Dimensionen zu sehen: Farbe, Tiefe und Hitze.

Die meisten Roboter von heute sind wie Menschen mit Augenbinden, die nur in Schwarz-Weiß oder Standardfarben sehen können. Sie mögen einen Stein sehen, aber sie können nicht unterscheiden, ob es ein rutschiger, glatter Stein oder ein gezackter, gefährlicher Felsbrocken ist, allein durch das Hinsehen. PRISM verändert die Spielregeln, indem eine Wärmekamera hinzugefügt wird. Es ist, als würde man dem Roboter ein Paar Nachtsichtgeräte geben, die zusätzlich Körperwärme wahrnehmen können. Dies ermöglicht es dem Roboter, zwischen Geländearten zu unterscheiden, die für eine normale Kamera identisch aussehen, aber unterschiedliche thermische Eigenschaften besitzen. Beispielsweise könnte loser, sandiger Boden in der Sonne schneller heiß werden als verdichtete, harte Erde. Eine Standardkamera sieht beide als „braune Erde“, aber eine Wärmekamera sieht den Unterschied in der Temperatur und hilft dem Roboter zu wissen, welcher Pfad sicher zu befahren ist.

Wie es funktioniert: Das Gehirn und die Augen des Roboters

Die Forscher bauten eine maßgeschneiderte „Sensoreinheit“ für ihren Testroboter, den RAT (Rover Autonomy Testbed). Dieses Setup umfasst eine Standard-3D-Kamera (die Farbe und Tiefe sieht) und eine Wärmekamera, die alle in einem speziellen 3D-gedruckten Gehäuse montiert sind, um sie perfekt aufeinander abzustimmen.

Die Magie geschieht in der Software, speziell in einem neuen KI-Modell namens OmniUnet. Sie können sich OmniUnet wie einen superintelligenten Koch vorstellen, der eine Suppe probiert. Anstatt nur den Geschmack (Farbe) zu schmecken, fühlt der Koch auch die Temperatur (Hitze) und die Textur (Tiefe) gleichzeitig. Durch die Kombination dieser drei „Zutaten“ kann die KI eine detaillierte Karte des Geländes erstellen. Sie sagt nicht nur „da ist Boden“, sondern sie sagt: „Dieses Stück ist Gras“, „dieses Stück ist ein Fels“ und „dieses Stück ist ein gefährliches Gebüsch“.

Sobald die KI das Gelände identifiziert, erstellt das System eine Traversabilitätskarte (Begehbarkeitskarte). Dies ist wie eine Videospiel-Karte, bei der jedem Quadrat ein „Schwierigkeitswert“ zugewiesen wird.

• Hindernisse: Dinge wie steile Klippen oder unerkennbare Objekte erhalten einen Score von „unendlichen Kosten“, was dem Roboter sagt: „Gehe hier nicht hin!“
• Begehbar: Sichere Pfade erhalten einen niedrigen Wert.
• Der Clou: Das System ist klug genug zu erkennen, dass ein hohes Stück Gras für eine 3D-Kamera wie eine feste Wand aussehen kann, aber die KI weiß, dass es nur Gras ist, und lässt den Roboter hindurchfahren. Umgekehrt kann sie einen Felsen entdecken, der klein aussieht, aber eigentlich zu hoch zum Erklimmen ist, und ihn als Gefahr markiert.

Der Test in der realen Welt: Fahren in der Wildnis

Um zu beweisen, dass dies nicht nur eine Computersimulation war, nahm das Team ihren Roboter mit in die reale Welt. Sie testeten ihn an zwei verschiedenen Orten:

1. Die Bardenas Semi-Wüste: Ein trockenes, felsiges Gebiet in Spanien, das der Oberfläche des Mars sehr ähnlich sieht.
2. LAENTIEC: Ein Testgelände an der Universität von Málaga mit Erde, Kies und Gras.

Sie ließen den Roboter nicht nur auf einem Computer laufen; sie brachten ihn auf einem physischen Rover unter und ließen ihn autonom fahren. Der Roboter musste alle 5 Meter anhalten, um seine Karte zu aktualisieren und seinen nächsten Schritt zu planen, während er auf einem kleinen, energieeffizienten Computer (einem Jetson Orin Nano) lief, der auf einen Roboter passt und kein Supercomputer ist.

Was sie herausfanden

Die Ergebnisse waren vielversprechend. Die OmniUnet-KI war in der Lage, Geländearten mit hoher Genauigkeit korrekt zu identifizieren.

• Auf dem Bardenas-Datensatz (felsige und sandige Mars-ähnliche Umgebung) klassifizierte das System Pixel zu etwa 80,37 % korrekt. Es war besonders gut darin, „kompakten“ Boden (die sicherste Art) mit einer Genauigkeit von 77,44 % zu erkennen.
• Auf dem LAENTIEC-Datensatz (das grasbewachsene, erdige Gebiet) schnitt es sogar noch besser ab und erreichte eine Genauigkeit von 92,85 %.

Das Paper ist jedoch ehrlich über die Grenzen. Das System hatte etwas mehr Schwierigkeiten bei der Identifizierung von Felsen und lag in den Bardenas-Tests nur bei 18,40 %. Die Autoren vermuten, dass dies daran liegt, dass Felsen je nach Sonne und Schatten sehr unterschiedliche Wärmesignaturen aufweisen können, was es für die KI schwierig macht, sie konsistent zu erkennen.

Das Fazit

PRISM ist kein Zauberstab, der jedes Problem der Roboternavigation löst, aber es ist ein bedeutender Schritt nach vorn. Die Autoren zeigen, dass durch das Hinzufügen von Wärmebildtechnik zu den Sensoren Roboter die Welt klarer sehen können als je zuvor, indem sie zwischen sicheren Pfaden und verborgenen Gefahren unterscheiden, die Standardkameras übersehen. Sie haben erfolgreich demonstriert, dass dieses komplexe System auf kleinen, stromsparenden Computern laufen kann, was beweist, dass autonome Rover eines Tages in der harten, unstrukturierten Umgebung des Mars oder der Erde navigieren könnten, ohne dass ein Mensch sie bei jedem Schritt steuern muss. Der Code und die Daten, die sie verwendet haben, sind nun offen für jeden zum Studium verfügbar und ebnen den Weg für zukünftige Roboter, die von ihren „wärmesensiblen“ Augen lernen können.