Geo-Reflex: Geometry-Gated Spiking Visuomotor Policy Learning for High-Frequency Robot Manipulation

Roboter, die sich mit menschenähnlicher Geschwindigkeit und Präzision bewegen, stehen vor einem grundlegenden Problem: Ihre Augen und ihre Muskeln sprechen nicht dieselbe Sprache. Die Kameras, die einem Roboter das Sehen ermöglichen, aktualisieren ihre Ansicht der Welt meist nur zehn bis dreißig Mal pro Sekunde, während die Motoren, die seine Gelenke steuern, ihre Position hunderte Male pro Sekunde anpassen müssen, um stabil und sicher zu bleiben. Jahrelang haben Ingenieure versucht, dies zu lösen, indem sie die langsamen Kameradaten und die schnellen Muskeldaten perfekt zeitlich aufeinander abstimmten – im Wesentlichen zwangen sie den Roboter, auf die Kamera zu warten, bevor er sich bewegen konnte. Dieser Ansatz verwirft die schnellen, blitzschnellen Informationen, die einem Roboter genau sagen, wann er kurz davor ist, etwas zu berühren, was oft zu ungeschickten oder verzögerten Handlungen führt.

Ein Forscherteam der Dongguan City University hat einen anderen Weg vorgeschlagen, um diesen Unterschied zu bewältigen, indem es die Vision und die Bewegung des Roboters als zwei separate, aber verbundene Ströme behandelt, statt als einen einzigen, synchronisierten Datenblock. Sie entwickelten ein neues Steuerungssystem namens Geo-Reflex, das eine Art hirninspirierte Computertechnik nutzt, damit die schnell beweglichen Gelenke des Roboters sofort reagieren können, während die langsameren Kamerabilder nur dazu dienen, zu entscheiden, worauf er seine Aufmerksamkeit richten soll. Anstatt dem Roboter bei jeder Bewegung ein vollständiges Bild der Welt zu liefern, betrachtet das System die Formen und Kanten von Objekten in der Kameraansicht, um ein Sensibilitätsniveau festzulegen. Wenn sich der Arm des Roboters in der Nähe einer scharfen Kante oder einer Ecke bewegt, wird das System extrem empfindlich für kleinste Veränderungen in der Position des Arms. Wenn sich der Arm über eine flache, leere Fläche bewegt, ignoriert das System das visuelle Rauschen und konzentriert sich nur auf die reibungslose Bewegung. Dies ermöglicht es dem Roboter, mit hoher Geschwindigkeit zu agieren, ohne auf einen neuen Kamerabildrahmen zu warten, während er dennoch die visuellen Informationen nutzt, um seine Hand präzise dorthin zu führen, wo sie benötigt wird.

Die Forscher testeten diese Idee an einem Datensatz realer Roboterbewegungen, die von einem humanoiden Arm mit einer Tiefenkamera aufgezeichnet wurden. Sie verglichen ihr neues System mit mehreren bestehenden Methoden, darunter Standardmodelle der künstlichen Intelligenz, die auf synchronisierte Daten warten, sowie andere hirninspirierte Netzwerke, die dieses spezielle visuelle Gating nicht verwenden. Die Ergebnisse zeigten, dass der neue Ansatz wesentlich genauer darin war, die korrekten Armbewegungen vorherzusagen. In ihren Tests machte das System weniger Fehler als die beste bisherige Methode um eine kleine, aber konsistente Marge und war weitaus genauer als die Standard-Netzwerke der hirninspirierten Technologie, die versuchten, alle Daten gleichzeitig zu verarbeiten. Vielleicht noch wichtiger ist, dass das neue System viel effizienter war. Es feuerte seine internen Signale nur dann ab, wenn es notwendig war – spezifisch, wenn sich der Roboterarm in der Nähe der geometrischen Kanten von Objekten befand, anstatt ständig zu feuern. Diese selektive Aktivität reduzierte die Anzahl der Signale, die der Computer verarbeiten musste, um etwa 35 Prozent im Vergleich zu den älteren Methoden, was darauf hindeutet, dass der Roboter schneller laufen und weniger Energie verbrauchen könnte.

Um zu verstehen, warum dies funktioniert, hilft ein Blick darauf, wie das System Informationen verarbeitet. Die Kamera macht ein Foto und zerlegt es sofort, um die Umrisse von Objekten zu finden, wobei Farben und Texturen, die ablenken könnten, ignoriert werden. Diese Umrisse werden dann verwendet, um den „Schwellenwert“ für die Entscheidungs-Neuronen des Roboters anzupassen. Man kann sich diesen Schwellenwert wie ein Tor vorstellen, das kontrolliert, wie leicht ein Neuron ein Signal senden kann. In Bereichen, in denen die Kamera eine klare Kante sieht, wird das Tor gesenkt, was das Neuron sehr empfindlich für kleine Bewegungen des Roboterarms macht. In Bereichen, in denen die Kamera einen flachen, merkmalslosen Hintergrund sieht, wird das Tor angehoben, was das Neuron anweist, geringfügige Schwankungen zu ignorieren. Das bedeutet, dass die schnell beweglichen Gelenke des Roboters ihre Position weiterhin hunderte Male pro Sekunde aktualisieren können, während das visuelle System nur dann eingreift, um die Aktion fein abzustimmen, wenn die Geometrie der Szene dies erfordert. Das System enthält zudem einen direkten Pfad für die glatten, vorhersehbaren Teile der Bewegung, um sicherzustellen, dass der Roboter nicht übermäßig auf visuelles Rauschen reagiert.

Die Studie testete auch, wie gut das System funktioniert, wenn die visuellen Eingaben unordentlich oder verrauscht sind, was schlechte Lichtverhältnisse oder Kameraverzerrungen simuliert. Unter diesen schwierigen Bedingungen behielt das neue System seine Genauigkeit viel besser bei als die anderen und verschlechterte sich nur halb so stark wie die Standard-Netzwerke der hirninspirierten Technologie. Dies deutet darauf hin, dass der Roboter durch die Konzentration auf die geometrische Struktur der Welt statt auf die rohen Pixeldaten robuster gegenüber den Arten von visuellen Fehlern wird, die andere Systeme oft verwirren. Darüber hinaus, als die Forscher ein Szenario simulierten, in dem der Roboter eine Sequenz zukünftiger Bewegungen basierend auf seinem aktuellen Zustand vorhersagen musste, häuften sich die Fehler beim neuen System viel langsamer an als bei der Konkurrenz. Dies zeigt, dass die Methode dem Roboter hilft, ein stabiles Verständnis seiner Handlungen über die Zeit aufrechtzuerhalten, was für Aufgaben, die lange Ketten präziser Bewegungen erfordern, entscheidend ist.

Die Forscher räumen ein, dass ihre Arbeit unter Verwendung von aufgezeichneten Daten eines Roboters und nicht durch einen echten Roboter getestet wurde, der Aufgaben in der realen Welt ausführt; daher zeigen die Ergebnisse, wie gut das System Aktionen vorhersagt, anstatt zu beweisen, dass es erfolgreich Objekte in einer physischen Umgebung greifen kann. Die Beständigkeit der Ergebnisse über mehrere Tests hinweg und die klare Verbesserung der Effizienz deuten jedoch darauf hin, dass diese Art der Kombination von Vision und Bewegung eine vielversprechende Richtung für die Zukunft ist. Indem das System die schnelle interne Uhr des Roboters unabhängig laufen lässt und die langsamere Kamera nur dazu nutzt, die Regeln des Engagements festzulegen, bietet Geo-Reflex eine praktische Lösung für den Zeitunterschied, der die Geschwindigkeit und Geschicklichkeit von Robotern lange Zeit begrenzt hat. Die Erkenntnisse legen nahe, dass Roboter, um so flüssig wie Menschen zu agieren, aufhören müssen zu versuchen, exakt mit derselben Geschwindigkeit zu sehen und sich zu bewegen, und stattdessen lernen müssen, ihre Augen nur dann die Hände führen zu lassen, wenn die Form der Welt es erfordert.