Geo-Reflex: Geometry-Gated Spiking Visuomotor Policy Learning for High-Frequency Robot Manipulation

Robots die bewegen met een menselijke snelheid en precisie worden geconfronteerd met een fundamenteel probleem: hun ogen en hun spieren spreken niet dezelfde taal. De camera's die een robot zijn zicht geven, vernieuwen hun beeld van de wereld meestal slechts tien tot dertig keer per seconde, terwijl de motoren die de gewrichten aansturen, hun positie honderden keren per seconde moeten aanpassen om stabiel en veilig te blijven. Jarenlang hebben ingenieurs geprobeerd dit op te lossen door de trage cameradata en de snelle spierdata perfect in de tijd op elkaar af te stemmen, wat in feite betekent dat de robot moet wachten tot de camera heeft ingehaald voordat hij kan bewegen. Deze aanpak gooit de snelle, fractie-van-een-seconde informatie weg die een robot precies vertelt wanneer hij iets op het punt staat aan te raken, wat vaak leidt tot onhandige of vertraagde acties.

Een team onderzoekers aan de Dongguan City University heeft een andere manier voorgesteld om deze mismatch aan te pakken, waarbij ze de visie en beweging van de robot behandelen als twee aparte maar verbonden stromen, in plaats van als één enkele, gesynchroniseerde datapakket. Ze ontwikkelden een nieuw controlesysteem genaamd Geo-Reflex, dat gebruikmaakt van een type hersen-geïnspireerde computing waardoor de snel bewegende gewrichten van de robot direct kunnen reageren, terwijl de tragere camerabeelden alleen worden gebruikt om te beslissen waar de aandacht aan moet worden besteed. In plaats van de robot bij elke beweging een volledig beeld van de wereld te voeren, kijkt het systeem naar de vorm en randen van objecten in het camerabeeld om een gevoeligheidsniveau in te stellen. Wanneer de arm van de robot in de buurt van een scherpe rand of een hoek beweegt, wordt het systeem zeer gevoelig voor kleine veranderingen in de positie van de arm. Wanneer de arm over een vlakke, lege ruimte beweegt, negeert het systeem de visuele ruis en focust het zich alleen op de vloeiende beweging. Dit stelt de robot in staat om met hoge snelheid te bewegen zonder te wachten op een nieuw camerabeeld, terwijl de visuele informatie nog steeds wordt gebruikt om de hand precies naar de juiste plek te leiden.

De onderzoekers testten dit idee op een dataset van echte robotbewegingen, opgenomen van een humanoïde arm uitgerust met een dieptesensorkamera. Ze vergeleken hun nieuwe systeem met verschillende bestaande methoden, waaronder standaard kunstmatige intelligentiemodellen die wachten op gesynchroniseerde data en andere hersen-geïnspireerde netwerken die deze speciale visuele gating niet gebruiken. De resultaten toonden aan dat de nieuwe aanpak aanzienlijk nauwkeuriger was in het voorspellen van de juiste armbewegingen. In hun tests maakte het systeem minder fouten dan de beste vorige methode door een kleine maar consistente marge, en het was veel nauwkeuriger dan de standaard hersen-geïnspireerde netwerken die probeerden alle data tegelijk te verwerken. Misschien nog belangrijker is dat het nieuwe systeem veel efficiënter was. Het activeerde zijn interne signalen alleen wanneer dat nodig was, specifiek wanneer de arm van de robot nabij de geometrische randen van objecten was, in plaats van constant te vuren. Deze selectieve activiteit verminderde het aantal signalen dat de computer moest verwerken met ongeveer vijfendertig procent vergeleken met de oudere methoden, wat suggereert dat de robot sneller kan draaien en minder energie kan verbruiken.

Om te begrijpen waarom dit werkt, helpt het om te kijken naar hoe het systeem informatie verwerkt. De camera maakt een foto en breekt deze onmiddellijk af om de contouren van objecten te vinden, waarbij kleuren en texturen die afleidend kunnen zijn, worden genegeerd. Deze contouren worden vervolgens gebruikt om de "drempelwaarde" voor de interne beslissingsneuronen van de robot aan te passen. Denk aan deze drempelwaarde als een poort die controleert hoe gemakkelijk een neuron een signaal kan verzenden. In gebieden waar de camera een duidelijke rand ziet, wordt de poort verlaagd, waardoor het neuron zeer gevoelig wordt voor kleine bewegingen van de arm van de robot. In gebieden waar de camera een vlakke, kenmerkloze achtergrond ziet, wordt de poort verhoogd, wat de neuron vertelt om kleine fluctuaties te negeren. Dit betekent dat de snel bewegende gewrichten van de robot hun positie honderden keren per seconde kunnen blijven bijwerken, maar dat het visuele systeem alleen ingrijpt om de actie te verfijnen wanneer de geometrie van de scène daarom vraagt. Het systeem bevat ook een direct pad voor de vloeiende, voorspelbare delen van de beweging, wat ervoor zorgt dat de robot niet overreageert op visuele ruis.

De studie testte ook hoe goed het systeem standhield wanneer de visuele input rommelig of ruisachtig was, wat slechte verlichting of cameradistorsie simuleerde. Onder deze moeilijke omstandigheden behield het nieuwe systeem zijn nauwkeurigheid veel beter dan de anderen, waarbij de degradatie slechts de helft was van die van de standaard hersen-geïnspireerde netwerken. Dit suggereert dat door zich alleen te richten op de geometrische structuur van de wereld in plaats van op de ruwe pixeldata, de robot robuuster wordt tegen de soorten visuele fouten die andere systemen vaak in de war brengen. Bovendien, toen de onderzoekers een scenario simuleerden waarin de robot een reeks toekomstige bewegingen moest voorspellen op basis van zijn huidige staat, stapelde de nieuwe methode fouten veel langzamer op dan de concurrentie. Dit geeft aan dat de methode de robot helpt om gedurende langere tijd een stabiel begrip van zijn acties te behouden, wat cruciaal is voor taken die lange ketens van precieze bewegingen vereisen.

De onderzoekers erkennen dat hun werk is getest met opgenomen gegevens van een robot in plaats van een live robot die taken uitvoert in de echte wereld, wat betekent dat de resultaten laten zien hoe goed het systeem acties voorspelt in plaats van te bewijzen dat het succesvol objecten kan grijpen in een fysieke omgeving. De consistentie van de resultaten over meerdere tests en de duidelijke verbetering in efficiëntie suggereren echter dat deze manier van het combineren van visie en beweging een veelbelovende richting is voor de toekomst. Door de snelle interne klok van de robot onafhankelijk te laten draaien terwijl de tragere camera alleen wordt gebruikt om de regels van de interactie vast te stellen, biedt Geo-Reflex een praktische oplossing voor de timing mismatch die de snelheid en behendigheid van robots al lang beperkt. De bevindingen suggereren dat voor robots om even vloeiend als mensen te bewegen, ze misschien moeten stoppen met proberen om en met exact dezelfde snelheid te zien en te bewegen, en in plaats daarvan moeten leren hun ogen hun handen te laten leiden alleen wanneer de vorm van de wereld dat vereist.