Filling the Pareto-Optimal Front for Affordance Segmentation on Embedded Devices Using RGB-D Cameras
Dieses Paper schlägt zwei hardware-bewusste Ansätze vor, um RGB-D-Daten in kompakte tiefe Netzwerke für die Affordance-Segmentierung auf eingebetteten Geräten zu integrieren, wobei erfolgreich eine Echtzeitleistung innerhalb der für Smartphones kompatiblen Energiebudgets erreicht wird, während gleichzeitig Pareto-optimale Lösungen identifiziert werden, die die Generalisierungsgenauigkeit mit Hardwarebeschränkungen in Einklang bringen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboterarm bei, wie man eine Kaffeetasse aufhebt. Sie können ihm nicht einfach sagen „greif die Tasse“; Sie müssen ihm sagen, wo er greifen soll. Wenn er den Henkel greift, könnte sie umkippen; wenn er den Boden greift, könnte sie abrutschen. Das ist die Aufgabe der „Affordance Segmentation“: ein schicker Begriff dafür, einem Computer beizubringen, ein Objekt anzusehen und genau die Teile hervorzuheben, die sicher zu berühren sind und welche nicht.
Lange Zeit haben Roboter auf Standardkameras (RGB) vertraut, die die Welt in Farbe sehen. Aber Farbe kann tückisch sein. Wenn eine blaue Tasse auf einem blauen Tisch steht, könnte eine Farbkamera verwirrt werden und denken, die Tasse sei Teil des Tisches. Hier kommen Tiefensensoren ins Spiel. Stellen Sie sich einen Tiefensensor als Augen vor, die auch Entfernungen messen können und so eine 3D-Karte der Welt erstellen. Es ist ihm egal, ob die Tasse blau oder der Tisch blau ist; er weiß, dass die Tasse näher an der Kamera ist. Die große Herausforderung besteht jedoch darin, dass Roboter oft klein, tragbar und batteriebetrieben sein müssen. Komplexe 3D-Visionssoftware auf einem winzigen Chip laufen zu lassen, ist so, als würde man versuchen, einen Supercomputer in einer Smartwatch zu betreiben – er wird normalerweise überhitzen oder den Akku sofort leersaugen. Wissenschaftler haben versucht herauszufinden, wie man diese „3D-bewussten“ Gehirne klein genug bekommt, damit sie auf einen tragbaren Roboter passen, ohne dessen gesamte Energie aufzubrauchen.
Dieses Paper befasst sich genau mit diesem Rätsel. Die Forscher wollten sehen, ob sie ein winziges, effizientes Robotergehirn bauen können, das sowohl Farbdaten (RGB) als auch Tiefendaten (D) nutzt, um zu verstehen, wie man Dinge greift, und das dabei auf einem tragbaren Gerät läuft. Sie haben nicht nur geraten; sie haben zwei verschiedene „Architekten“ gebaut, um diese Gehirne zu entwerfen. Der erste Ansatz war eine „Hardware-Aware Neural Architecture Search“ (HW-NAS). Stellen Sie sich dies als einen superschnellen, automatisierten Roboter-Architekten vor, der tausende verschiedene Gehirn-Designs ausprobiert und jedes einzelne testet, um zu sehen, welches am besten auf einen bestimmten winzigen Chip passt, während es gleichzeitig schlau genug bleibt, um eine Tasse zu greifen. Der zweite Ansatz war eine „Fine-Tuning“-Methode, die so ist, als würde man ein Gehirn, das bereits sehr gut im 2D-Sehen (nur Farbe) war, behutsam lehren, wie es 3D-Tiefe versteht, anstatt ein neues Gehirn von Grund auf neu zu bauen.
Das Team testete diese Ideen an realen Datensätzen, die tausende Bilder alltäglicher Objekte wie Löffel, Hämmer und Tassen enthalten. Sie fanden heraus, dass das Hinzufügen von Tiefeninformationen das Robotergehirn fast immer intelligenter machte. Wenn man beispielsweise versuchte, eine „Schaufel“ zu identifizieren, war das Modell, das Tiefendaten verwendete, um 31,6 % genauer als dasjenin, das nur Farben nutzte. Dies war besonders hilfreich, wenn die Lichtverhältnisse schlecht waren oder Objekte Farben hatten, die mit dem Hintergrund verschmolzen. Die Forscher konnten auch beweisen, dass ihre neuen Designs auf der „Pareto-optimalen Front“ liegen. Auf Deutsch gesagt: Sie haben den perfekten Sweet Spot gefunden: Diese Modelle sind so intelligent wie sie nur sein können für die Menge an Energie und Speicher, die sie verbrauchen. Man kann kein intelligenteres Modell bekommen, ohne es viel größer oder langsamer zu machen, und man kann es nicht kleiner machen, ohne es dümmer zu machen.
Schließlich haben sie ihre besten Modelle an einem echten Prototyp getestet: einem Jetson Nano Board (einem kleinen Computer, der oft in der Robotik verwendet wird), das mit einer RealSense RGB-D Kamera verbunden ist. Sie haben gemessen, wie schnell das System denken kann und wie viel Strom es verbraucht. Die Ergebnisse waren vielversprechend. Selbst mit der zusätzlichen Arbeit, die 3D-Tiefendaten zu verarbeiten, konnte das System Bilder in Echtzeit verarbeiten (bis zu 16 Bilder pro Sekunde mit Optimierung) und lief mit einem Energiebudget, das mit Standard-Smartphone-Akkus kompatibel ist. Das Paper legt nahe, dass wir durch die Verwendung dieser smarten, tiefenbewussten Designs Wearable-Roboter erschaffen können, die nicht nur beim Greifen von Objekten präziser, sondern auch leicht und energieeffizient genug sind, um von Menschen im Alltag getragen zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.