TinyDETR-Pose: Towards End-to-End Real-Time Single-Stage 6DoF Object Pose Estimation with Lightweight Transformers

Stellen Sie sich einen Roboterarm in einer Fabrik oder eine Augmented-Reality-Brille auf dem Gesicht eines Nutzers vor. Damit diese Maschinen mit der Welt interagieren können, müssen sie ein Objekt nicht nur sehen; sie müssen genau verstehen, wo es sich im dreidimensionalen Raum befindet und wie es gedreht ist. Dies erfordert die Berechnung von sechs spezifischen Zahlen: drei, um die Position des Objekts zu beschreiben (links, rechts, oben, unten, vorne, hinten) und drei, um seine Rotation zu beschreiben (geneigt, gerollt oder gedreht). Dies ist als Sechs-Freiheitsgrade-Pose-Schätzung (Six-Degree-of-Freedom Pose Estimation) bekannt. Während leistungsstarke Computer in Laboren dieses Rätsel mit hoher Präzision lösen können, bleibt dies auf kleinen, batteriebetriebenen Geräten eine hartnäckige Herausforderung. Traditionelle Methoden verlassen sich oft auf komplexe, mehrstufige Prozesse, die zu langsam für den Echtzeitgebrauch sind, während neuere, hochpräzise Systeme zu schwerfällig sind, um auf den Edge-Geräten zu laufen, die moderne Robotik und Wearable-Technologie antreiben.

Ein Forschungsteam am Fraunhofer IGD in Deutschland und der TU Delft in den Niederlanden hat einen neuen Ansatz namens TinyDETR-Pose vorgestellt, der darauf ausgelegt ist, dieses Problem zu lösen, indem er den gesamten Prozess leichtgewichtig und schnell gestaltet. Anstatt die Aufgabe in separate Phasen zu unterteilen – erst das Objekt finden, dann seine Position berechnen, dann das Ergebnis verfeinern – führt ihr System all diese Schritte in einem einzigen, einheitlichen Durchgang aus. Stellen Sie sich das wie eine Maschine vor, die ein Bild betrachtet und sofort weiß, nicht nur was das Objekt ist, sondern auch exakt, wie es im Raum liegt, ohne dass sie innehalten muss, um ihre Arbeit doppelt zu prüfen. Dies wird durch eine spezialisierte, gestraffte Version einer Transformer-Architektur erreicht, einem Typ von KI-Modell, der für seine Fähigkeit bekannt ist, visuelle Daten effizient zu verarbeiten. Die Forscher haben ihr System „End-to-End“ gebaut, was bedeutet, dass der Computer lernt, das Objekt zu erkennen und seine 3D-Orientierung gleichzeitig zu schätzen, wodurch die Notwendigkeit für Zwischenschritte entfällt, die ältere Systeme oft verlangsamen.

Der Kern ihrer Innovation liegt darin, wie das System die Mathematik dahinter verarbeitet. Frühere Methoden erforderten oft eine separate Berechnung, um die Entfernung zu einem Objekt zu ermitteln, oder nutzten komplexe geometrische Solver, die nicht einfach von der KI selbst trainiert werden können. TinyDETR-Pose umgeht diese Hürden, indem es den Mittelpunkt des Objekts auf dem Bildschirm und dessen Tiefe direkt vorhersagt und dann einfache Geometrie verwendet, um die vollständige 3D-Position zu rekonstruieren. Es bewältigt zudem ein häufiges Problem in der Robotik: Objekte, die aus verschiedenen Blickwinkeln gleich aussehen, wie etwa eine Getränkedose oder ein symmetrischer Karton. Anstatt spezielle Regeln für jeden Objekttyp zu benötigen, nutzt das System eine einzige, einheitliche Methode, um dessen Genauigkeit zu beurteilen, was es ihm ermöglicht, sowohl von symmetrischen als auch von asymmetrischen Gegenständen ohne Verwirrung zu lernen. Dieses Design ermöglicht es dem Modell, unglaublich klein zu bleiben und weit weniger einstellbare Parameter zu enthalten als andere ähnliche Systeme, was entscheidend für den Betrieb auf begrenzter Hardware ist.

Bei Tests auf einem Standarddatensatz, der einundzwanzig Haushaltsgegenstände enthält, zeigte das System, dass hohe Genauigkeit keine massiven Rechenleistungen erfordert. Es erreichte ein Präzisionsniveau, das mit viel größeren, komplexeren Modellen vergleichbar ist, und identifizierte die Position und Orientierung von Objekten in unübersichtlichen Szenen korrekt. Noch wichtiger ist, dass das System seine Geschwindigkeit auf einem kleinen, energieeffizienten Computerchip namens NVIDIA Jetson Nano unter Beweis stellte, einem Gerät, das häufig in Drohnen und tragbaren Robotern eingesetzt wird. Auf dieser Hardware verarbeitete das System ein neues Bild in etwa 4,5 Millisekunden – eine Geschwindigkeit, die ausreicht, um mit realen Bewegungen Schritt zu halten. Diese Leistung deutet darauf hin, dass der Kompromiss zwischen Genauigkeit und Geschwindigkeit, der die Bereitstellung fortschrittlicher Robotik auf kleinen Geräten lange Zeit begrenzt hat, erheblich reduziert werden kann.

Die Forscher räumen ein, dass ihr System zwar hocheffizient, aber nicht perfekt ist. In Fällen, in denen Objekte stark verdeckt oder teilweise verborgen sind, kann die Genauigkeit des Systems sinken, insbesondere bei Gegenständen mit unregelmäßigen Formen. Sie merken an, dass ihr aktuelles Design Geschwindigkeit und Einfachheit über die absolut höchste mögliche Präzision stellt, die oft von Systemen erreicht wird, die wesentlich länger zur Berechnung benötigen. Indem sie jedoch zeigen, dass ein kompaktes, einstufiges Modell in Echtzeit auf Edge-Geräten laufen kann, eröffnet die Arbeit einen praktischen Weg für den Einsatz hochentwickelter 3D-Vision in alltäglichen Anwendungen. Die Ergebnisse legen nahe, dass die Zukunft der Robotik und des Augmented Reality nicht unbedingt davon abhängt, größere, leistungsstärkere Computer zu bauen, sondern vielmehr davon, intelligentere, schlankere Systeme zu entwickeln, die mit weniger Mitteln mehr erreichen können.