TinyDETR-Pose: Towards End-to-End Real-Time Single-Stage 6DoF Object Pose Estimation with Lightweight Transformers

Stel je een robotarm in een fabriek voor of een paar augmented reality-brillen op het gezicht van een gebruiker. Om met de wereld te kunnen interageren, moeten deze machines meer doen dan alleen een object zien; ze moeten precies begrijpen waar het zich in de driedimensionale ruimte bevindt en hoe het gedraaid is. Dit vereist het berekenen van zes specifieke getallen: drie om de positie van het object te beschrijven (links, rechts, boven, onder, vooruit, achteruit) en drie om de rotatie te beschrijven (gekanteld, gerold of gedraaid). Dit staat bekend als zes vrijheidsgraden pose-schatting (six-degree-of-freedom pose estimation). Hoewel krachtige computers in laboratoria dit vraagstuk met hoge precisie kunnen oplossen, is het uitvoeren hiervan op kleine, op batterijen werkende apparaten een hardnekkige uitdaging gebleven. Traditionele methoden vertrouwen vaak op complexe, meerstaps-processen die te traag zijn voor real-time gebruik, terwijl nieuwere, zeer nauwkeurige systemen te zwaar zijn om te draaien op de edge-apparaten die moderne robotica en draagbare technologie aandrijven.

Een team onderzoekers van Fraunhofer IGD in Duitsland en TU Delft in Nederland heeft een nieuwe aanpak geïntroduceerd genaamd TinyDETR-Pose, ontworpen om dit probleem op te lossen door het hele proces lichtgewicht en snel te maken. In plaats van de taak op te splitsen in aparte fasen — eerst het object vinden, dan de positie berekenen, en vervolgens het antwoord verfijnen — voert hun systeem al deze stappen uit in één enkele, verenigde passage. Denk aan een machine die naar een foto kijkt en direct weet niet alleen wat het object is, maar ook exact hoe het in de ruimte staat, zonder dat hij hoeft te pauzeren om zijn werk te controleren. Dit wordt bereikt door gebruik te maken van een gespecialiseerde, gestroomlijnde versie van een transformer-architectuur, een type kunstmatige intelligentie-model dat bekend staat om zijn vermogen om visuele gegevens efficiënt te verwerken. De onderzoekers hebben hun systeem "end-to-end" gebouwd, wat betekent dat de computer leert om het object te detecteren en de 3D-oriëntatie gelijktijdig in te schatten, waardoor de noodzaak voor tussenliggende stappen die oudere systemen vaak vertragen, wordt geëlimineerd.

De kern van hun innovatie ligt in de manier waarop het systeem de wiskunde achter de schermen afhandelt. Eerdere methoden vereisten vaak een aparte berekening om de afstand tot een object te bepalen of gebruikten complexe geometrische oplossers die niet gemakkelijk door de AI zelf getraind kunnen worden. TinyDETR-Pose vermijdt deze hindernissen door het middelpunt van het object op het scherm en de diepte direct te voorspellen, en vervolgens eenvoudige geometrie te gebruiken om de volledige 3D-positie te reconstrueren. Het gaat ook om met een veelvoorkomend probleem in de robotica: objecten die er vanuit verschillende hoeken hetzelfde uitzien, zoals een blikje frisdrank of een symmetrische doos. In plaats van speciale regels voor elk type object nodig te hebben, gebruikt het systeem een enkele, verenigde methode om de nauwkeurigheid te beoordelen, waardoor het kan leren van zowel symmetrische als asymmetrische items zonder verwarring. Dit ontwerp zorgt ervoor dat het model extreem klein blijft, met veel minder instelbare parameters dan andere vergelijkbare systemen, wat cruciaal is voor het draaien op beperkte hardware.

Bij tests op een standaard dataset met eenentwintig huishoudelijke objecten, toonde het systeem aan dat hoge nauwkeurigheid geen enorme rekenkracht vereist. Het bereikte een precisieniveau dat vergelijkbaar is met veel grotere, complexere modellen, waarbij het de positie en oriëntatie van objecten in rommelige scènes correct identificeerde. Belangrijker nog, het systeem bewees zijn snelheid op een kleine, energiezuinige computerchip die bekend staat als de NVIDIA Jetson Nano, een apparaat dat vaak wordt gebruikt in drones en draagbare robots. Op deze hardware verwerkte het systeem een nieuwe afbeelding in ongeveer 4,5 milliseconden, een snelheid die snel genoeg is om de werkelijke bewegingen bij te houden. Deze prestatie suggereert dat de afruil tussen nauwkeurigheid en snelheid, die de inzet van geavanceerde robotica op kleine apparaten lange tijd heeft beperkt, aanzienlijk kan worden verminderd.

De onderzoekers erkennen dat hoewel hun systeem zeer efficiënt is, het niet perfect is. In gevallen waarin objecten sterk geblokkeerd worden of gedeeltelijk aan het zicht worden onttrokken, kan de nauwkeurigheid van het systeem dalen, met name voor items met onregelmatige vormen. Ze merken op dat hun huidige ontwerp prioriteit geeft aan snelheid en eenvoud boven de absoluut hoogst mogelijke precisie, die vaak wordt bereikt door systemen die veel langer nodig hebben om te rekenen. Echter, door aan te tonen dat een compact, single-stage model in real-time kan draaien op edge-apparaten, opent het werk een praktisch pad voor de implementatie van geavanceerde 3D-visie in alledaagse toepassingen. De bevindingen suggereren dat de toekomst van robotica en augmented reality misschien niet afhangt van het bouwen van grotere, krachtigere computers, maar eerder van het ontwerpen van slimmere, lichtere systemen die meer kunnen doen met minder.