TinyDETR-Pose: Towards End-to-End Real-Time Single-Stage 6DoF Object Pose Estimation with Lightweight Transformers

Immaginate un braccio robotico in una fabbrica o un paio di occhiali per la realtà aumentata sul volto di un utente. Affinché queste macchine possano interagire con il mondo, devono fare di più che limitarsi a vedere un oggetto; devono capire esattamente dove si trova nello spazio tridimensionale e come sia orientato. Ciò richiede il calcolo di sei numeri specifici: tre per descrivere la posizione dell'oggetto (sinistra, destra, su, giù, avanti, indietro) e tre per descriverne la rotazione (inclinazione, rollio o rotazione). Questo è noto come stima della posa a sei gradi di libertà (six-degree-of-freedom pose estimation). Mentre i potenti computer dei laboratori possono risolvere questo enigma con alta precisionità, farlo su piccoli dispositivi alimentati a batteria è rimasto una sfida ostinata. I metodi tradizionali spesso si affidano a processi complessi e multistadio che sono troppo lenti per un uso in tempo reale, mentre i sistemi più recenti, altamente accurati, sono troppo pesanti per essere eseguiti sui dispositivi edge che alimentano la moderna robotica e la tecnologia indossabile.

Un team di ricercatori del Fraunhofer IGD in Germania e della TU Delft nei Paesi Bassi ha introdotto un nuovo approccio chiamato TinyDETR-Pose, progettato per risolvere questo problema rendendo l'intero processo leggero e veloce. Invece di suddividere il compito in fasi separate — prima trovare l'oggetto, poi calcolarne la posizione, poi raffinare la risposta — il loro sistema esegue tutti questi passaggi in un unico passaggio unificato. Pensatelo come una macchina che guarda un'immagine e sa istantaneamente non solo cos'è l'oggetto, ma anche esattamente come è posizionato nello spazio, senza dover fare una pausa per ricontrollare il proprio lavoro. Ciò è reso possibile dall'uso di una versione specializzata e snellita di un'architettura transformer, un tipo di modello di intelligenza artificiale noto per la sua capacità di elaborare i dati visivi in modo efficiente. I ricercatori hanno costruito il loro sistema affinché sia "end-to-end", il che significa che il computer impara a rilevare l'oggetto e a stimare la sua orientazione 3D simultaneamente, eliminando la necessità di passaggi intermedi che spesso rallentano i sistemi più vecchi.

Il cuore della loro innovazione risiede nel modo in cui il sistema gestisce la matematica dietro le quinte. I metodi precedenti spesso richiedevano un calcolo separato per determinare la distanza da un oggetto o utilizzavano complessi risolutori geometrici che non possono essere facilmente addestrati dall'IA stessa. TinyDETR-Pose evita questi ostacoli prevedendo direttamente il punto centrale dell'oggetto sullo schermo e la sua profondità, per poi utilizzare una geometria semplice per ricostruire la posizione 3D completa. Gestisce inoltre un problema comune nella robotica: gli oggetti che appaiono uguali da diverse angolazioni, come una lattina di soda o una scatola simmetrica. Invece di necessitare di regole speciali per ogni tipo di oggetto, il sistema utilizza un metodo unico e unificato per giudicare la propria accuratezza, permettendogli di apprendere sia da oggetti simmetrici che asimmetrici senza confusione. Questo design permette al modello di rimanere incredibilmente piccolo, contenendo molti meno parametri regolabili rispetto ad altri sistemi simili, il che è fondamentale per l'esecuzione su hardware limitati.

Quando testato su un dataset standard contenente ventuno oggetti domestici, il sistema ha dimostrato che un'alta accuratezza non richiede una potenza di calcolo massiccia. Ha raggiunto un livello di precisione paragonabile a modelli molto più grandi e complessi, identificando correttamente la posizione e l'orientamento degli oggetti in scene affollate. Più importante ancora, il sistema ha dimostrato la sua velocità su un piccolo chip computerizzato ad alta efficienza energetica noto come NVIDIA Jetson Nano, un dispositivo spesso utilizzato in droni e robot portatili. Su questo hardware, il sistema ha elaborato una nuova immagine in circa 4,5 millisecondi, una velocità sufficiente per stare al passo con il movimento del mondo reale. Questa prestazione suggerisce che il compromesso tra accuratezza e velocità, che ha a lungo limitato l'implementazione della robotica avanzata su piccoli dispositivi, può essere significativamente ridotto.

I ricercatori riconoscono che, sebbene il loro sistema sia altamente efficiente, non è perfetto. Nei casi in cui gli oggetti sono pesantemente coperti dalla vista o parzialmente nascosti, l'accuratezza del sistema può diminuire, in particolare per articoli con forme irregolari. Essi osservano che il loro design attuale privilegia la velocità e la semplicità rispetto alla massima precisione assoluta, che è spesso raggiunta da sistemi che richiedono molto più tempo per il calcolo. Tuttavia, dimostrando che un modello compatto a singolo stadio può girare in tempo reale su dispositivi edge, questo lavoro apre una via pratica per l'implementazione di una visione 3D sofisticata in applicazioni quotidiane. Le conclusioni suggeriscono che il futuro della robotica e della realtà aumentata potrebbe non dipendere dalla costruzione di computer più grandi e potenti, ma piuttosto dalla progettazione di sistemi più intelligenti e snelli, capaci di fare di più con meno.