BOP-Distrib++: Local Symmetry Discovery for 6D Pose Benchmarking Under Visual Ambiguities

I robot e i sistemi di realtà aumentata si affidano a una capacità fondamentale: sapere esattamente dove si trova un oggetto nello spazio e come sia orientato. Questo compito, noto come stima della posa a sei dimensioni, consiste nel calcolare la posizione tridimensionale di un oggetto e il suo orientamento tridimensionale rispetto a una telecamera. È la logica invisibile che permette a un braccio robotico di afferrare uno strumento o a un overlay digitale di rimanere fisso su un componente in movimento. Affinché questa tecnologia funzioni, i computer devono essere addestrati su vaste librerie di immagini in cui la risposta corretta è già nota. Tuttavia, un difetto nascosto nel modo in cui queste risposte vengono fornite ha per lungo tempo distorto la valutazione degli algoritmi progettati per risolvere questo enigma. Il problema sorge quando un oggetto appare identico da diverse angolazioni, o quando alcune sue parti sono nascoste. In questi momenti di ambiguità visiva, non esiste un'unica risposta corretta; esistono molteplici possibilità valide.

Per anni, il modo standard di testare questi sistemi ha trattato ogni oggetto come se avesse una sola posizione reale, anche quando l'immagine suggeriva il contrario. I ricercatori prendevano una singola posizione di verità fondamentale (ground-truth) e applicavano un insieme fisso di regole per tenere conto della simmetria, assumendo che tali regole si applicassero a ogni immagine di quell'oggetto in modo uguale. Questo approccio ignorava la realtà della scena. Se una telecamera vede solo il lato liscio e rotondo di una tazza, il computer non può capire se la tazza sia dritta o sottosopra. Se è visibile un foro, la risposta diventa chiara. Il vecchio metodo non riusciva a distinguere tra questi casi, trattando una vista confusa e ambigua allo stesso modo di una vista chiara e univoca. Ciò significava che i benchmark utilizzati per classificare i migliori algoritmi erano costruiti su una base imperfetta, premiando potenzialmente metodi che indovinavano per fortuna e penalizzando quelli che identificavano correttamente molteplici possibilità.

Un team di ricercatori dell'Université Paris-Saclay e di altre istituzioni ha ora corretto questa svista con un nuovo approccio chiamato BOP-Distrib++. Invece di assegnare una singola risposta statica a ogni immagine, hanno sviluppato un metodo per scoprire automaticamente le simmetrie specifiche di un oggetto basandosi su ciò che è effettivamente visibile in ogni foto. Hanno iniziato analizzando i modelli digitali 3D degli oggetti per trovare le loro simmetrie intrinseche, come schemi rotazionali o superfici piatte che appaiono identiche da diverse angolazioni. Successivamente, per ogni singola immagine nei loro dataset, hanno simulato la vista della telecamera per determinare quali parti dell'oggetto fossero nascoste e quali visibili. Combinando la forma dell'oggetto con la vista specifica, hanno generato un insieme unico di posizioni possibili per quel preciso istante. Questo processo ha trasformato la verità fondamentale da un singolo punto in una distribuzione di possibilità, riflettendo accuratamente se la scena fosse chiara o confusa.

I ricercatori hanno applicato questo nuovo sistema di etichettatura, più preciso, ai dataset standard utilizzati per testare i principali metodi di stima della posa al mondo. Quando hanno rivalutato i migliori algoritmi utilizzando queste distribuzioni specifiche per immagine, i risultati sono cambiati drasticamente. I metodi che in precedenza occupavano i vertici della classifica hanno visto i loro punteggi scendere significativamente, mentre altri sono saliti nei ranghi. Il cambiamento è avvenuto perché i vecchi benchmark erano stati troppo permissivi; avevano accettato risposte che erano tecnicamente corrette per una diversa vista dell'oggetto, anche se erano errate per l'immagine specifica mostrata. La nuova valutazione ha rivelato che molti sistemi all'avanguardia non erano così robusti come precedentemente ritenuto di fronte a viste parziali o forme simmetriche. Lo studio ha dimostrato che quando il test è equo e tiene conto del contesto visivo specifico, il panorama delle prestazioni di queste tecnologie è completamente diverso.

Oltre a correggere le classifiche per i sistemi a risposta singola, questo lavoro ha aperto la porta alla valutazione di una nuova generazione di metodi che prevedono un intero insieme di posizioni possibili invece di un solo tentativo. Fino ad ora, questi metodi multi-posa potevano essere testati solo su immagini sintetiche generate dal computer, poiché i dataset del mondo reale mancavano delle annotazioni necessarie. Con le nuove distribuzioni immagine per immagine, i ricercatori sono stati in grado di testare questi sistemi avanzati su fotografie reali per la prima volta. Hanno scoperto che, mentre i metodi a posa singola rimanevano migliori nel puntare una posizione specifica quando la vista era chiara, i metodi multi-posa eccellevano nel catturare l'intera gamma di possibilità quando la vista era ambigua. Questa capacità di riconoscere e elencare molteplici soluzioni valide è cruciale per le applicazioni nel mondo reale, dove un robot deve comprendere che un oggetto potrebbe trovarsi in uno tra diversi posti prima di tentare un'interazione con esso.

Lo studio conclude che il modo in cui misuriamo il successo nella visione artificiale deve evolversi per adattarsi alla complessità del mondo reale. Allontanandosi da una definizione di correttezza rigida e universale e abbracciando la natura fluida dell'ambiguità visiva, i ricercatori possono ora costruire e testare sistemi che siano veramente pronti per gli ambienti imprevedibili di fabbriche, case e contesti esterni. Il lavoro non pretende di aver risolto il problema dell'ambiguità visiva, ma ha fornito la prima mappa accurata del territorio, permettendo alle innovazioni future di navigarlo con maggiore precisione e affidabilità.