ORBIT++: Benchmarking SfM in the Wild with 360{\deg} Video

Per capire come un computer vede il mondo, immaginate di cercare di ricostruire una stanza tridimensionale usando solo una serie di fotografie bidimensionali. Questa è la sfida fondamentale di un campo chiamato structure-from-motion (struttura dal movimento). L'obiettivo è prendere un video, in cui la telecamera si muove attraverso lo spazio, e calcolare matematicamente esattamente dove si trovasse la telecamera in ogni singolo istante, costruendo contemporaneamente un modello 3D della scena circostante. Questa tecnologia è il motore invisibile dietro le app di realtà aumentata che posizionano mobili virtuali nel vostro salotto, le mappe che guidano i veicoli autonomi e gli strumenti che permettono ai registi di creare mondi virtuali immersivi. Per anni, i ricercatori si sono affidati a test standard per verificare se i loro nuovi algoritmi di visione artificiale funzionassero. Tuttavia, questi test utilizzano spesso scene statiche e semplici o simulazioni generate al computer che non riflettono la realtà disordinata e caotica del mondo reale. Quando una telecamera si muove velocemente, quando il terreno è coperto di neve o quando una folla di persone attraversa l'inquadratura, i software più avanzati spesso falliscono completamente, incapaci di capire quale sia il verso dell'alto o quanto sia lontano un oggetto.

Un team di ricercatori di Google DeepMind e di diverse università ha affrontato questo divario creando un nuovo test, molto più difficile, chiamato ORBIT. Hanno compreso che, per testare davvero la capacità di una telecamera di navigare nel mondo selvaggio, avevano bisogno di una fonte di dati che fosse allo stesso tempo incredibilmente ricca di informazioni visive e difficile da elaborare. Hanno trovato questa fonte nella crescente libreria di video a 306 gradi catturati da telecamere consumer. A differenza di un video standard che guarda attraverso una finestra stretta, una telecamera a 360 gradi cattura una sfera completa del mondo circostante, vedendo in tutte le direzioni contemporaneamente. I ricercatori hanno utilizzato questi video panoramici per generare un dataset di riferimento che è specificamente progettato per "rompere" la tecnologia attuale. Prendendo queste viste onnicomprensive e ritagliandole in clip standard ad angolo stretto, hanno creato centinaia di scenari impegnativi che imitano le condizioni difficili che uno smartphone o un drone potrebbero incontrare, come il movimento rapido, la scarsa illuminazione e le folle in movimento.

Il processo di costruzione di questo test è stato un attento esercizio di verifica. I ricercatori hanno iniziato raccogliendo diversi video a 360 gradi da internet, che includevano di tutto: dalle escursioni in canoa e discese sugli sci fino a siti turistici affollati. Poiché il video originale cattura l'intera sfera, il team ha potuto utilizzare un algoritmo specializzato per calcolare il percorso della telecamera con alta fiducia, sapendo che anche se una parte della vista fosse stata sfocata o in movimento, altre parti della sfera sarebbero rimaste chiare e stabili. Hanno trattato la telecamera come se fosse un supporto che regge quattro lenti separate, permettendo loro di incrociare i dati del percorso da più angolazioni per garantire l'accuratezza dei dati. Una volta ottenuto un percorso "ground truth" (verità di base) affidabile per il video a 360 gradi completo, hanno riproiettato digitalmente le riprese per creare i video con prospettiva standard. Queste nuove clip non erano semplici tagli casuali; i ricercatori hanno scelto deliberatamente punti di vista noti per essere difficili, come guardare direttamente verso un corpo d'acqua in movimento o un veicolo veloce, e hanno aggiunto simulazioni di scuotimento della telecamera per rendere il compito ancora più arduo. Il risultato finale è una collezione di 308 clip video, ciascuna lunga fino a 30 secondi, che fungono da rigoroso percorso a ostacoli per il software di visione artificiale.

Quando i ricercatori hanno testato i metodi allo stato dell'arte contro questo nuovo benchmark, i risultati sono stati netti. Hanno valutato diversi algoritmi leader, inclusi gli strumenti tradizionali che sono stati lo standard del settore per anni e i nuovi sistemi basati sull'apprendimento che utilizzano l'intelligenza artificiale. I risultati hanno mostato che anche i migliori metodi esistenti faticano significativamente in queste condizioni reali. Una grande parte delle clip ha causato il fallimento totale del software, il che significa che il computer non è riuscito a tracciare il movimento della telecamera per più di pochi secondi. Ad esempio, i metodi tradizionali che si affidano alla ricerca di schemi distinti nell'immagine, come i bordi degli edifici o le texture del terreno, hanno spesso rinunciato di fronte a superfici lisce come l'acqua o la neve. Nel frattempo, i nuovi metodi guidati dall'IA, progettati per ipotizzare la struttura 3D basandosi su schemi appresi durante l'addestramento, hanno spesso inciampato quando la telecamera si muoveva rapidamente o ruotava in modi che non avevano ancora visto prima. I dati hanno rivelato che nessun metodo singolo poteva gestire tutte le sfide: alcuni erano bravi a tracciare attraverso le folle ma fallivano con scarsa luce, altri gestivano bene il movimento rapido ma si smarrivano in ambienti privi di texture.

Lo studio evidenzia che il campo ha raggiunto un punto in cui il progresso è difficile da misurare perché i test sono troppo facili. I ricercatori hanno scoperto che, sul loro nuovo benchmark, ogni singolo metodo testato è fallito nel stimare correttamente la posizione della telecamera in almeno il 36 percento delle clip. Ciò suggerisce che l'attuale generazione di tecnologia non è ancora pronta per le applicazioni più esigenti nel mondo reale. L'articolo sostiene che la mancanza di un benchmark affidabile e difficile abbia frenato il settore, permettendo ai ricercatori di rivendicare il successo su compiti semplici pur ignorando i problemi fondamentali che si verificano in scene complesse e dinamiche. Fornendo un dataset che sia diversificato e rigorosamente verificato, il team spera di dare agli sviluppatori un obiettivo chiaro per il miglioramento. Il lavoro non offre una nuova soluzione a questi problemi, ma piuttosto un modo migliore per misurarli, dimostrando che c'è ancora una lunga strada da percorrere prima che i computer possano navigare in modo affidabile nel mondo selvaggio e imprevedibile con la stessa facilità con cui lo fanno gli esseri umani.