Gravity-aware partially calibrated absolute pose estimation from affine- or rotation-covariant features
Questo articolo introduce due risolutori efficienti, UP1PfAC e UP2PfORI, che sfruttano i vettori di gravità derivati da IMU e le informazioni geometriche locali da caratteristiche affini o di covarianza di rotazione per ottenere una stima rapida e accurata della posa assoluta e della lunghezza focale con meno corrispondenze rispetto ai metodi tradizionali.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di orientarti attraverso una vasta e sconosciuta città usando solo la fotografia di un punto di riferimento e una mappa. Per un computer, questo compito è noto come stima della posa assoluta: determinare esattamente dove si trova una telecamera e in che direzione è puntata basandosi su una singola immagine. Questa capacità è l'ossatura della moderna realtà aumentata, permettendo ai sovrapposizioni digitali di aderire saldamente al mondo reale, ed è essenziale affinché droni e robot possano navigare senza perdersi. Per anni, questi sistemi si sono affidati all'abbinamento di punti specifici in un'immagine con un modello 3D pre-costruito del mondo. Tuttavia, questo processo richiede spesso molti punti di abbinamento per funzionare in modo affidabile, e fatica quando le impostazioni interne della telecamera, come il livello di zoom o la lunghezza focale, sono sconosciute. Inoltre, i metodi tradizionali spesso ignorano gli indizi geometrici sottili nascosti nel modo in cui le caratteristiche vengono descritte nell'immagine, trattando ogni punto come un semplice punto invece che come una forma con direzione e scala.
Un team di ricercatori di Ericsson Research e dell'Università di Zaragoza ha sviluppato un nuovo approccio che risolve questo problema in modo più efficiente combinando i dati visivi con le informazioni provenienti da un normale sensore di movimento presente nella maggior parte degli smartphone. Fondendo la vista della telecamera con la conoscenza della gravità del sensore, hanno creato un sistema in grado di determinare la posizione di una telecamera e il suo livello di zoom sconosciuto utilizzando molti meno indizi visivi rispetto a prima. Il loro lavoro introduce due nuovi metodi che possono calcolare questa posizione utilizzando o una singola caratteristica dettagliata dell'immagine o solo due caratteristiche che mantengono la propria orientazione. Questa svolta significa che i dispositivi possono localizzarsi più velocemente e con maggiore precisione, anche quando le impostazioni interne della telecamera sono cambiate o non sono note in anticipo.
Il cuore del problema risiede nel modo in cui i computer comprendono la relazione tra un mondo 3D e una fotografia 2D. Tradizionalmente, per capire dove si trova una telecamera, un sistema deve abbinare almeno tre o quattro punti tra l'immagine e la mappa 3D. Se anche la lunghezza focale della telecamera è sconosciuta, il numero di punti richiesti aumenta, rendendo il calcolo più lento e più incline a errori quando i dati sono rumorosi. I ricercatori si sono resi conto che potevano aggirare questo pesante requisito utilizzando due potenti fonti di informazione che erano precedentemente sottoutilizzate. In primo luogo, hanno utilizzato il vettore di gravità fornito dall'unità di misura inerziale del dispositivo, un piccolo chip che rileva accelerazione e orientamento. Questo sensore dice al computer qual è il verso del basso, rimuovendo efficacemente due gradi di incertezza sull'inclinazione della telecamera. In secondo luogo, hanno sfruttato la ricca informazione geometrica incorporata nei descrittori di caratteristiche moderni. Invece di vedere solo un punto, questi descrittori descrivono come una piccola porzione dell'immagine si deforma o ruota, fornendo vincoli extra che aiutano a risolvere l'enigma con meno campioni.
Per testare le loro idee, il team ha derivato nuove regole matematiche che collegano la posizione della telecamera, la sua lunghezza focale sconosciuta e la direzione della gravità. Hanno costruito due solver specifici per gestire queste regole. Il primo solver, che chiamano UP1PfAC, può determinare l'intera posa della telecamera e la lunghezza focale usando solo una corrispondenza affine. In termini semplici, ciò significa che ha bisogno di un solo elemento che descriva come una piccola area dell'immagine viene trasformata, inclusi la scala e la rotazione. Il secondo solver, UP2PfORI, richiede due caratteristiche che siano sensibili all'orientamento ma non necessariamente alla scala. Nei loro esperimenti, i ricercatori hanno generato migliaia di scene sintetiche per testare la stabilità di questi nuovi strumenti. Hanno scoperto che i solver erano incredibilmente stabili, producendo errori così piccoli da essere quasi invisibili su una scala standard, anche senza alcun rumore aggiunto. Quando hanno introdotto errori realistici, come lievi imprecisioni nei punti di abbinamento o piccoli tremolii nel sensore di gravità, i nuovi metodi hanno superato le tecniche allo stato dell'arte esistenti, mantenendo un'alta precisione laddove i vecchi metodi iniziavano a vacillare.
La vera prova è arrivata quando i ricercatori hanno applicato i loro solver a dati del mondo reale da due famosi dataset: la collezione Cambridge Landmarks e la collezione Aachen Day-Night. Questi dataset contengono immagini di edifici storici e centri cittadini scattate con varie telecamere e diverse condizioni di illuminazione. Il team ha integrato i loro nuovi solver in una pipeline di localizzazione standard che utilizza un metodo robusto per filtrare i dati errati. I risultati hanno mostrato che il loro approccio non solo eguagliava l'accuratezza dei migliori metodi esistenti, ma lo faceva in modo significativamente più veloce. Nel dataset Cambridge, i loro solver hanno ridotto il tempo necessario per trovare una posizione, migliorando al contempo la precisione delle stime di rotazione e lunghezza focale. Nel più impegnativo dataset Aachen, che include immagini scattate di notte e con diversi dispositivi, i loro metodi hanno trovato costantemente la posizione corretta più spesso rispetto ai precedenti approcci semi-calibrati. Il vantaggio di velocità è stato particolarmente evidente, con i nuovi solver che completavano i calcoli in una frazione del tempo richiesto dagli algoritmi più vecchi che necessitavano di più punti dati.
Questo lavoro dimostra che ascoltando i sottili sussurri geometrici nei descrittori di caratteristiche e combinandoli con la mano ferma di un sensore di gravità, i computer possono navigare nel mondo con molto meno sforzo. I ricercatori hanno scoperto che il loro solver a singola caratteristica era particolarmente efficace, sfruttando la ricca informazione nelle caratteristiche affini per agire come una guida forte, mentre il solver a due caratteristiche offriva un'alternativa equilibrata per i dispositivi che potrebbero non avere accesso a descrittori così dettagliati. Lo studio conferma che questi nuovi strumenti non sono solo miglioramenti teorici, ma soluzioni pratiche in grado di gestire la realtà disordinata del mondo reale, dai sensori rumorosi agli abbinamenti di immagini imperfetti. Riducendo il numero di campioni necessari e velocizzando il calcolo, questa ricerca apre la strada a una nuova generazione di sistemi di localizzazione a bassa potenza e alta precisione. Ciò è fondamentale per il futuro degli headset di realtà estesa, dei droni e dei robot, che devono sapere esattamente dove si trovano in una frazione di secondo per funzionare senza problemi nei nostri spazi fisici condivisi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.