Geometry-aware attention for robust visual odometry

Per navigare nel mondo, un robot o un'auto autonoma devono sapere dove si trovano e dove stanno andando. Non possono fare affidamento su una mappa che già possiedono, perché spesso stanno entrando in un ambiente nuovo e sconosciuto. Invece, devono determinare il proprio movimento osservando il mondo che passa attraverso una telecamera. Questo processo, noto come odometria visuale, è come una persona che cammina in una stanza buia e cerca di indovinare il proprio percorso sentendo le pareti con le mani e osservando come i mobili si spostano nella sua visione periferica. Per decenni, gli scienziati hanno cercato di insegnare alle macchine a farlo fornendo loro due diversi set di regole. Un set di regole dice alla macchina di guardare l'intera scena nel suo insieme, notando come la luce e i colori cambiano attraverso l'intera immagine. Questo è utile per vedere il quadro generale, ma può confondersi se l'illuminazione cambia o se la telecamera si muove troppo velocemente. L'altro set di regole dice alla macchina di concentrarsi solo su punti nitidi e distinti, come l'angolo di un tavolo o un mattone specifico in una parete. Questo è molto preciso, ma fallisce completamente se la parete è bianca o se la lente della telecamera è sporca.

Per molto tempo, gli ingegneri hanno dovuto scegliere tra questi due approcci, accettando che una macchina fosse o brava a vedere il quadro generale o brava a tracciare dettagli nitidi, ma raramente entrambe le cose. Questa limitazione significava che i robot spesso inciampavano di fronte al caos del mondo reale, come guidare sotto la pioggia, camminare in una stanza affollata o far volare un drone attraverso un corridoio stretto e privo di caratteristiche. Un team di ricercatori dal Brasile e dal Canada ha ora proposto un nuovo modo per risolvere questo problema. Hanno costruito un sistema che non deve scegliere. Invece, impara a usare sia la visione ampia del mondo che i dettagli nitidi di punti specifici contemporaneamente, fondendoli insieme in modo che i punti deboli di un metodo siano coperti dai punti di forza dell'altro.

I ricercatori, guidati da Hudson Bruno e dai suoi colleghi, hanno creato una nuova architettura che chiamano DDI-VO. Il nome sta per Deep Direct-Indirect Visual Odometry, che descrive come funziona il sistema. Ha due parti principali che lavorano in parallelo. La prima parte agisce come un osservatore grandangolare. Guarda la coppia di immagini, assorbendo il flusso di luce, la trama del terreno e la forma generale dell'ambiente. Questa parte è molto brava a comprendere il contesto, come sapere che un'auto si sta muovendo in avanti perché la strada si allunga davanti, anche se la strada è bagnata e sfocata. La seconda parte agisce come un tracciatore orientato ai dettagli. Trova punti specifici e nitidi nell'immagine, come l'angolo di un edificio o un motivo distinto su una parete, e li segue da vicino. Questa parte è eccellente nel misurare distanze esatte, ma può perdersi se la parete è di un bianco uniforme o se la telecamera trema troppo.

Il genio del loro design risiede nel modo in cui queste due parti comunicano tra loro. Nel mezzo del sistema, c'è un meccanismo che decide quanto fidarsi della visione grandangolare rispetto ai punti nitidi in un dato momento. Immaginate un navigatore che cammina per una città. A volte, il navigatore guarda l'intero skyline per sapere in che direzione è rivolto. Altre volte, guarda un cartello stradale specifico per sapere esattamente dove si trova. Il nuovo sistema fa questo automaticamente. Se la lente della telecamera è coperta da gocce d'acqua, il sistema impara a ignorare i punti sfocati e distorti creati dall'acqua e si affida maggiormente alla forma complessiva della scena. Se la telecamera si muove attraverso un lungo corridoio bianco ed vuoto, privo di caratteristiche distinte, il sistema sposta il suo focus sulle sottili variazioni dell'intera immagine piuttosto che cercare di trovare punti specifici che non esistono. Questa capacità di cambiare il focus dinamicamente permette alla macchina di continuare a muoversi in avanti anche quando le condizioni visive sono terribili.

Per insegnare al sistema come prendere queste decisioni, i ricercatori hanno utilizzato una strategia di addestramento intelligente. Non hanno semplicemente lanciato la macchina in una complessa simulazione di guida immediatamente. Invece, hanno iniziato con un compito più semplice. Hanno insegnato al sistema come le superfici piatte, come un foglio di carta o una parete, si muovano e si deformino quando l'angolo della telecamera cambia. Questa è una competenza geometrica fondamentale che aiuta la macchina a capire come le forme si relazionano tra loro nello spazio. Una volta che il sistema ha padroneggiato questa geometria di base, gli hanno poi insegnato il compito più difficile di capire esattamente come la telecamera si fosse mossa attraverso un ambiente 3D. Questo processo di apprendimento passo dopo passo, che gli autori chiamano "curriculum", ha garantito che il sistema avesse una solida base di comprensione geometrica prima di dover affrontare la realtà disordinata di un video del mondo reale.

I ricercatori hanno testato il loro nuovo sistema su una varietà di dataset impegnativi che rappresentano diversi scenari del mondo reale. Hanno utilizzato dati di auto che guidano su autostrade, droni che volano attraverso stanze interne e telecamere portatili che si muovono attraverso spazi affollati. In ogni caso, hanno confrontato il loro sistema con i migliori metodi esistenti. I risultati hanno mostrato che, mentre altri sistemi spesso fallivano drammaticamente quando le condizioni diventavano difficili, il nuovo sistema rimaneva stabile. Ad esempio, nei test in cui la lente della telecamera era coperta d'acqua o l'illuminazione cambiava improvvisamente, il nuovo sistema continuava a tracciare il percorso con precisione, mentre i vecchi metodi perdevano la strada e deviavano dal percorso. Il sistema è stato particolarmente impressionante negli ambienti interni dove ci sono poche caratteristiche distinte da tracciare, una situazione in cui i metodi tradizionali solitamente falliscono.

Lo studio ha anche esaminato esattamente come il sistema prendeva le sue decisioni. Visualizzando ciò che il sistema stava "guardando", i ricercatori hanno scoperto che aveva imparato a ignorare le cose che avrebbero confuso un osservatore umano. Quando la telecamera si muoveva attraverso una strada con auto in movimento, il sistema ha imparato a concentrarsi sulla strada e sugli edifici statici, ignorando i veicoli in movimento che avrebbero potuto trarre in inganno il tracciamento. Quando la lente era bagnata, ha imparato a sopprimere le macchie sfocate causate dalle gocce d'acqua. Ciò suggerisce che il sistema non sta solo memorizzando schemi, ma sta effettivamente imparando le regole sottostanti della geometria e del movimento. Ha imparato a distinguere tra ciò che è un punto di riferimento affidabile e ciò che è solo rumore visivo.

Le scoperte suggeriscono che il futuro della navigazione robotica non risiede nella scelta tra diversi tipi di sensori o algoritmi, ma nel combinarli intelligentemente. Fondendo la visione ampia e consapevole del contesto con la visione precisa e orientata ai dettagli, i ricercatori hanno creato un sistema abbastanza robusto da gestire la natura imprevedibile del mondo reale. Sebbene il sistema non sia perfetto e affronti ancora sfide nelle condizioni più estreme, rappresenta un passo avanti significativo nel rendere le macchine autonome capaci di navigare in modo sicuro e affidabile, che stiano guidando un'auto, facendo volare un drone o guidando un robot attraverso un ospedale affollato. Il lavoro dimostra che, insegnando alle macchine a bilanciare il quadro generale con i piccoli dettagli, possiamo costruire sistemi che siano molto più resilienti della somma delle loro parti.