Geometry-aware attention for robust visual odometry

Para navegar pelo mundo, um robô ou um carro autônomo precisa saber onde está e para onde está indo. Ele não pode confiar em um mapa que já possui, porque frequentemente está entrando em um ambiente novo e desconhecido. Em vez disso, deve descobrir seu próprio movimento observando o mundo passar através de uma câmera. Esse processo, conhecido como odometria visual, é como uma pessoa caminhando por uma sala escura e tentando adivinhar seu caminho sentindo as paredes e observando como os móveis se deslocam em sua visão periférica. Por décadas, cientistas tentaram ensinar as máquinas a fazer isso, dando-lhes dois conjuntos diferentes de regras. Um conjunto de regras diz à máquina para olhar para toda a cena como um todo, percebendo como a luz e as cores mudam por toda a imagem. Isso é bom para ver o panorama geral, mas pode se confundir se a iluminação mudar ou se a câmera se mover rápido demais. O outro conjunto de regras diz à máquina para focar apenas em pontos nítidos e distintos, como o canto de uma mesa ou um tijolo específico em uma parede. Isso é muito preciso, mas falha completamente se a parede for lisa ou se a lente da câmera estiver suja.

Por muito tempo, os engenheiros tiveram que escolher entre essas duas abordagens, aceitando que uma máquina seria boa em ver o panorama geral ou boa em rastrear detalhes nítidos, mas raramente ambas. Essa limitação significava que os robôs frequentemente tropeçavam diante do caos do mundo real, como dirigir na chuva, caminhar por uma sala lotada ou voar um drone por um corredor estreito e sem características. Uma equipe de pesquisadores do Brasil e do Canadá propôs agora uma nova maneira de resolver esse problema. Eles construíram um sistema que não precisa escolher. Em vez disso, ele aprende a usar tanto a visão ampla do mundo quanto os detalhes nítidos de pontos específicos ao mesmo tempo, combinando-os para que as fraquezas de um método sejam cobertas pelas forças do outro.

Os pesquisadores, liderados por Hudson Bruno e seus colegas, criaram uma nova arquitetura que chamam de DDI-VO. O nome significa Odometria Visual Direta-Indireta Profunda (Deep Direct-Indirect Visual Odometry), o que descreve como o sistema funciona. Ele possui duas partes principais que trabalham em paralelo. A primeira parte atua como um observador de grande angular. Ela olha para o par de imagens inteiro, absorvendo o fluxo de luz, a textura do solo e a forma geral do ambiente. Esta parte é muito boa em entender o contexto, como saber que um carro está se movendo para frente porque a estrada se estende à frente, mesmo que a estrada esteja molhada e borrada. A segunda parte atua como um rastreador orientado a detalhes. Ela encontra pontos específicos e nítidos na imagem, como o canto de um edifício ou um padrão distinto em uma parede, e os segue de perto. Esta parte é excelente para medir distâncias exatas, mas pode se perder se a parede for branca e lisa ou se a câmera tremer demais.

A genialidade de seu design reside em como essas duas partes conversam entre si. No meio do sistema, há um mecanismo que decide o quanto confiar na visão de grande angular versus nos pontos nítidos em qualquer dado momento. Imagine um navegador caminhando por uma cidade. Às vezes, o navegador olha para todo o horizonte para saber em qual direção está voltado. Outras vezes, ele olha para uma placa de rua específica para saber exatamente onde está. O novo sistema faz isso automaticamente. Se a lente da câmera estiver coberta por gotas de água, o sistema aprende a ignorar os pontos borrados e distorcidos que a água cria e confia mais na forma geral da cena. Se a câmera estiver passando por um longo corredor branco e vazio, sem características distintas, o sistema muda seu foco para as mudanças sutis em toda a imagem, em vez de tentar encontrar pontos específicos que não existem. Essa capacidade de mudar o foco dinamicamente permite que a máquina continue avançando mesmo quando as condições visuais são terríveis.

Para ensinar o sistema a tomar essas decisões, os pesquisadores usaram uma estratégia de treinamento inteligente. Eles não jogaram a máquina imediatamente em uma simulação de direção complexa. Em vez disso, começaram com uma tarefa mais simples. Eles ensinaram o sistema a entender como superfícies planas, como uma folha de papel ou uma parede, se movem e se deformam quando o ângulo da câmera muda. Esta é uma habilidade geométrica fundamental que ajuda a máquina a entender como as formas se relacionam no espaço. Uma vez que o sistema dominou essa geometria básica, eles o ensinaram a tarefa mais difícil de descobrir exatamente como a câmera se moveu através de um ambiente 3D. Esse processo de aprendizado passo a passo, que os autores chamam de "currículo", garantiu que o sistema tivesse uma base sólida de compreensão geométrica antes de ter que lidar com a realidade desordenada do vídeo do mundo real.

Os pesquisadores testaram seu novo sistema em uma variedade de conjuntos de dados desafiadores que representam diferentes cenários do mundo real. Eles usaram dados de carros dirigindo em rodovias, drones voando por salas internas e câmeras portáteis movendo-se através de espaços lotados. Em todos os casos, compararam seu sistema com os melhores métodos existentes. Os resultados mostraram que, enquanto outros sistemas frequentemente falhavam dramaticamente quando as condições ficavam difíceis, o novo sistema permanecia estável. Por exemplo, em testes onde a lente da câmera estava coberta de água ou a iluminação mudava subitamente, o novo sistema continuou a rastrear o caminho com precisão, enquanto os métodos antigos perdiam o caminho e se desviavam do curso. O sistema foi particularmente impressionante em ambientes internos onde existem poucos recursos distintos para rastrear, uma situação na qual os métodos tradicionais geralmente falham.

O estudo também analisou exatamente como o sistema tomava suas decisões. Ao visualizar o que o sistema estava "olhando", os pesquisadores descobriram que ele aprendeu a ignorar coisas que confundiriam um observador humano. Quando a câmera se movia por uma rua com carros em movimento, o sistema aprendeu a focar nas estradas e edifícios estáticos, ignorando os veículos em movimento que poderiam enganar o rastreamento. Quando a lente estava molhada, ele aprendeu a suprimir os pontos borrados causados pelas gotas de água. Isso sugere que o sistema não está apenas memorizando padrões, mas está realmente aprendendo as regras subjacentes de geometria e movimento. Ele aprendeu a distinguir entre o que é um marco confiável e o que é apenas ruído visual.

As descobertas sugerem que o futuro da navegação robótica não reside em escolher entre diferentes tipos de sensores ou algoritmos, mas em combiná-los de forma inteligente. Ao fundir a visão ampla e consciente do contexto com a visão precisa e orientada a detalhes, os pesquisadores criaram um sistema robusto o suficiente para lidar com a natureza imprevisível do mundo real. Embora o sistema não seja perfeito e ainda enfrente desafios nas condições mais extremas, ele representa um avanço significativo para tornar as máquinas autônomas capazes de navegar com segurança e confiabilidade, seja dirigindo um carro, voando um drone ou guiando um robô por um hospital movimentado. O trabalho demonstra que, ao ensinar as máquinas a equilibrar o panorama geral com os pequenos detalhes, podemos construir sistemas que são muito mais resilientes do que a soma de suas partes.