ORBIT++: Benchmarking SfM in the Wild with 360{\deg} Video

Para entender como um computador vê o mundo, imagine tentar reconstruir um quarto tridimensional usando apenas uma série de fotografias bidimensionais. Este é o desafio fundamental de um campo chamado estrutura a partir do movimento (structure-from-motion). O objetivo é pegar um vídeo, onde a câmera se move pelo espaço, e descobrir matematicamente exatamente onde a câmera estava em cada momento, enquanto simultaneamente constrói um modelo 3D do cenário ao seu redor. Esta tecnologia é o motor invisível por trás de aplicativos de realidade aumentada que colocam móveis virtuais na sua sala de estar, os mapas que guiam veículos autônomos e as ferramentas que permitem aos cineastas criar mundos virtuais imersivos. Durante anos, pesquisadores confiaram em testes padrão para ver se seus novos algoritmos de visão computacional funcionavam. No entanto, esses testes frequentemente utilizam cenas estáticas simples ou simulações geradas por computador que não refletem a realidade desordenada e caótica do mundo real. Quando uma câmera se move rapidamente, quando o chão está coberto de neve ou quando uma multidão de pessoas atravessa o quadro, o software mais avançado muitas vezes falha completamente, sendo incapaz de dizer para que lado é o topo ou quão longe está um objeto.

Uma equipe de pesquisadores do Google DeepMind e de várias universidades abordou essa lacuna criando um novo teste, muito mais difícil, chamado ORBIT. Eles perceberam que, para testar verdadeiramente a capacidade de uma câmera de navegar no mundo selvagem, precisavam de uma fonte de dados que fosse tanto incrivelmente rica em informações visuais quanto difícil de processar. Eles encontraram essa fonte na crescente biblioteca de vídeos 360 graus capturados por câmeras de consumo. Diferente de um vídeo padrão que olha através de uma janela estreita, uma câmera 360 graus captura uma esfera completa do mundo ao seu redor, vendo em todas as direções ao mesmo tempo. Os pesquisadores usaram esses vídeos panorâmicos para gerar um conjunto de dados de referência que é especificamente projetado para quebrar a tecnologia atual. Ao pegar essas visões abrangentes e recortá-las em clipes de ângulo estreito padrão, eles criaram centenas de cenários desafiadores que mimetizam as condições difíceis que um smartphone ou drone poderia encontrar, como movimento rápido, baixa luminosidade e multidões em movimento.

O processo de construção deste teste foi um exercício cuidadoso de verificação. Os pesquisadores começaram coletando diversos vídeos 360 graus da internet, apresentando desde viagens de canoa e descidas de esqui até locais turísticos movimentados. Como o vídeo original captura a esfera inteira, a equipe pôde usar um algoritmo especializado para calcular o caminho da câmera com alta confiança, sabendo que, mesmo que uma parte da visão estivesse borrada ou em movimento, outras partes da esfera permaneceriam claras e estáveis. Eles trataram a câmera como se fosse um suporte segurando quatro lentes separadas, permitindo-lhes cruzar o caminho de múltiplas perspectivas para garantir que os dados fossem precisos. Uma vez que tiveram um caminho de "verdade fundamental" (ground truth) confiável para o vídeo 360 graus completo, eles reprojetaram digitalmente as filmagens para criar vídeos de perspectiva padrão. Esses novos clipes não foram apenas cortes aleatórios; os pesquisadores escolheram deliberadamente pontos de vista que eram conhecidos por serem difíceis, como olhar diretamente para uma massa de água em movimento ou um veículo em alta velocidade, e adicionaram tremores de câmera simulados para tornar a tarefa ainda mais difícil. O resultado final é uma coleção de 308 clipes de vídeo, cada um com até 30 segundos de duração, que servem como um percurso de obstáculos rigoroso para softwares de visão computacional.

Quando os pesquisadores testaram os métodos de ponta atuais contra este novo benchmark, os resultados foram drásticos. Eles avaliaram vários algoritmos líderes, incluindo ferramentas tradicionais que têm sido o padrão da indústria por anos e sistemas mais recentes baseados em aprendizado que utilizam inteligência artificial. As descobertas mostraram que mesmo os melhores métodos existentes lutam significativamente nestas condições do mundo real. Uma grande parte dos clipes fez o software falhar inteiramente, o que significa que o computador não conseguiu rastrear o movimento da câmera por mais do que alguns segundos. Por exemplo, métodos tradicionais que dependem da busca por padrões distintos na imagem, como bordas de edifícios ou texturas no solo, muitas vezes desistiam ao enfrentar superfícies lisas como água ou neve. Enquanto isso, novos métodos impulsionados por IA, que são projetados para adivinhar a estrutura 3D com base em padrões aprendidos durante o treinamento, frequentemente tropeçavam quando a câmera se movia rapidamente ou rotacionava de maneiras que não haviam visto antes. Os dados revelaram que nenhum método único conseguia lidar com todos os desafios; alguns eram bons em rastrear através de multidões, mas falhavam em baixa luminosidade, enquanto outros lidavam bem com movimento rápido, mas perdiam o caminho em ambientes sem textura.

O estudo destaca que o campo atingiu um ponto onde o progresso é difícil de medir porque os testes são fáceis demais. Os pesquisadores descobriram que, neste novo benchmark, todos os métodos testados falharam em estimar a posição da câmera corretamente em pelo menos 36% dos clipes. Isso sugere que a geração atual de tecnologia ainda não está pronta para as aplicações mais exigentes no mundo real. O artigo argumenta que a falta de um benchmark confiável e difícil tem travado o campo, permitindo que pesquisadores aleguem sucesso em tarefas simples enquanto ignoram os problemas fundamentais que ocorrem em cenas complexas e dinâmicas. Ao fornecer um conjunto de dados que é tanto diverso quanto rigorosamente verificado, a equipe espera dar aos desenvolvedores um alvo claro para melhoria. O trabalho não oferece uma nova solução para esses problemas, mas sim uma maneira melhor de medi-los, mostrando que ainda há um longo caminho pela frente antes que os computadores possam navegar de forma confiável no mundo selvagem e imprevisível com a mesma facilidade que os seres humanos.