AnchorVLN: Geometry-Anchored Vision-Language Grounding Reasoning for Open-Vocabulary Navigation

Imagine um robô entrando em uma sala que ele nunca viu antes, encarregado de encontrar um objeto específico com base em uma descrição falada como "o banco sob o quadro". Por décadas, os robôs resolviam isso construindo um mapa preciso e matemático do mundo usando lasers e câmeras, e então procurando nesse mapa por nomes de objetos pré-programados. Isso funcionava bem para encontrar uma "cadeira" ou uma "mesa", mas falhava quando as instruções se tornavam criativas ou específicas, como "a cadeira vermelha perto da janela". O vocabulário do robô era congelado; ele não conseguia entender novas descrições. Nos últimos anos, modelos poderosos de inteligência artificial surgiram e podem olhar para uma imagem e compreender quase qualquer descrição que um humano possa dar. No entanto, esses modelos são excelentes em linguagem, mas terríveis em matemática. Eles podem dizer o que um objeto é, mas frequentemente adivinham de forma descabida quando questionados sobre quão longe ele está ou exatamente para onde se mover para alcançá-lo. Se um robô confiar inteiramente em um modelo como esse para navegar, ele pode dirigir confiantemente em direção a um ponto que não existe, porque o modelo inventou uma distância que não é real.

Os pesquisadores por trás deste trabalho, conhecidos como AnchorVLN, abordaram este problema criando um sistema que separa estritamente o que o robô sabe de como ele se move. Eles perceberam que a melhor abordagem é deixar a inteligência artificial lidar com a linguagem e a identificação de objetos, enquanto deixam os sensores físicos do robô lidarem com as medições de distância e direção. Eles construíram um sistema onde a IA atua como um guia que aponta "o que" procurar, mas nunca tenta dizer "quão longe" ir. Em vez disso, o sistema utiliza um conjunto de ferramentas digitais que traduzem as descrições da IA em coordenadas físicas usando dados reais de laser do ambiente do robô. Isso garante que o robô nunca aja com base em um número inventado. O sistema foi testado em um desafio envolvendo quinze cenas internas diferentes, onde o robô teve que seguir trinta instruções complexas e responder a quarenta e cinco perguntas sobre a localização de objetos. Os resultados mostraram que, quando o sistema utilizou essa separação de funções, seguiu as instruções com sucesso 64,4 por cento das vezes. Quando os pesquisadores removeram a parte que verificava as distâncias físicas, a taxa de sucesso caiu significamente. Além disso, ao ser solicitado a apontar a localização exata de um objeto, o sistema que utilizava sensores reais foi muito mais preciso do que um sistema que tentava adivinhar a localização, reduzindo o erro médio ao encontrar o centro de um objeto de mais de três metros para menos de dois metros e meio.

O cerne desta conquista é uma nova maneira de conectar o cérebro do robô ao seu corpo. Os pesquisadores projetaram um protocolo de comunicação onde a inteligcia artificial só pode falar em frases e nomes, nunca em números. Quando o robô vê uma foto de uma sala, a IA pode identificar um "banco" e dar a ele um nome temporário, como "objeto sete". A IA então pede ao sistema para encontrar o banco. O sistema não pergunta à IA a que distância o banco está. Em vez disso, o sistema olha para o próprio scanner a laser do robô, que mede a distância real até o chão e as paredes. Ele encontra o banco nos dados do laser, calcula a distância real e diz ao robô para se mover em direção àquele ponto específico. Se a IA tentar adivinhar uma distância, o sistema simplesmente ignora o número porque as ferramentas que ele utiliza não são programadas para aceitá-los. Isso força o robô a confiar em seus próprios sentidos para o movimento, assim como um humano confiaria em seus olhos para julgar a distância enquanto ouve as direções de um amigo. O robô ainda consegue entender instruções complexas, como "vá para a cadeira mais próxima da TV", porque o sistema pode comparar as distâncias reais de todas as cadeiras que viu em relação à TV, em vez de pedir à IA para fazer a conta.

Esta abordagem também resolve o problema do robô ficar preso ou se mover em direção ao espaço vazio. Se a IA não conseguir encontrar um objeto, o sistema não força o rob em a adivinhar. Em vez disso, ele diz ao robô para se mover para um novo lugar onde ele possa ter uma visão melhor. O robô então escaneia a área novamente, e o sistema atualiza sua lista interna de objetos. Esta lista é como uma memória crescente da sala, onde cada objeto que o robô vê é registrado com seu tamanho e posição reais. Se o robô vir o mesmo objeto de um ângulo diferente, o sistema atualiza o registro para tornar a forma mais precisa, em vez de criar uma entrada nova e confusa. Isso permite que o robô construa uma compreensão confiável do espaço ao longo do tempo, mesmo que comece sem um mapa e sem conhecimento prévio da sala. Os pesquisadores descobriram que este método permitiu que o robô navegasse com sucesso em ambientes que nunca visitou antes, sem precisar ser reprogramado para cada nova sala ou cada novo tipo de objeto.

O estudo destaca uma mudança fundamental na forma como os robôs interagem com o mundo. Em vez de tentar fazer com que um único modelo de inteligência artificial faça tudo, desde entender a linguagem até calcular a física, os pesquisadores construíram uma equipe onde cada parte faz aquilo que é melhor. A inteligência artificial lida com a criatividade e a linguagem, enquanto os sensores do robô lidam com a precisão e o movimento. Esta divisão de tarefas evita que o robô cometa erros perigosos baseados em suposições confiantes. Os resultados do desafio mostram que este método não é apenas uma ideia teórica, mas uma solução prática que funciona em cenários do mundo real. Ao manter a linguagem e a matemática separadas, o robô pode seguir instruções complexas e encontrar objetos com um nível de precisão que era anteriormente impossível para sistemas que dependiam de um único modelo. O trabalho sugere que, para os robôs navegarem verdadeiramente no mundo imprevisível dos humanos, eles precisam confiar em seus próprios sentidos para os números difíceis, enquanto deixam a inteligência artificial guiá-los com palavras.