Hybrid Visual Perception and LLM Framework for Service Robot Planning and Navigation

Os robôs de serviço já não são apenas um conceito para o futuro; eles estão começando a aparecer em hospitais, hotéis e espaços públicos, com a tarefa de guiar pessoas e realizar tarefas simples. Para que estas máquinas sejam verdadeiramente úteis, elas precisam fazer mais do que apenas seguir um caminho pré-programado. Elas precisam entender o que um humano está pedindo, ver o mundo ao seu redor para evitar obstáculos ou encontrar itens específicos e, então, descobrir como se mover para realizar o trabalho. O desafio tem sido, há muito tempo, como combinar estas três habilidades — compreender a linguagem, ver o ambiente e planejar o movimento — em um único sistema que seja inteligente o suficiente para ser útil, mas pequeno e rápido o suficiente para rodar no próprio computador embarcado do robô.

Durante anos, pesquisadores tentaram resolver isso construindo sistemas de inteligência artificial massivos e "tudo-em-um" que tentam fazer tudo de uma vez. Esses sistemas, frequentemente chamados de modelos de visão-linguagem, são incrivelmente poderosos porque podem olhar para uma imagem e ler uma frase simultaneamente. No entanto, eles também são incrivelmente pesados, exigindo enormes quantidades de poder computacional que simplesmente não cabem dentro de um pequeno robô operado por bateria. Isso cria um dilema: um robô que é inteligente o suficiente para entender instruções complexas, mas lento demais para reagir em tempo real, ou um robô que é rápido, mas burro demais para entender o que está vendo.

Uma equipe de pesquisadores da Indonésia, Japão e Bélgica propôs um caminho diferente. Em vez de forçar um único cérebro gigante a fazer tudo, eles construíram um sistema que divide o trabalho em duas partes especializadas que conversam entre si. Em seu novo framework, um sistema visual rápido e leve cuida do trabalho de detectar objetos, enquanto um modelo de linguagem separado cuida do trabalho de entender instruções e fazer planos. Essa separação permite que o robô rode em um computador embarcado pequeno sem precisar de um servidor externo massivo. Os pesquisadores testaram essa abordagem em um robô guia projetado para ajudar pessoas a navegar em edifícios públicos e descobriram que, ao manter as tarefas separadas, o robô conseguia entender comandos complexos, encontrar objetos e se mover para locais específicos com alta precisão, tudo isso enquanto reagia muito mais rápido do que os sistemas "tudo-em-um".

O robô utilizado foi construído sobre uma base móvel padrão, mas equipado com uma única câmera e um chip de computador compacto conhecido como Jetson Orin Nano. Este chip é poderoso o suficiente para rodar softwares modernos, mas pequeno o suficiente para caber em um robô que precisa se mover livremente sem estar preso a uma tomada na parede. Os pesquisadores programaram o sistema para aceitar comandos de linguagem natural de um humano, como "Vá para a recepção e encontre uma pessoa". Quando o robm recebe tal comando, a parte de linguagem do sistema o decompõe em uma lista de etapas. Ela decide que o robô precisa se mover para um local específico e, em seguida, procurar por uma pessoa. Crucialmente, ela diz à parte visual do sistema exatamente o que procurar, em vez de pedir ao sistema visual para adivinhar o que pode ser importante.

Esta divisão de tarefas é a chave para a velocidade do sistema. Nos sistemas tradicionais "tudo-em-um", o computador tem que processar a imagem inteira e a frase inteira ao mesmo tempo, o que leva muito tempo. Nesta nova configuração, o modelo de linguagem decide rapidamente que o robô precisa procurar por uma "pessoa" e, então, envia uma instrução simples e curta para o detector visual para encontrar apenas esse objeto específico. O detector visual, que é projetado para ser muito rápido, varre o feed da câmera e reporta se vê uma pessoa. Como o sistema visual não está perdendo tempo analisando cada coisa no ambiente, e o sistema de linguagem não está perdendo tempo tentando interpretar os pixels, todo o processo acontece muito mais rápido. Os pesquisadores mediram essa diferença de velocidade e descobriram que o sistema dividido era entre três e vinte vezes mais rápido do que os sistemas "tudo-em-um", dependendo se o computador estava rodando localmente ou conectando-se a um servidor na nuvem.

Para ver se essa abordagem realmente funcionava no mundo real, a equipe realizou uma série de testes. Primeiro, testaram a capacidade do robô de seguir comandos de movimento isoladamente, pedindo que fosse para a sala mais próxima ou para a recepção. Nestes testes, o robbô planejou sua rota com sucesso e chegou ao destino correto 96 por cento das vezes. Em seguida, adicionaram o componente visual, pedindo ao robô para ir a um local e depois encontrar um objeto específico, como um hidrante, uma cadeira ou uma pessoa. Nestes cenários mais complexos, onde o robô tinha que navegar e depois procurar, o sistema teve sucesso 84 por cento das vezes. As poucas falhas que ocorreram foram geralmente porque a câmera única do robô teve dificuldade em julgar exatamente quão próximo estava de um objeto, fazendo com que ele parasse um pouco antes ou depois do esperado, e não porque ele entendeu mal o comando ou falhou em ver o objeto.

Os pesquisadores também tiraram o sistema da simulação de computador e o colocaram no robô físico real em um lobby de um edifício. Eles deram ao robô os mesmos tipos de comandos, e o robô executou as tarefas de forma confiável, navegando pelo espaço, parando para procurar pessoas e falando de volta com o usuário. Este teste no mundo real confirmou que o sistema podia lidar com a desordem de um ambiente real, incluindo pessoas passando e mudanças nas condições de iluminação, sem precisar de quaisquer mudanças estruturais no software. Os resultados mostraram que o robô podia interpretar a voz de um humano, descobrir para onde ir, encontrar o que era necessário e executar a tarefa, tudo isso rodando em um pequeno computador que cabe no próprio robô.

O estudo sugere que o futuro dos robôs de serviço pode não depender de tornar os cérebros dos robôs maiores e mais complexos, mas sim de organizar como eles pensam. Ao separar o trabalho de ver do trabalho de raciocinar, os pesquisadores demonstraram que um robô pode ser altamente capaz e eficiente. Embora os sistemas "tudo-em-um" sejam impressionantes, eles são frequentemente pesados demais para o uso prático em robôs móveis. Esta abordagem híbrida oferece um caminho a seguir onde robôs podem ser implantados em hospitais, hotéis e escritórios para auxiliar pessoas, reagindo rapidamente às instruções e movendo-se com segurança através de espaços movimentados. O trabalho não afirma ter resolvido todos os problemas da robótica, mas fornece um método claro e comprovado para criar robôs que sejam inteligentes o suficiente para ajudar e rápidos o suficiente para serem úteis.