Retrospective Open-Vocabulary Memory for Long-Term Object Search

Robôs que se movem pelo mundo estão ficando melhores em enxergar, mas ainda são terríveis em lembrar onde as coisas costumam estar. Imagine um robô encarregado de encontrar um conjunto de chaves perdido em uma casa que ele visitou muitas vezes. Se o robô apenas se lembrar da última vez que viu as chaves, ele pode procurar no lugar errado se as chaves tiverem sido movidas ontem. Se ele simplesmente contar quantas vezes viu as chaves em um lugar específico, pode ser enganado por sua própria má sorte: talvez ele tenha passado pela mesa da cozinha cem vezes, mas nunca olhou para baixo nela, enquanto apenas deu uma olhada rápida no sofá da sala uma única vez e viu as chaves lá. Uma contagem simples faria o robô pensar que o sofá é o melhor lugar para procurar, embora a mesa seja, na verdade, onde as chaves pertencem na maior parte do tempo. Este é o problema central da busca de objetos a longo prazo: distinguir entre onde um objeto realmente vive e onde o robô apenas aconteceu de olhar.

Para resolver isso, pesquisadores da Universidade Nacional de Singapura desenvolveram uma nova maneira para os robôs construírem uma memória de seu ambiente. Eles chamam seu sistema de ECROM, que significa Exposure-Calibrated Retrospective Open-Vocabulary Memory (Memória de Vocabulário Aberto Retrospectiva Calibrada por Exposição). A equipe testou este sistema em uma série de simulações controladas em dez casas digitais diferentes, onde objetos foram movidos de acordo com padrões ocultos, e o caminho do robô foi deliberadamente variado para que algumas superfícies fossem vistas com frequência e outras raramente. Eles descobriram que, ao ponderar cuidadosamente o que o robô viu contra o quanto de uma superfície ele realmente teve a chance de ver, o robô poderia aprender os hábitos reais dos objetos. Ao serem solicitados a encontrar itens para os quais nunca foram instruídos a procurar, este novo sistema de memória ajudou o robô a encontrar o alvo muito mais rápido e de forma mais confiável do que os métodos anteriores.

O desafio que os pesquisadores enfrentaram está enraizado na realidade desordenada de como os robôs se movem. Em uma casa real, um robô não escaneia cada centímetro de cada cômodo com clareza perfeita. Ele pode caminhar pela cozinha enquanto olha para o teto, ou passar por uma mesa de jantar que está parcialmente bloqueada por uma cadeira. Se um robô simplesmente contar quantas vezes detectou um "chapéu de palha" em uma mesa versus em uma ilha, ele pode errar a resposta se passou mais tempo olhando para a ilha. O chapéu pode estar na mesa metade do tempo, mas se o robô apenas olhou para a ilha, uma contagem simples sugeriria que a ilha é a casa do chapéu. Os pesquisadores perceberam que, para aprender onde as coisas ocorrem usualmente, um robô deve separar a evidência da presença de um objeto da oportunidade que teve de vê-lo. Uma detecção perdida só é significativa se o robô estava realmente olhando na direção certa; se o robô estava olhando para o outro lado, a ausência de uma detecção não nos diz nada.

Para testar essa ideia, a equipe criou um benchmark chamado LOOP-Bench, que consiste em dez ambientes domésticos realistas. Nessas simulações, eles colocaram objetos como copos, tesouras e chapéus em várias superfícies de acordo com distribuições de probabilidade ocultas. Alguns objetos estavam sempre na mesma mesa, enquanto outros se moviam entre alguns pontos, e alguns apareciam raramente. Crucialmente, o caminho do robô através dessas casas foi gerado independentemente de onde os objetos foram colocados. Isso significava que o robô poderia passar por uma mesa dez vezes sem nunca ver a superfície claramente, enquanto poderia passar por uma ilha de cozinha apenas uma vez e obter uma visão perfeita. Essa configuração forçou o sistema de memória a descobrir a localização real dos objetos sem ser enganado pelos próprios padrões de movimento do robô.

O novo sistema, ECROM, funciona organizando o histórico do robô em um mapa de superfícies, ou "suportes", e registrando exatamente quanto de cada superfície estava visível durante cada passagem. Quando um humano posteriormente pede ao robô para encontrar um item específico, o sistema analisa todas as viagens passadas. Ele não apenas conta as detecções; em vez disso, calcula uma probabilidade baseada em quanto da superfície foi exposta à câmera. Se o robô viu uma superfície claramente e não encontrou o objeto, o sistema reduz fortemente a crença de que o objeto está lá. Mas se o robô apenas vislumbrou uma superfície, ou se a visão estava bloqueada, o sistema trata a falta de detecção como neutra, recusando-se a penalizar aquele lugar. Isso permite que o robô aprenda que um objeto provavelmente está em uma superfície que ele viu raramente, desde que essa superfície seja o único lugar onde o objeto já foi avistado quando estava visível.

Os resultados da simulação foram claros. Quando os pesquisadores pediram ao robã para encontrar objetos para os quais nunca haviam sido explicitamente instruídos a procurar, o novo sistema superou todos os outros métodos testados. Ele melhorou a precisão de suas previsões por uma margem significativa e, mais importante, encontrou os objetos muito mais rápido durante a busca ativa. Nas simulações, o robô usando ECROM encontrou o alvo em cerca de 59 por cento de suas tentativas, comparado a aproximadamente 53 por cento para o segundo melhor método. Mais impressionante ainda, em um estudo de caso específico mostrado no artigo, a distância que o robô teve que percorrer para encontrar o objeto caiu de 17,8 metros para apenas 3,2 metros. Essa eficiência veio do fato de o robô saber exatamente quais superfícies valiam a pena verificar primeiro, em vez de vagar sem rumo ou ficar preso revisitando lugares que já havia descartado.

Para garantir que isso não fosse apenas um truque digital, a equipe também testou o sistema em um robô físico, um Hello Robot Stretch 3, em um ambiente de escritório real. Eles realizaram o mesmo tipo de tarefa de busca com objetos reais como um copo vermelho, uma tesoura e uma lata de carne enlatada. O robô teve que navegar por um espaço de 500 metros quadrados, movendo-se entre mesas e prateleiras, para encontrar esses itens. Os resultados espelharam a simulação. O robô usando o novo sistema de memória teve sucesso em encontrar os objetos em 14 de 15 tentativas, enquanto os outros métodos tiveram sucesso em apenas 10 ou 11. O robô físico também viajou uma distância significativamente menor, cobrindo uma média de 19,4 metros em comparação com quase 29 metros para as outras abordagens. Isso provou que a lógica de separar a oportunidade de observação da presença do objeto funciona mesmo quando o robô está lidando com a iluminação imprevisível e a desordem do mundo real.

Os pesquisadores também exploraram o que aconteceria se removessem as partes fundamentais de seu sistema. Quando forçaram o robô a assumir que tinha visto cada superfície totalmente, mesmo quando claramente não o tinha feito, o desempenho do robô caiu. Ele começou a tratar detecções perdidas como prova de que um objeto estava ausente, levando-o a ignorar os locais corretos. Da mesma forma, quando simplificaram o sistema para apenas observar se um objeto foi visto ou não, ignorando a força da evidência visual, o rob sólido tornou-se menos preciso. Esses testes confirmaram que o sucesso do sistema dependia de duas coisas específicas: um registro cuidadoso de quanto de uma superfície era realmente visível e uma interpretação matizada de quão forte era a evidência visual.

Este trabalho sugere um caminho a seguir para robôs que precisam operar em ambientes dinâmicos e em constante mudança ao longo de períodos longos. Em vez de apenas lembrar a última vez que viram algo, ou manter uma contagem simples de avistamentos, esses robôs podem aprender os hábitos do mundo ao seu redor. Eles podem entender que só porque não viram uma caneca de café em um balcão recentemente, não significa que a caneca não esteja lá; pode apenas significar que não olharam para aquele balcão há algum tempo. Ao construir uma memória que respeita os limites de sua própria visão, um robô pode se tornar um parceiro mais confiável no lar, capaz de encontrar itens perdidos mesmo quando o mundo ao seu redor está em constante fluxo. Os pesquisadores planejam liberar seu código e os dados do benchmark para o público, permitendo que outros construam sobre essa base de máquinas mais inteligentes e observadoras.