Budget-Constrained Embodied Perception: Four Resource Walls and a Pre-Registered Evaluation of Access-Structured Perception on Open Models at less than 31B

Imagine um robô assistente vivendo em sua casa, encarregado de ajudá-lo a encontrar uma caneca específica que você usou esta manhã. Ele tem caminhado pela sua casa por horas, registrando um fluxo contínuo de vídeo. Para responder à sua pergunta, ele não pode simplesmente olhar para os últimos segundos de filmagem; ele deve pesquisar através de centenas de minutos de histórico gravado. No entanto, o céreamente do robô possui um limite rigoroso: ele só pode processar uma quantidade minúscula e fixa de informação no exato momento em que precisa tomar uma decisão. Ele não pode armazenar todo o vídeo em sua memória ativa, nem pode se dar ao luxo de reassistir a todo o dia toda vez que você faz uma pergunta. Este é o gargalo fundamental da inteligência incorporada: o abismo entre um fluxo infinito de observações e um orçamento finito para o pensamento.

Por anos, pesquisadores esperaram que simplesmente tornar os modelos de inteligência artificial maiores resolveria este problema. A ideia predominante era que, se um modelo fosse grande o suficiente, ele naturalmente aprenderia a lembrar de tudo o que viu. Mas experimentos recentes mostraram que mesmo os modelos mais avançados lutam quando confrontados com fluxos contínuos e longos de vídeo. Eles podem reconhecer um gato em uma única foto, mas muitas vezes falham em rastrear para onde esse gato foi uma hora atrás. O problema não é que os modelos careçam da capacidade de ver; é que eles carecem de uma estratégia para saber o que observar quando o relógio está correndo e a memória está cheia.

Uma equipe de pesquisadores decidiu testar uma abordagem diferente. Em vez de tentar construir um cérebro maior, eles perguntaram se a maneira como o robô acessa suas memórias importa mais do que o tamanho do próprio cérebro. Eles propuseram que um agente bem-sucedido precisa de duas ferramentas distintas trabalhando juntas: um resumo comprimido do que aconteceu (como um diário contínuo) e um arquivo preciso e pesquisável de cada momento (como uma biblioteca de fotos). Crucialmente, o agente deve ser capaz de escolher, com base na pergunta específica feita, quanto de seu orçamento gastar lendo o diário versus pesquisando na biblioteca. Eles construíram um sistema para testar isso, envolvendo cérebros de robôs existentes em uma nova camada de lógica que gerenciava esses recursos sem exigir qualquer novo treinamento.

Os pesquisadores testaram seu sistema em um ambiente sintético projetado para imitar uma longa caminhada por um edifício, onde o robô tinha que responder perguntas sobre objetos que vira horas antes. Eles colocaram seu novo sistema contra vários métodos padrão, incluindo modelos que simplesmente olhavam para uma seleção aleatória de quadros, modelos que tentavam resumir tudo em um texto curto e modelos que pesquisavam através de uma biblioteca sem manter um resumo contínuo. Eles realizaram esses testes em sete modelos diferentes de código aberto, variando de pequenos a grandes, todos sob o mesmo limite estrito de 4.096 "tokens" (unidades de informação) por decisão.

Os resultados foram impressionantes, mas sutis. O novo sistema, que roteava inteligentemente a atenção do robô, superou vastamente todos os outros métodos que não condicionavam o acesso à pergunta específica. Quando solicitado a encontrar um objeto específico escondido em um fluxo de 300 quadros (a tarefa de recuperação episódica), o novo sistema teve sucesso de 75 a 94% das vezes, enquanto os melhores métodos alternativos conseguiram menos de 20%. Os pesquisadores descobriram que a capacidade de fazer a pergunta certa e então buscar o quadro certo foi o fator decisivo. De fato, dar a um modelo padrão quatro vezes mais memória para trabalhar não o ajudou tanto quanto dar ao novo sistema uma maneira inteligente de usar sua memória limitada. O sistema inteligente com um orçamento pequeno venceu o sistema burro com um orçamento enorme.

No entanto, a história não terminou com uma vitória perfeita. Os pesquisadores desenharam seu sistema com três partes: o resumo, o arquivo e o roteador inteligente que decidia como usá-los. Quando testaram cada parte individualmente, descobriram uma falha surpreendente. O roteador inteligente e o arquivo foram os heróis; eles fizeram o trabalho pesado. Mas o componente de resumo, que deveria manter uma contagem contínbil dos eventos, na verdade tornou o sistema pior. Quando removeram o resumo, o desempenho do sistema em tarefas complexas melhorou significativamente. Na verdade, o sistema completo não superou a linha de base de apenas o arquivo em nenhum dos sete modelos testados. A razão era que o cérebro do robô não era bom o suficiente em manter uma contagem contínbil perfeita ao longo de centenas de etapas; os pequenos erros no resumo se acumulavam e confundiam o sistema. Um sistema de melhor desempenho que dependia de um índice de texto offline, em vez de um resumo ao vivo, na verdade superou o próprio design dos pesquisadores.

Este fracasso não foi uma derrota para a ideia principal, mas uma refinação crucial. O estudo provou que, sob um limite estrito de tempo e memória, a estrutura de acesso é mais importante do que o tamanho do modelo ou a quantidade de memória disponível. O robô não precisa ver tudo; ele precisa saber exatamente onde olhar. Os pesquisadores concluíram que o futuro dos agentes incorporados reside não em construir cérebros maiores, mas em construir formas mais inteligentes de acessar informações. A estratégia mais eficaz é gastar o orçamento encontrando a peça certa de evidência, em vez de tentar manter o mundo inteiro na memória de uma só vez. Embora o design específico de seu resumo contínuo tenha falhado, o princípio central permaneceu firme: em um mundo de dados infinitos e tempo limitado, saber o que ignorar é tão importante quanto saber o que lembrar.