Sandwich-Residuals: Parameter-Efficient Test-time Adaptation of World Models

Robôs que podem planejar seus próprios movimentos frequentemente dependem de um mapa interno de como o mundo funciona. Imagine um braço robótico tentando empurrar um bloco sobre uma mesa. Em vez de apenas reagir ao que vê no momento, um robô inteligente constrói um modelo mental que prevê o que acontecerá se ele mover seu braço de uma certa maneira. Ele aprende a dizer: "Se eu empurrar aqui, o bloco deslizará para lá". Esse modelo mental, frequentemente chamado de modelo de mundo, permite que o robô simule ações futuras em sua mente antes de realmente se mover, ajudando-o a evitar erros e atingir seus objetivos de forma eficiente. Esses modelos são geralmente treinados em um ambiente controlado, como uma simulação de computador, onde a iluminação é perfeita e a física é consistente. No entanto, o mundo real é bagunçado. Quando um robô treinado em uma simulação é colocado em uma sala nova com iluminação diferente, ou quando a superfície da mesa torna-se escorregadia, o mapa interno do robô pode tornar-se errado. As previsões que ele faz não correspondem mais à realidade, e o robô falha em completar sua tarefa. Por anos, a solução padrão para este problema tem sido retreinar partes do cérebro do robô enquanto ele está trabalhando, ajustando milhões de configurações internas para se adaptar às novas condições. Esse processo é pesado, lento e exige que o robô reescreva constantemente sua própria compreensão de como as coisas se movem.

Uma equipe de pesquisadores descobriu uma maneira muito mais leve de corrigir este problema. Em vez de pedir ao robô que reescreva todo o seu mapa interno, eles descobriram que muitas vezes é suficiente apenas ajustar as bordas onde o robô lê suas entradas e escreve suas saídas. Em um novo estudo, os pesquisadores introduziram um método que chamam de "Sandwich-Residuals" (Resíduos de Sanduíche). Eles pegaram um robô que já havia aprendido a se mover em uma simulação e congelaram seu céreão interno completamente, impedindo que qualquer uma de suas milhões de configurações aprendidas mudasse. Então, eles adicionaram duas camadas de software muito pequenas e flexíveis: uma que ajusta a informação que entra no cérebro do robô e outra que ajusta as previsões que saem dele. Essas pequenas camadas agem como o recheio de um sanduíche, envolvendo o núcleo congelado. À medida que o robô tenta se mover e comete erros, essas pequenas camadas aprendem a corrigir os erros sobre a hora, sem nunca tocar no cérebro pré-treinado e pesado no interior. O robô aprende a dizer: "Meu cérebro acha que o bloco irá para cá, mas minha nova camada de correção sabe que o chão está escorregadio, então vou ajustar meu plano para enviá-lo para lá em vez disso".

Os pesquisadores testaram essa ideia em uma variedade de tarefas desafiadoras, incluindo navegar em labirintos e empurrar objetos de diferentes formatos. Eles compararam seu método com a abordagem padrão, que envolve atualizar o cérebro interno do robô, e contra um robô que não faz nenhum ajuste. Em vinte e um cenários de teste diferentes, o robô usando o novo método "sanduíche" teve sucesso em atingir seu objetivo 65 por cento das vezes. Isso foi uma melhoria significativa em relação ao robô não ajustado, que teve sucesso em apenas cerca de 49 por cento das vezes. Mais importante ainda, o novo método teve um desempenho quase tão bom quanto a abordagem padrão que reescreve o cérebro do robô, que teve sucesso cerca de 68 por cento das vezes. A diferença crucial reside na eficiência. O método padrão teve que atualizar quase dez milhões de configurações para se adaptar às novas condições. O novo método, por outro lado, só precisou ajustar cerca de cem mil configurações. Isso significa que o novo método se adapta usando menos de três por cento do esforço computacional exigido pelo método antigo, mas alcança quase o mesmo nível de sucesso.

O estudo também observou o que acontece quando o robô enfrenta múltiplos problemas ao mesmo tempo, como uma mudança na iluminação combinada com uma mudança em como os objetos parecem pesados. Nessas situações "compostas" difíceis, o novo método foi ainda mais impressionante. Ele teve sucesso 1,9 vezes mais do que o robô não ajustado, permanecendo tão eficaz quanto o método pesado de atualização do cérebro. Os pesquisadores descobriram que o tipo de correção necessária dependia do problema específico. Quando o robô estava navegando em um labirinto e a física do movimento mudava, a camada que corrigia as previsões do robô após serem feitas fazia a maior parte do trabalho. Quando o robô estava empurrando objetos e o controle tornava-se mais sensível, a camada que ajustava os comandos de entrada do robô era mais importante. Ao manter ambas as camadas, o sistema podia lidar com uma ampla variedade de mudanças inesperadas sem precisar saber antecipadamente que tipo de problema enfrentaria.

Para provar que essa ideia funciona além de simples jogos de labirinto, os pesquisadores também a aplicaram a uma tarefa mais complexa envolvendo um braço robótico de estilo real movendo um cubo no espaço tridimensional. Eles usaram um tipo diferente de cérebro de robô para esta tarefa, que depende de padrões visuais em vez do design anterior. Mesmo com uma arquitetura diferente, o princípio do "sanduíche" funcionou. O robô foi capaz de se adaptar a mudanças de iluminação, ângulos de câmera e na força de seus próprios motores. Em cada caso de teste onde as condições mudaram, o novo método melhorou o desempenho do robô em comparação com não fazer nada, enquanto os outros métodos às vezes fizeram o robô performar pior. Isso sugere que a capacidade de se adaptar nem sempre exige que um robô mude fundamentalmente como entende o mundo. Às vezes, é suficiente simplesmente adicionar um pequeno filtro flexível que ajuda o robô a interpretar sua situação atual corretamente.

As descobertas sugerem uma mudança na forma como podemos construir robôs para o futuro. Por muito tempo, a suposição era que, se o ambiente de um robô mudasse, seu modelo interno de física teria que ser reescrito para corresponder. Este artigo mostra que essa suposição nem sempre é necessária. Se a compreensão central do robô sobre o mundo ainda estiver majoritariamente correta, ele pode simplesmente aprender a ajustar suas entradas e saídas para se adequar à nova realidade. Essa abordagem não é apenas mais rápida e barata; é também mais estável, pois evita o risco de o robô esquecer o que já sabe enquanto tenta aprender algo novo. Embora os experimentos tenham sido conduzidos em simulações de computador, os resultados apontam para um futuro onde os robôs podem entrar em novos ambientes e começar a trabalhar imediatamente, usando ajustes minúsculos e eficientes para lidar com as surpresas do mundo real sem precisar de uma reformulação massiva de sua inteligência.