The Objective Is the Bottleneck: Latent World Models Encode What Their Planners Cannot Use

Imagine que você está ensinando um robô a navegar em um labirinto. Para fazer isso, o robô constrói um "mapa mental" do mundo dentro de seu cérebro. Este mapa não é uma imagem; é um resumo matemático comprimido de como o mundo parece em qualquer dado momento. Cientistas chamam isso de "modelo de mundo latente". O robô aprende este mapa observando vídeos de si mesmo se movendo e tentando prever o que acontece a seguir. Se ele consegue prever o futuro com precisão, assumimos que ele entende o mundo. Uma vez que possui este mapa, o robô usa um "planejador" — um algoritmo de tomada de decisão — para descobrir o melhor caminho para um objetivo, como encontrar um baú de tesouro. A grande questão neste campo sempre foi: se o robô falha em atingir um objetivo distante, é porque seu mapa mental é borrado e impreciso, ou porque sua ferramenta de tomada de decisão está quebrada? Este artigo mergulha nesse mistério, testando se o problema reside na visão do robô ou em sua bússola.

Os pesquisadores neste artigo investigaram um robô específico navegando em um ambiente simples de duas salas. Eles descobriram que o "mapa mental" do robô era, na verdade, incrivelmente nítido e preciso, mesmo ao olhar para o futuro distante. No entanto, o robô continuava falhando em atingir objetivos que estavam longe. A descoberta surpreendente é que o robô não estava falhando porque não conseguia ver o caminho; ele estava falhando porque a "bússola" que estava usando para medir a distância estava quebrada. O robô estava tentando minimizar uma pontuação matemática específica (a distância ao quadrado entre seu estado mental atual e o objetivo), mas essa pontuação parava de fazer sentido após um certo ponto. Era como um GPS que diz que você está chegando ao seu destino quando, na verdade, está dirigindo na direção oposta.

O artigo mostra que o mapa interno do robô ainda conseguia prever o estado do mundo 75 passos à frente com muito pouco erro — muito além dos 25 passos que o robô sequer tentou planejar. O problema não era o mapa; era a função de objetivo, a regra que o planejador usava para julgar o sucesso. Os pesquisadores descobriram que a forma padrão de medir a distância na mente do robô "saturava" e depois "invertia". Isso significa que, uma vez que o objetivo estava a mais de 120 unidades de distância, mover-se para longe do objetivo na verdade diminuía a pontuação de custo do robô, enganando-o para que pensasse que estava progredindo. A informação sobre onde o objetivo estava e como chegar lá ainda estava totalmente presente no cérebro do robô, mas o planejador do robô a ignorava porque estava olhando para a métrica errada.

Para consertar isso, os pesquisadores não treinaram novamente o robô nem deram a ele um hardware mais poderoso. Em vez disso, eles simplesmente trocaram a bússola quebrada por uma nova. Eles ensinaram o planejador a se importar com a "alcançabilidade" (posso chegar lá?) em vez de apenas com a "proximidade" (quão perto parece estar?). Eles fizeram isso treinando um pequeno auxiliar para prever quantos passos seriam necessários para ir de um quadro a outro, em vez de apenas medir a distância entre dois pontos em um espaço matemático. Esta nova abordagem foi um enorme sucesso. Nas configurações originais do robô, a taxa de sucesso para atingir objetivos a 100 passos de distância saltou de um ínfimo 26% para impressionantes 98%. Mais impressionante ainda, o robô conseguiu alcançar 92% desses objetivos distantes com apenas um terço do orçamento de tempo habitual.

No entanto, este reparo não é uma solução mágica que funciona em todos os lugares. Quando os pesquisadores tentaram o mesmo conserto nos pesos liberados pelos autores originais, ele apenas melhorou o sucesso de 14% para 34%, ficando aquém dos 70% alcançados por um método linear mais simples. A razão para esse fracasso é que o "mapa mental" do modelo original deriva demais da realidade ao imaginar o futuro. A nova bússola foi treinada em quadros de vídeo reais, mas o planejador estava pontuando quadros imaginados. Como as previsões do modelo original eram tão imprecisas, os quadros imaginados eram diferentes demais dos reais para que a nova bússola funcionasse corretamente. Isso destaca uma regra crucial: uma função de custo de planejamento aprendida deve ser treinada no exato tipo de dados "imaginados" que o planejador realmente usará, ou ela falhará quando o preditor derivar.

O estudo também revelou uma peculiaridade estranha: o planejador "melhor" não era aquele com o mapa mais preciso. Na verdade, um planejador usando uma função de custo que era pior em prever a distância espacial exata, na verdade planejava melhor. Isso ocorre porque a nova função de custo aprendeu a cobrar extra por atravessar uma parede, enquanto a antiga não se importava com paredes. O antigo planejador achava que duas salas estavam próximas porque estavam fisicamente perto uma da outra, ignorando a porta. O novo planejador entendeu que você tem que passar pela porta, tornando-o um navegador melhor. O artigo conclui que, para o planejamento de longo horizonte, o gargalo não é a capacidade de prever o futuro, mas a capacidade de definir o que "chegar lá" realmente significa. Se sua bússola aponta para o lado errado, nenhuma quantidade de visão perfeita ajudará você a encontrar seu destino.