🤖 AI

Latent Goal Prediction from Language for Model-Based Planning

O artigo apresenta o LAGO, um framework que possibilita o planejamento baseado em modelos de longo horizonte de forma robusta ao decompor dinamicamente instruções de linguagem em submetas latentes intermediárias e rollouts condicionados a ações dentro de um espaço latente unificado, superando, assim, as limitações tanto de alvos visuais quanto do desalinhamento cross-modal ruidoso.

Autores originais: Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a navegar em um labirinto complexo ou a mover objetos em uma sala, mas você só pode dar instruções em inglês simples, como "Vá para o ponto vermelho" ou "Coloque o cubo na gaveta".

Este artigo apresenta um novo sistema chamado LAGO (Latent Goal Prediction from Language — Predição de Objetivo Latente a partir de Linguagem) que ajuda os robôs a planejar essas jornadas longas e complicadas muito melhor do que antes. Veja como ele funciona, dividido em conceitos simples:

O Problema: Os problemas da "Perda na Tradução" e da "Caminhada Longa"

Atualmente, os robôs que tentam planejar com antecedência enfrentam dois grandes problemas:

O Problema do "Muito Longe": Se você pedir a um robô para ir a um lugar muito distante, ele tenta imaginar toda a viagem em um único salto gigante. Mas, assim como tentar prever o tempo para daqui a um mês, pequenos erros em sua imaginação se acumulam, e o plano desmorona antes mesmo de começar.
O Problema da "Linguagem vs. Imagem":
- Se você der ao robô uma imagem do objetivo, ele sabe exatamente para onde ir, mas é rígido. Ele não consegue lidar facilmente com novas situações.
- Se você der palavras, ele é flexível, mas é difícil traduzir "Vá até o dragão" em coordenadas precisas para o cérebro do robô. Os métodos existentes costam ficar confusos ou exigem computadores enormes e lentos para entender as palavras.

A Solução: A Estratégia de "Parar e Verificar" do LAGO

O LAGO resolve isso agindo como um trilheiro com um mapa e uma série de pontos de controle.

Em vez de tentar imaginar toda a trilha de 100 milhas de uma só vez, o LAGO a divide em etapas pequenas e gerenciáveis.

O Mapa "Latente": O robô não pensa em pixels brutos (como uma câmera vê) ou palavras brutas. Ele pensa em um "código secreto" (um espaço latente) que representa o mundo.
O Tradutor: O LAGO é treinado para pegar sua frase em inglês (ex: "Vá até o aldeão") e traduzi-la instantaneamente em uma sequência de pontos de controle invisíveis nesse código secreto.
O Processo:
1. Você diz: "Vá até o aldeão".
2. O LAGO não diz apenas "Ok". Ele prevê um caminho: "Primeiro, imagine estar aqui (Ponto de Controle 1), depois aqui (Ponto de Controle 2), depois aqui (Ponto de Controle 3)..." até chegar ao aldeão.
3. O robô planeja seu próximo movimento para alcançar o primeiro ponto de controle.
4. Uma vez que ele chega lá, ele atualiza sua posição e prevê o próximo conjunto de pontos de controle com base de onde ele está agora.

A Analogia: O "Vale Suave" vs. A "Montanha Acidentada"

O artigo usa uma ótima analogia visual para explicar por que isso funciona melhor:

Métodos Antigos: Imagine tentar rolar uma bola para o topo de uma montanha adivinhando todo o caminho de uma vez. O terreno é acidentado e cheio de buracos (erros). A bola fica presa ou rola para o lado errado porque o caminho é muito longo e complexo para ser visto com clareza.
LAGO: Imagine a mesma montanha, mas o LAGO escava um vale suave e sinuoso com pedras de passagem claras (os subobjetivos) levando ao topo. O robô só precisa saltar de uma pedra para a próxima. Mesmo que ele erre levemente uma pedra, o vale o guia de volta ao caminho. Ele nunca precisa olhar para a montanha inteira de uma vez; ele só olha para a próxima pedra.

Por que isso é um grande feito

É Rápido: Ao contrário de outros sistemas que usam modelos de IA enormes e lentos para entender a linguagem, o LAGO é leve e rápido, sendo adequado para planejamento em tempo real.
É Robusto: Em testes, quando a distância até o objetivo ficava muito longa, outros métodos falhavam completamente (0% de sucesso). O LAGO continuou tendo sucesso, mesmo quando a jornada era difícil.
Ele Une os Dois Mundos: Combina o melhor de ambos: a flexibilidade de entender a linguagem humana e a precisão de alvos visuais.

O Que Ele Faz (e o Que Não Faz)

Ele Faz: Pega uma instrução de linguagem e uma visão atual do mundo, então gera um plano suave, passo a passo, na "mente" do robô para alcançar o objetivo. Ele funciona em ambientes simulados, como navegar em um mapa 2D, mover um cavalo em um mundo estilo jogo ou empurrar um cubo com um braço robótico.
Ele Não Faz: O artigo não afirma que isso funcione em robôs físicos reais ainda, nem afirma resolver problemas fora dessas tarefas simuladas específicas. É um framework de planejamento, não um robô físico em si.

Em resumo, o LAGO ensina um robô a parar de tentar "ver" todo o futuro de uma vez e, em vez disso, focar em uma série de marcos pequenos e claros previstos a partir de suas palavras, tornando as longas jornadas muito menos propensas a erros.

Resumo Técnico: Predição de Metas Latentes a partir de Linguagem para Planejamento Baseado em Modelo

Declaração do Problema

O aprendizado por reforço (RL) baseado em modelos que utiliza modelos de mundo (WMs) oferece um paradigma promissor para controle com eficiência de amostra ao simular trajetórias futuras em um espaço latente compacto. No entanto, esses sistemas enfrentam dois gargalos fundamentais:

Especificação de Metas: Definir metas otimizáveis é difícil. Objetivos visuais (imagens) fornecem gradientes locais precisos, mas oferecem orientação pobre para metas distantes e são impraticáveis de obter para tarefas complexas. A linguagem oferece flexibilidade, mas sofre com o alinhamento cross-modal ruidoso em modelos contrastivos ou com a ineficiência computacional em modelos generativos de grande escala, que são inadequados para a amostragem de alta frequência exigida pelo planejamento baseado em modelo.
Planejamento de Longo Horizonte: O planejamento sobre horizontes longos é dificultado pelo acúmulo de erros de predição. Pequenas imprecisões na dinâmica latente acumulam-se durante os rollouts, degradando a confiabilidade das trajetórias imaginadas. Métodos existentes frequentemente contornam isso aumentando a abstração temporal (saltos de frames) ou restringindo a avaliação a horizontes curtos, o que limita sua aplicabilidade em tarefas complexas e temporalmente estendidas.

Abordagens atuais lutam para combinar a precisão de objetivos baseados em imagem com a flexibilidade da especificação baseada em linguagem, mantendo a robustez contra erros de predição em horizontes longos.

Metodologia: LAGO

Os autores introduzem o LAGO (Latent Goal Prediction from Language), um framework projetado para prever sequências de estados de metas intermediárias a partir de instruções de linguagem e rollouts condicionados a ações dentro do mesmo espaço latente.

Arquitetura

O LAGO é construído sobre uma Arquitetura de Predição de Embedding Conjunto (JEPA) operando em um espaço latente compartilhado. Ele suporta dois modos de operação via um único preditor $\pi(\cdot)$ :

Predição de Transição de Próximo Passo: Condicionado a ações de baixo nível para prever o próximo estado latente imediato.
Predição de Submetas: Condicionado a instruções de linguagem e um escalar de conclusão $\rho$ (estimando o progresso da tarefa) para prever submetas latentes intermediárias.

Componentes Principais:

Encoder de Visão: Utiliza um DINOv2 ViT congelado para codificar observações RGB em tokens de patch.
Condicionamento Multimodal: Instruções de linguagem são incorporadas e projetadas em um espaço de condição compartilhado. Um escalar de conclusão $\rho \in [0, 1]$ também é projetado. Um embedding específico de modo distingue entre condicionamento de ação e condicionamento de submeta.
Treinamento Unificado: O modelo é treinado conjuntamente usando um objetivo de erro quadrático médio (MSE). Ele minimiza o erro entre o estado previsto e o real (usando condicionamento de ação) e entre a submeta prevista e a real (usando condicionamento de linguagem e $\rho$ ).

Estratégia de Planejamento

O LAGO transforma o planejamento de longo horizonte em uma sequência de objetivos localmente tratáveis:

Geração de Submetas: Dada uma situação atual e uma instrução de linguagem, o LAGO gera $K$ submetas latentes em escalares de conclusão uniformemente espaçados ( $\rho_k = k/K$ ). Crucialmente, essas submetas são previstas independentemente do estado atual (não-autoregressivamente) para evitar erros de composição.
Repredição Online: As submetas são repreditas em cada passo de Controle Preditivo por Modelo (MPC), permitindo que o agente se adapte ao seu estado em evolução.
Custo de Trajetória de Mínimo Suave (JLAGO): Para avaliar sequências de ações candidatas, o LAGO emprega uma função de custo de mínimo suave. Em vez de exigir que uma trajetória atinja uma submeta específica em um tempo específico, ele mede o melhor alinhamento alcançado entre cada submeta e qualquer passo de tempo ao longo do rollout. Isso é controlado por um parâio de temperatura $\tau$ , permitindo uma convergência suave para as submetas em vez de critérios de conclusão discretos e frágeis.

Contribuições Principais

Framework LAGO: Um modelo de mundo treinado para mapear instruções de linguagem natural diretamente para estados alvo dentro de seu próprio espaço latente, unindo a precisão visual e a flexibilidade linguística.
Decomposição Dinâmica de Submetas: Uma extensão da predição de metas para gerar sequências de submetas latentes intermediárias. A abordagem utiliza repredição online contínua e um custo de trajetória de mínimo suave para permitir um planejamento robusto de longo horizonte sem detecção explícita de conclusão de submeta.
Protocolo de Avaliação Baseado em Distância: Um método de avaliação sistemático que varia a dificuldade da tarefa com base na distância até a meta. Isso revela que métodos anteriores degradam drasticamente além de seu horizonte de planejamento efetivo, enquanto o LAGO permanece robusto.

Resultados Experimentais

Os autores avaliaram o LAGO em quatro ambientes: TwoRoom (navegação 2D), Kingdom (navegação 2D com layouts dinâmicos e perigos irreversíveis), OGBench Cube (manipulação) e OGBench Scene (manipulação complexa).

Robustez de Longo Horizonte: Nos ambientes TwoRoom, Kingdom e OGBench Cube, os baselines de meta de imagem (DINO-WM, Temporal Straightening, LeWM) falharam completamente conforme a dificuldade da tarefa (distância) aumentava (ex: caindo para 0% de taxa de sucesso em dificuldades altas). Em contraste, o LAGO manteve altas taxas de sucesso (ex: 90% de sucesso na dificuldade 115 no TwoRoom).
Metas de Linguagem vs. Visuais: O LAGO condicionado a metas de texto superou significativamente os baselines de meta de linguagem (LIV, PE-Core, Robo-Dopamine). Por exemplo, no Kingdom, o LAGO alcançou uma taxa de sucesso de 96,9% comparado aos 52,6% do baseline LIV ajustado.
Eficiência: O LAGO demonstrou alta eficiência de inferência (aprox. 11ms por observação) comparado a grandes modelos de recompensa generativos como o Robo-Dopamine (aprox. 451ms), tornando-o viável para MPC em tempo real.
Estudos de Ablação: O desempenho permaneceu estável para $K \ge 4$ submetas. A temperatura $\tau$ do mínimo suave foi encontrada como robusta dentro de um intervalo razoável.

Significância e Alegações

O artigo afirma que o LAGO consegue unir a lacuna entre a precisão de metas baseadas em imagem e a flexibilidade do controle guiado por texto. Ao ancorar a linguagem no espaço latente do modelo de mundo e decompor tarefas em submetas intermediárias, o framework mitiga erros de predição de composição.

Os autores afirmam que seu trabalho permite um planejamento de longo horizonte robusto e preciso puramente a partir de linguagem, evitando a degradação aguda observada em métodos anteriores quando os horizontes de planejamento se estendem além do alcance imediato. Eles enfatizam que isso é alcançado sem a necessidade de supervisão de ação ou recompensa durante a fase de planejamento, baseando-se na orientação estruturada de submetas latentes preditas. O trabalho é apresentado como um passo para enfrentar desafios de planejamento cada vez mais complexos, combinando as forças das modalidades visuais e linguísticas dentro de um único framework de planejamento eficiente.