From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models

Este artigo propõe um método que utiliza modelos de visão e linguagem pré-treinados para aprender modelos de mundo simbólicos abstratos a partir de demonstrações curtas, permitindo que robôs generalizem para zero-shot e resolvam problemas de tomada de decisão de longo horizonte em cenários complexos e variados através de planejamento.

O essencial

Imagine que você quer ensinar um robô a arrumar a sua sala de estar. Você pode mostrar para ele, em vídeo, como você pega um copo, joga fora um papel e limpa a mesa. Se fosse um robô "burro" (apenas copiando o que vê), ele faria exatamente o que você fez naquele vídeo específico. Mas e se o vídeo fosse em uma cozinha azul e, na hora de testar, a sala fosse vermelha? Ou e se, em vez de um copo, houvesse uma caneca? O robô burro provavelmente travaria, porque ele apenas memorizou os pixels da imagem, não o conceito de "copo" ou "limpar".

O artigo "From Pixels to Predicates" (De Pixels a Predicados) apresenta uma solução inteligente para esse problema, chamada pix2pred.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O Robô que Só Vê, Não Entende

A maioria dos robôs hoje em dia é como um ator que decorou um roteiro. Se você mudar o cenário ou o objeto, ele não sabe o que fazer. Ele vê pixels (cores e formas), mas não entende que "aquilo é uma cadeira" ou "aquela mesa está suja".

2. A Solução: O "Tradutor" de Inteligência Artificial

Os autores usaram um Modelo de Visão e Linguagem (VLM) — basicamente, uma IA superinteligente que já viu milhões de fotos e sabe ler descrições (como o GPT-4 ou Gemini).

Imagine que esse VLM é um tradutor mágico.

• Entrada: O robô vê uma foto da sala (pixels).
• Processo: O VLM olha para a foto e diz: "Ah, vejo que a mesa está limpa", "Vejo que o copo está dentro da lixeira", "Vejo que o robô está segurando um apagador".
• Saída: Em vez de deixar o robô ver a foto bruta, o VLM transforma a foto em uma lista de fatos lógicos (chamados de predicados).

3. A Metáfora da "Caixa de Ferramentas de Palavras"

O grande truque do pix2pred é que eles não sabem de antemão quais palavras (fatos) o robô precisa. Então, eles pedem para o VLM: "Olhe para esses vídeos de humanos fazendo tarefas e invente uma lista de palavras importantes que descrevem o que está acontecendo".

O VLM pode sugerir milhares de palavras: "MesaLimpa", "CoposNaLixeira", "ChãoSujo", "RobôComMãoVazia", "ApagadorPresente".

Aqui entra a parte genial: O Filtro de Seleção.
Ter mil palavras é confuso. O algoritmo do paper funciona como um chef de cozinha exigente:

1. O VLM propõe 100 ingredientes (palavras).
2. O algoritmo testa: "Se eu usar apenas a palavra 'MesaLimpa' e 'RobôComMãoVazia', consigo planejar como limpar a mesa?"
3. Se a resposta for sim, ele guarda essa palavra. Se for não, ou se for redundante (como ter "MesaLimpa" e "MesaSemSujeira" que significam a mesma coisa), ele descarta.

No final, o robô fica com uma pequena caixa de ferramentas de conceitos essenciais (ex: "MesaLimpa", "ObjetoNaMão", "LixeiraCheia").

4. O Planejamento: O Arquiteto Lógico

Agora que o robô tem essa lista de conceitos claros (e não mais uma bagunça de pixels), ele usa um planejador de tarefas.

Pense nisso como um arquiteto de jogos de tabuleiro:

• O robô não tenta "adivinhar" o movimento. Ele olha para o estado atual (ex: "A mesa está suja" e "Minha mão está vazia").
• Ele consulta seu manual de regras (aprendido com os vídeos): "Para limpar a mesa, preciso primeiro pegar o apagador".
• Ele cria um plano passo a passo: "Pegar apagador -> Limpar mesa -> Jogar lixo fora".

5. O Resultado: Generalização Agressiva

A mágica acontece quando você testa o robô em uma situação nunca vista antes:

• Treino: O robô viu humanos limpando uma mesa de madeira com um apagador vermelho.
• Teste: O robô precisa limpar uma mesa de vidro com um apagador azul, em uma sala com paredes verdes, e talvez precise primeiro tirar um objeto de dentro de uma caixa.

Como o robô aprendeu os conceitos (predicados) e não os pixels:

• Ele entende que "Apagador Azul" é um tipo de "Apagador".
• Ele entende que "Tirar da caixa" é necessário para "Acessar o objeto".
• Ele usa o mesmo plano lógico, adaptando os movimentos.

Resumo da Ópera

O pix2pred é como ensinar um robô a pensar como um humano, mas usando a "intuição" de uma IA gigante para descobrir quais são as regras do jogo.

1. Assista: O robô vê alguns vídeos curtos de humanos fazendo tarefas.
2. Traduza: Uma IA inteligente olha os vídeos e cria uma lista de "fatos" sobre o mundo (ex: "A mesa está limpa").
3. Filtre: O sistema escolhe apenas os fatos mais importantes e úteis.
4. Planeje: O robô usa esses fatos para criar um plano lógico, como um xadrez, para resolver problemas novos.

O resultado? Um robô que, com apenas 6 a 10 exemplos de treino, consegue resolver tarefas complexas em ambientes totalmente diferentes, lidando com novos objetos e novos objetivos, algo que os robôs tradicionais de "aprendizado por imitação" não conseguem fazer. É a diferença entre um papagaio que repete frases e um aluno que aprende a lógica da língua.

Resumo técnico

1. Problema e Motivação

O objetivo central da pesquisa é permitir que robôs resolvam problemas de tomada de decisão de longo horizonte em domínios complexos, a partir de entradas sensoriais de baixo nível (imagens/câmeras).

• Desafio: Robôs precisam executar tarefas complexas (ex: "limpar a mesa", "fazer um suco") em ambientes não vistos anteriormente, com objetos variados e disposições diferentes.
• Limitações das Abordagens Atuais:
  • Aprendizado por Imitação (Model-Free): Tende a falhar em generalização quando o cenário muda (novos objetos, fundos ou sequências de ações não vistas no treinamento). Elas frequentemente "memorizam" trajetórias em vez de aprender a lógica subjacente.
  • Planejamento Simbólico Tradicional: Requer modelos de mundo manuais e precisos, o que é difícil de obter em ambientes reais e dinâmicos.
  • Modelos de Fundação (LLMs/VLMs) Diretos: Embora poderosos, muitas vezes falham em planejamento de longo horizonte consistente e sofrem com alucinações ou falta de raciocínio estruturado.

O artigo propõe aprender Modelos de Mundo Simbólicos Abstratos que mapeiam diretamente pixels para predicados simbólicos interpretáveis, permitindo planejamento eficiente e generalização agressiva.

2. Metodologia: Pix2Pred

O método proposto, chamado pix2pred, opera em duas fases principais: Aprendizado (Treinamento) e Implantação (Teste).

A. Fase de Aprendizado (Invenção de Predicados e Operadores)

O sistema recebe um pequeno conjunto de demonstrações (vídeos humanos ou trajetórias de robô) anotadas com habilidades de baixo nível (ex: "pegar", "limpar", "virar").

1. Proposta de Predicados Visuais (VLM):

   • O sistema utiliza um Modelo Visão-Linguagem (VLM) pré-treinado (como GPT-4o ou Gemini).
   • Para cada demonstração, o VLM recebe as imagens dos estados (antes e depois de cada ação) e a descrição da ação executada.
   • O VLM é solicitado a propor uma grande quantidade de predicados candidatos (ex: NoObjectsOnTop(?mesa), IsEraser(?objeto), JuiceMachineOpen).
   • Esses predicados são "levantados" (lifted) de instâncias específicas para formas generalizadas com variáveis tipadas.

2. Avaliação de Verdade (Grounding):

   • O VLM é usado novamente para avaliar a verdade (Verdadeiro/Falso/Desconhecido) de cada predicado proposto em cada estado da demonstração, criando um conjunto de dados rotulado.

3. Seleção e Otimização (Hill-Climbing):

   • O sistema possui um conjunto inicial de predicados e o grande pool gerado pelo VLM.
   • Um algoritmo de hill-climbing (subida de encosta) otimiza a seleção de um subconjunto compacto de predicados.
   • Objetivo de Otimização: Encontrar o conjunto de predicados que permite a criação de operadores simbólicos (regras de transição de estado) que maximizam a eficiência do planejamento e a precisão na reprodução das demonstrações.
   • O algoritmo lida com ruído inerente aos VLMs (usando interseções "soft" de pré-condições) e descarta operadores que se sobrecarregam (overfitting) a poucos dados.

4. Aprendizado de Operadores e Samplers:

   • Com os predicados selecionados, o sistema aprende operadores no estilo PDDL (Precondições, Efeitos Aditivos, Efeitos Deletivos) e samplers para parâmetros contínuos (ex: onde agarrar um objeto).

B. Fase de Implantação (Planejamento)

Dado um novo objetivo em um novo ambiente:

1. Descrição do Estado Atual: O VLM analisa a imagem atual e o objetivo, gerando uma descrição simbólica do estado do mundo baseada nos predicados aprendidos.
2. Planejamento Baseado em Busca: Um planejador clássico (PDDL) usa o modelo de mundo aprendido para encontrar uma sequência de habilidades de baixo nível que leva do estado inicial ao objetivo.
3. Execução: O robô executa as habilidades. Em ambientes reais, pode haver replanejamento se o estado observado divergir do esperado.

3. Principais Contribuições

1. Invenção de Predicados via VLM: Uma nova abordagem que usa a capacidade perceptiva e de senso comum de VLMs para propor e fundamentar (ground) predicados simbólicos diretamente a partir de pixels, sem necessidade de anotação manual detalhada de predicados.
2. Generalização Agressiva: O método demonstra capacidade de generalizar para novos objetos, números de objetos, fundos visuais e composições de objetivos que nunca foram vistos durante o treinamento, superando abordagens puramente baseadas em imitação.
3. Seleção de Subconjunto Otimizada: A introdução de um processo de seleção baseado em otimização para filtrar predicados redundantes ou irrelevantes propostos pelo VLM, garantindo que o modelo final seja compacto e eficiente para o planejamento.
4. Validação em Cenários Reais: Sucesso na implantação em um robô físico (Boston Dynamics Spot) em tarefas de limpeza e preparo de suco, utilizando apenas demonstrações humanas gravadas (sem interação online para coleta de dados de treinamento).

4. Resultados Experimentais

Os experimentos foram realizados em domínios simulados (Kitchen, Burger, Coffee) e reais (Cleanup, Juice).

• Desempenho em Simulação:

  • O pix2pred superou consistentemente as abordagens de base (baselines), incluindo variações de ViLa (planejamento direto com VLM) e métodos sem invenção de predicados.
  • Em tarefas de longo horizonte (ex: fazer 30 ações no domínio "Burger"), o pix2pred manteve altas taxas de sucesso, enquanto o ViLa falhava drasticamente ao tentar generalizar para estados iniciais não vistos (ex: robô segurando um objeto inicialmente).
  • A ablação "VLM subselect" (onde o VLM escolhe os predicados sem otimização) teve desempenho inferior, confirmando que a seleção automática baseada em otimização é crucial para evitar ruído e redundância.

• Desempenho no Mundo Real (Boston Dynamics Spot):

  • O robô aprendeu com apenas 6 a 10 demonstrações humanas.
  • Conseguiu resolver tarefas complexas como: limpar uma mesa e guardar um apagador em um novo ambiente, ou operar uma máquina de suco com frutas e copos não vistos antes.
  • O método generalizou para novos objetos, fundos e objetivos compostos (ex: esvaziar um copo cheio antes de usar a máquina, uma ação nunca vista no treinamento).

• Análise de Falhas:

  • A maioria das falhas ocorreu devido a erros de classificação do VLM em tempo de teste (predicados visuais incorretos), e não devido a falhas no modelo simbólico aprendido. Isso sugere que a arquitetura é robusta, mas depende da precisão do VLM.

5. Significado e Conclusão

O trabalho pix2pred representa um avanço significativo na interseção entre aprendizado por demonstração, planejamento simbólico e modelos de fundação (Foundation Models).

• Ponte entre Subsimbólico e Simbólico: O método resolve o problema de como extrair representações simbólicas úteis e interpretáveis diretamente de dados sensoriais brutos (pixels), permitindo que robôs raciocinem sobre o mundo de forma estruturada.
• Eficiência de Dados: Demonstra que é possível aprender modelos de mundo complexos e generalizáveis com um número muito pequeno de demonstrações (few-shot), eliminando a necessidade de grandes conjuntos de dados ou interação online extensiva.
• Viabilidade Prática: A validação em um robô físico real prova que modelos simbólicos aprendidos via VLMs podem ser aplicados em cenários do mundo real, abrindo caminho para robôs domésticos e industriais mais adaptáveis e inteligentes.

Em resumo, o artigo propõe que a combinação da capacidade de "imaginação" e descrição de VLMs com a rigidez e eficiência do planejamento simbólico é a chave para criar robôs capazes de raciocinar e agir em ambientes complexos e dinâmicos.