ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models

O artigo apresenta o ViPlan, o primeiro benchmark de código aberto que compara abordagens de planejamento simbólico com VLMs como fundamentadores versus planejamento direto com VLMs em dois domínios visuais, revelando que a eficácia de cada método depende do domínio (sendo o fundamentador superior em Blocksworld e o planejador direto em robótica doméstica) e que o Chain-of-Thought não oferece benefícios consistentes.

O essencial

Imagine que você quer ensinar um robô a fazer tarefas complexas, como arrumar a sua casa ou organizar blocos de brinquedo. Para isso, você precisa de um "cérebro" para o robô. Recentemente, surgiram dois tipos de cérebros muito inteligentes, chamados Modelos de Linguagem e Visão (VLMs). Eles são como assistentes superpoderosos que conseguem ver fotos e entender o que está escrito.

O artigo ViPlan é como um grande teste de direção (ou uma "prova de fogo") criado para descobrir qual desses dois tipos de cérebros funciona melhor em situações reais.

Aqui está a explicação simples, usando analogias do dia a dia:

1. Os Dois Tipos de "Cérebros"

Os pesquisadores compararam duas abordagens diferentes para o robô pensar:

• O "Planejador Direto" (VLM-as-planner):
  Imagine um chef de cozinha experiente que olha para a geladeira e diz: "Vou fazer uma salada". Ele não precisa de um manual de instruções. Ele olha para a imagem, usa sua intuição e experiência (o que ele aprendeu lendo milhões de receitas na internet) e decide o próximo passo imediatamente.

  • Como funciona: O robô olha a foto e diz: "Agora vou pegar a maçã". Depois olha de novo e diz: "Agora vou lavar a maçã". Ele faz tudo de uma vez, sem checar se as regras foram seguidas.

• O "Tradutor de Imagens" (VLM-as-grounder):
  Imagine um engenheiro de segurança muito rigoroso. Ele não toma decisões sozinho. Primeiro, ele olha para a foto e traduz o que vê em uma lista de regras estritas (como um manual de instruções). Ele pergunta: "O copo está na mesa? Sim. A porta está aberta? Não". Só depois de ter essa lista perfeita ele entrega para um "gerente de obras" (um planejador simbólico clássico) que calcula o caminho exato.

  • Como funciona: O robô olha a foto e pergunta: "O copo está na mesa?". Se a resposta for "Sim", o sistema de regras calcula o plano. Se a resposta for errada, o plano falha.

2. O Grande Teste: Duas Casas Diferentes

Para ver quem ganha, eles criaram dois cenários de teste (os "domínios"):

• Cenário A: O Mundo dos Blocos (ViPlan-Blocksworld)

  • A Analogia: É como um jogo de quebra-cabeça lógico com blocos coloridos. Tudo é visível, tudo é claro e as regras são simples (se um bloco está em cima do outro, você não pode mover o de baixo).
  • O Resultado: O Tradutor de Imagens venceu de longe (46% de sucesso contra 9% do Planejador Direto).
  • Por que? Neste jogo, você precisa de precisão cirúrgica. O "chef" (Planejador Direto) tentou adivinhar e se confundiu. O "engenheiro" (Tradutor) foi lento, mas verificou cada detalhe e não errou.

• Cenário B: A Casa Real (ViPlan-Household)

  • A Analogia: É como tentar arrumar uma cozinha bagunçada. Há coisas escondidas, objetos parecidos, e você precisa saber que "copo" é o "copo" e não a "xícara". O robô não vê tudo de uma vez (visão parcial).
  • O Resultado: O Planejador Direto venceu com folga (34% de sucesso contra 5% do Tradutor).
  • Por que? Aqui, a lógica pura falha porque o mundo é confuso. O "engenheiro" ficou perdido tentando verificar centenas de regras e cometeu erros de tradução. O "chef", por outro lado, usou seu "senso comum" (o que ele aprendeu na internet) para adivinhar o que fazer, mesmo sem ver tudo perfeitamente.

3. A Surpresa: O "Pensamento em Voz Alta" não ajudou

Existe uma técnica famosa em IA chamada Chain-of-Thought (Cadeia de Pensamento), que é como pedir para o robô "pensar em voz alta" antes de responder, explicando seu raciocínio passo a passo.

• A Expectativa: A gente acha que pensar mais ajuda a resolver problemas difíceis.
• A Realidade do ViPlan: No mundo visual, pedir para o robô "pensar muito" não ajudou. Na verdade, em alguns casos, ele piorou!
• A Analogia: É como pedir para um motorista de corrida pensar em cada movimento muscular antes de virar o volante. Ele começa a hesitar, se perde nos pensamentos e acaba batendo o carro. Os robôs atuais, ao tentar "pensar demais" sobre imagens, acabam se confundindo e gastando todo o tempo disponível sem chegar a lugar nenhum.

4. Conclusão: Não existe "Melhor", existe "Certo para o Momento"

O grande aprendizado do ViPlan é que não há um robô perfeito para tudo.

• Se você precisa de precisão lógica (como em jogos ou fábricas controladas), use o Tradutor de Imagens (que verifica regras).
• Se você precisa de adaptabilidade e senso comum (como em uma casa bagunçada ou no mundo real), use o Planejador Direto (que usa intuição).

O artigo mostra que, por enquanto, a IA ainda não consegue ser perfeita em ambos os mundos ao mesmo tempo. Ela precisa de ajuda para entender o que vê antes de planejar, ou precisa de mais "intuição" para lidar com o caos. O ViPlan é a ferramenta que nos ajuda a saber exatamente onde cada um deles precisa melhorar.

Resumo técnico

Resumo Técnico: ViPlan

1. Problema e Motivação

A integração de Modelos de Linguagem Grandes (LLMs) com planejadores simbólicos é uma abordagem promissora para gerar planos verificáveis e fundamentados (grounded). Recentemente, essa ideia foi estendida para domínios visuais utilizando Modelos Visão-Linguagem (VLMs). No entanto, existe uma lacuna crítica na literatura: a falta de um benchmark visual rigoroso que permita uma comparação justa entre duas abordagens principais:

1. VLM-as-Planner (VLM como Planejador): O VLM recebe a entrada visual e seleciona diretamente a próxima ação ou gera um plano completo, sem intermediários simbólicos explícitos.
2. VLM-as-Grounder (VLM como Fundamentador): O VLM é usado para "fundamentar" (mapear) observações visuais em representações simbólicas (predicados booleanos, como em PDDL), que são então processadas por um planejador simbólico clássico.

Atualmente, não há benchmarks de código aberto que testem essas duas abordagens sob as mesmas condições, dificultando a compreensão de quando cada método é preferível e quais são suas limitações fundamentais.

2. Metodologia e o Benchmark ViPlan

Os autores apresentam o ViPlan, o primeiro benchmark de código aberto projetado especificamente para comparar abordagens de planejamento simbólico fundamentado em VLMs com planejamento direto por VLMs.

Domínios de Avaliação:
O benchmark consiste em dois domínios visuais com demandas de raciocínio complementares:

• ViPlan-Blocksworld (ViPlan-BW): Uma variante visual do clássico problema de planejamento "Blocksworld". É um ambiente totalmente observável, abstrato e bem definido, onde o agente deve empilhar blocos coloridos em colunas específicas. A precisão na fundamentação visual é crucial aqui.
• ViPlan-Household (ViPlan-HH): Um ambiente simulado de robótica doméstica (baseado no iGibson 2.0 com o robô Fetch). Envolve navegação e manipulação de objetos em cenários de vida real. Este domínio apresenta observabilidade parcial (nem todos os objetos são visíveis de uma vez) e ambiguidade linguística, exigindo conhecimento prévio sobre o funcionamento do mundo.

Configuração Experimental:

• Tarefas: 150 tarefas no total (75 por domínio), divididas em três níveis de dificuldade (Simples, Médio, Difícil), com 25 tarefas em cada nível.
• Modelos: Avaliação inicial de 21 VLMs de código aberto (varias famílias e escalas, de 7B a 78B parâmetros) e 3 modelos fechados (GPT-4.1, GPT-5.2, etc.).
• Seleção: Com base no desempenho inicial, os 5 melhores modelos foram selecionados para a avaliação completa de todas as variantes de métodos.
• Métodos Testados:
  • VLM-as-Planner: Gera planos completos (JSON) ou ações individuais, com e sem Chain-of-Thought (CoT).
  • VLM-as-Grounder: Usa o VLM para responder a perguntas de "Sim/Não" sobre predicados (ex: "O bloco está sendo segurado?") para atualizar o estado simbólico. Inclui variantes com memória de falhas e CoT.

3. Principais Contribuições

1. Benchmark Unificado: Criação do ViPlan, permitindo a comparação direta entre planejamento direto e fundamentação simbólica em ambientes visuais.
2. Análise de Trade-off: Demonstração clara de que não existe um método "melhor" universal; a eficácia depende do domínio.
3. Avaliação de CoT: Investigação do impacto do Chain-of-Thought no planejamento visual, revelando que ele frequentemente não melhora (e às vezes piora) o desempenho.
4. Análise Qualitativa de Falhas: Identificação de modos de falha específicos, como alucinações de fundamentação, inconsistências de planejamento e erros de parsing.
5. Reprodutibilidade: Todo o código, domínios e dados são de código aberto.

4. Resultados Chave

Desempenho por Domínio:

• No ViPlan-Blocksworld (Ambiente Abstrato):
  • A abordagem VLM-as-Grounder superou significativamente o planejamento direto.
  • Resultado: VLM-as-Grounder resolveu 46% das tarefas, enquanto VLM-as-Planner resolveu apenas 9%.
  • Motivo: A fundamentação precisa é crítica e o ambiente é totalmente observável. O planejamento direto falha ao tentar manter um modelo de mundo interno preciso apenas com linguagem.
• No ViPlan-Household (Ambiente Robótico/Parcial):
  • A abordagem VLM-as-Planner foi drasticamente superior.
  • Resultado: VLM-as-Planner resolveu 34% das tarefas, contra apenas 5% do VLM-as-Grounder.
  • Motivo: A observabilidade parcial e a ambiguidade visual tornam a fundamentação de predicados (VLM-as-Grounder) propensa a erros cumulativos. O VLM-as-Planner consegue explorar priors linguísticos (conhecimento sobre como o mundo funciona) para propor ações plausíveis mesmo quando a visão é ambígua.

Impacto do Chain-of-Thought (CoT):

• O uso de CoT não trouxe melhoria consistente na maioria dos métodos.
• Em alguns casos (especialmente no ViPlan-HH com o método Plan), o CoT reduziu o desempenho (de 39% para 23%).
• Causa: Os modelos tendem a entrar em padrões de pensamento repetitivos, esgotando o orçamento de tokens antes de gerar uma ação válida, especialmente em tarefas que exigem planos longos.

Análise de Falhas:

• VLM-as-Planner: Falha frequentemente por prever ações não executáveis (devido a rastreamento de estado inconsistente) ou por erros de formato (JSON inválido).
• VLM-as-Grounder: Falha principalmente devido a erros de fundamentação (ex: julgar incorretamente se um precondição é verdadeira). Em ambientes complexos, um único erro de fundamentação leva a um estado simbólico incorreto, causando falha em cascata no plano gerado pelo planejador simbólico.

5. Significado e Conclusão

O trabalho ViPlan estabelece que a escolha entre "VLM como Planejador" e "VLM como Fundamentador" não é binária, mas depende das características do ambiente:

• Para tarefas que exigem precisão lógica estrita e observabilidade total (como jogos ou manipulação controlada), a abordagem híbrida (VLM-as-Grounder + Planejador Simbólico) é superior.
• Para tarefas em ambientes abertos, parcialmente observáveis e complexos (como robótica doméstica), a capacidade dos VLMs de usar conhecimento linguístico e inferência implícita (VLM-as-Planner) supera a fragilidade da fundamentação visual passo a passo.

O estudo também destaca limitações atuais dos VLMs: a incapacidade de manter cadeias de raciocínio coerentes por longos períodos (CoT ineficaz) e a dificuldade em lidar com a ambiguidade visual em tarefas de planejamento de longo horizonte. O ViPlan serve como um ponto de partida crucial para o desenvolvimento de agentes autônomos mais robustos que saibam combinar o melhor dos dois mundos.