VeriGraph: Scene Graphs for Execution Verifiable Robot Planning

1. Problema

Os modelos de linguagem e visão (VLMs) e modelos de linguagem de grande escala (LLMs) têm demonstrado capacidades promissoras no planejamento de tarefas robóticas. No entanto, eles frequentemente geram sequências de ações incorretas ou não executáveis, especialmente em tarefas de manipulação de longo horizonte. As principais limitações incluem:

• Falta de compreensão de restrições físicas: Os modelos muitas vezes ignoram a ordem lógica das ações (ex.: tentar pegar um livro que está sob uma xícara, o que faria a xícara cair).
• Ruído em representações de pixels: Planejar diretamente a partir de imagens brutas (pixels) introduz ruído e variações visuais irrelevantes que dificultam o raciocínio de alto nível sobre relações espaciais e objetos.
• Ausência de verificação iterativa: Muitos sistemas geram um plano completo sem um mecanismo para verificar a viabilidade de cada passo antes da execução, levando a falhas em cascata.

2. Metodologia: VeriGraph

O VeriGraph é um framework proposto que integra VLMs para planejamento robótico, utilizando Grafos de Cena (Scene Graphs) como representação intermediária para garantir a verificabilidade da execução. O sistema opera através dos seguintes componentes:

• Geração de Grafo de Cena:

  • O sistema recebe uma imagem da cena inicial e, opcionalmente, uma imagem de referência ou instruções em linguagem natural para o estado desejado (objetivo).
  • Um VLM (como GPT-4V) gera um grafo de cena inicial ($G_i$) e um grafo de cena objetivo ($G_g$).
  • O grafo é composto por vértices ($V$) representando objetos e arestas ($E$) representando relações espaciais (ex.: "em cima de", "dentro de").
  • Utiliza-se um dicionário global de nomes de objetos para normalizar a terminologia.

• Validação de Restrições:

  • Cada ação proposta (ex.: "mover objeto X") é tratada como uma operação de edição no grafo.
  • Antes da execução, o sistema verifica se as pré-condições são atendidas (ex.: o objeto a ser movido não pode ter outros objetos em cima dele).
  • Se uma ação viola uma restrição física ou lógica, ela é marcada como inválida.

• Planejamento Iterativo:

  • Diferente de abordagens de "tiro único" (one-shot), o VeriGraph emprega um planejador iterativo ($P_{iter}$).
  • O planejador propõe uma sequência de ações (até $k$ ações).
  • Um verificador valida essas ações contra o estado atual do grafo.
  • Feedback Loop: Se uma violação de restrição for detectada, o sistema gera feedback sobre o erro, atualiza o estado do grafo (removendo arestas inválidas ou mantendo o estado anterior) e solicita ao LLM que replaneje.
  • O processo continua até que o estado do grafo corresponda ao grafo objetivo ou até que um limite de erros ($\tau$) seja atingido.

• Execução Física:

  • Os planos de alto nível validados são convertidos em comandos de baixo nível para o robô, utilizando detecção de máscaras (LangSAM), estimativa de pose de preensão (AnyGrasp) e projeção 3D.

3. Principais Contribuições

1. Framework Modular: Uso de grafos de cena tanto como representação de planejamento quanto como mecanismo de verificação, permitindo planejamento consciente de restrições com LLMs.
2. Mecanismo Iterativo de Correção: Um sistema que usa a estrutura do grafo para identificar e corrigir violações de restrições sem intervenção humana, aumentando a robustez do planejamento.
3. Especificação de Objetivo Unificada: Capacidade de gerar grafos de objetivo a partir de duas modalidades: instruções em linguagem natural ou imagens de referência, criando um framework unificado para diferentes tipos de tarefas.

4. Resultados Experimentais

Os autores avaliaram o VeriGraph em quatro grupos de tarefas: quebra-cabeças tangram, rearranjo, instruções de linguagem e empilhamento, em ambientes simulados (cozinha, mesa, blocos).

• Desempenho Geral: O VeriGraph superou significativamente os métodos de base (baselines) que dependem de pixels brutos ou listas de objetos.
  • Tarefas baseadas em linguagem: Melhoria de 58% em relação aos baselines.
  • Tarefas de Tangram: Melhoria de 56%.
  • Tarefas baseadas em imagem: Melhoria de 30%.
• Comparação com Baselines:
  • Superou o SayCan (que usa apenas texto) em tarefas de instrução de linguagem.
  • Superou o VILA (que usa VLM direto em pixels) em tarefas de instrução por imagem e tangram.
• Ablação:
  • O planejador iterativo ("Ours") superou consistentemente o planejador direto sem verificação ("Ours (Direct)"), exceto em casos onde a geração do grafo de cena inicial era muito imprecisa.
  • Um limite de erro ($\tau$) de 5 mostrou o melhor equilíbrio entre precisão e tempo de execução.
  • A qualidade do grafo de cena gerado é crítica; quando grafos de "ground truth" foram usados, o planejador iterativo teve sucesso quase total.

5. Significado e Conclusão

O VeriGraph representa um avanço significativo na robótica de manipulação ao introduzir uma camada de abstração simbólica (o grafo de cena) entre a percepção visual bruta e a ação do robô.

• Robustez: Ao transformar ações em operações de edição de grafo, o sistema pode validar logicamente a viabilidade de um plano antes que o robô tente executá-lo, prevenindo falhas catastróficas (como derrubar objetos).
• Eficiência: A abstração reduz a complexidade computacional do raciocínio espacial em comparação com o processamento direto de pixels.
• Futuro: O trabalho destaca que, embora o VeriGraph seja eficaz, sua performance depende da precisão da geração inicial do grafo de cena. A melhoria contínua dos modelos de geração de grafos de cena é apontada como a chave para elevar ainda mais a capacidade de planejamento de sistemas robóticos autônomos.

Em resumo, o VeriGraph demonstra que combinar a capacidade de raciocínio de LLMs com a estrutura rigorosa de grafos de cena e verificação iterativa é uma estratégia superior para resolver tarefas de manipulação complexas e de longo horizonte.