Visual Prompt Guided Unified Pushing Policy

Resumo Técnico: Política Unificada de Empurrão Guiada por Prompt Visual

1. Problema e Motivação

O empurrão (pushing) é uma habilidade fundamental de manipulação não preênse (não envolve agarrar) usada para reorganizar objetos. No entanto, as abordagens existentes enfrentam limitações significativas:

• Especificidade de Tarefa: A maioria das políticas é projetada para uma única tarefa (ex: apenas agrupar ou apenas separar objetos), tornando difícil reutilizá-las quando o ambiente ou os requisitos mudam.
• Falta de Versatilidade: Políticas unimodais (de um único modo) muitas vezes são ineficientes em cenários complexos onde é necessário alternar dinamicamente entre diferentes comportamentos (ex: separar um objeto preso, depois agrupar outros para agarrá-los juntos).
• Dependência de Planejamento Explícito: Métodos tradicionais frequentemente dependem de planos de múltiplos passos com primitivas pré-definidas, o que limita a eficiência e a adaptabilidade a incertezas dinâmicas.

O objetivo deste trabalho é criar uma política unificada capaz de aprender e executar múltiplos comportamentos de empurrão (deslocamento, agrupamento e separação) em um único modelo, guiada por instruções de alto nível.

2. Metodologia

O trabalho propõe uma política de aprendizado por imitação baseada em Flow Matching (Correspondência de Fluxo), integrando um mecanismo de prompting visual para guiar a geração de ações.

• Modelo Generativo (Flow Matching):

  • Em vez de usar modelos de difusão tradicionais, os autores utilizam Flow Matching, que constrói caminhos de transporte ótimo retilíneos do ruído para a ação. Isso simplifica o objetivo de treinamento e permite inferência mais rápida, crucial para controle de alta frequência.
  • O modelo é condicionado ao estado atual (observações visuais e proprioceptivas) e a um objetivo específico ($g$).
  • A arquitetura utiliza um Diffusion Transformer (DiT) com blocos de atenção auto e cruzada para processar sequências temporais de observações e prever trajetórias de ação futuras.

• Mecanismo de Prompting Visual:

  • Diferente de usar uma "imagem de objetivo" completa (que pode ser ambígua ou difícil de obter), o sistema usa um prompt leve composto por:
    1. Especificador de Tarefa ($\psi_{task}$): Um vetor one-hot indicando o tipo de ação: Deslocamento (mover objeto para local), Agrupamento (trazer dois objetos juntos) ou Separação/Singulação (isolar um objeto do caos).
    2. Pontos Visuais ($u_1, u_2$): Coordenadas de pixels na imagem da câmera de mesa.
       • Deslocamento: $u_1$ define o objeto, $u_2$ define o destino.
       • Agrupamento: $u_1$ e $u_2$ definem os dois objetos a serem agrupados.
       • Separação: $u_1$ define o objeto alvo e o vetor $u_2 - u_1$ define a direção de empurrão para isolá-lo.
  • Esses prompts são codificados em um vetor de objetivo que guia a rede neural.

• Aprendizado e Inferência:

  • Treinamento: O modelo é treinado com dados de demonstração humana (teleoperação).
  • Classifier-Free Guidance (CFG): Durante a inferência, utiliza-se CFG para aumentar a aderência ao prompt, combinando previsões condicionadas e não condicionadas para refinar a trajetória gerada.

3. Contribuições Principais

1. Política Unificada Multimodal: Introdução de um único modelo baseado em Flow Matching que integra três habilidades distintas de empurrão não preênse (deslocamento, agrupamento e separação), superando a necessidade de múltiplos modelos especializados.
2. Mecanismo de Prompting Eficiente: Proposta de uma interface de especificação de tarefa leve que combina coordenadas de pixels e especificadores de tarefa, permitindo que um planejador de alto nível reutilize a mesma política para diferentes objetivos sem retreinar o modelo.
3. Validação em Robô Real: Implementação e teste bem-sucedido em um braço robótico real (OpenManipulator-Y), demonstrando superioridade em relação a baselines e capacidade de generalização para objetos não vistos durante o treinamento.
4. Integração com VLM: Demonstração da política como um "primitivo de baixo nível" eficaz dentro de um framework de planejamento guiado por Modelos de Linguagem Visual (VLM), resolvendo tarefas complexas de limpeza de mesa.

4. Resultados Experimentais

Os experimentos foram realizados em um robô real com blocos 3D impressos.

• Comparação com Baselines:
  • A política unificada superou políticas de tarefa única em Deslocamento (85% vs 75%) e Agrupamento (70% vs 60%), e teve desempenho comparável em Separação (65% vs 70%).
  • Superou significativamente a política baseada em "Imagem de Objetivo" (Goal-Image), especialmente em cenários complexos. Na tarefa de separação, a política unificada atingiu 65% de sucesso contra apenas 30% da baseline baseada em imagem.
• Robustez em Ambientes Congestionados:
  • Em cenários com objetos distratores (3 a 5 objetos), a política unificada manteve taxas de sucesso mais altas (ex: 70% em agrupamento com 3 objetos) comparada à política baseada em imagem (40%), que sofreu com "atenção excessiva" aos detalhes da imagem de destino.
• Generalização:
  • O modelo generalizou bem para objetos ligeiramente maiores não vistos no treinamento, aumentando a taxa de sucesso em separação de 65% para 80%, indicando que aprendeu comportamentos físicos gerais e não apenas memorizou instâncias específicas.
• Integração com Planejamento (VLM):
  • Ao integrar a política em um framework VLM (Qwen3-VL) para tarefas de limpeza de mesa, o sistema conseguiu completar 50% das tarefas, utilizando o empurrão para agrupar objetos e permitir agarres múltiplos, reduzindo o número total de ações de pegar-e-colocar.

5. Significado e Impacto

Este trabalho representa um avanço significativo na manipulação robótica não preênse ao demonstrar que:

• Reutilização de Políticas: É possível criar um único "cérebro" de baixo nível capaz de executar múltiplas habilidades físicas complexas, guiado apenas por instruções visuais simples.
• Eficiência de Dados e Computação: O uso de Flow Matching e prompts visuais leves é mais eficiente computacionalmente e mais robusto do que métodos que dependem de imagens de objetivo completas ou modelos de linguagem grandes para controle direto.
• Escalabilidade: A abordagem facilita a integração entre planejadores de alto nível (que entendem a semântica da tarefa) e controladores de baixo nível (que executam a física), um passo crucial para robôs autônomos em ambientes domésticos ou industriais dinâmicos.

O trabalho conclui que, embora existam desafios remanescentes (como a perda de contato devido ao atrito e limitações de raciocínio espacial de VLMs), a política unificada guiada por prompt é uma ferramenta poderosa e versátil para a manipulação robótica moderna.