Resumo Técnico: Predição de Trajetória Visual com Prompt Espacial para Manipulação Ego-Cêntrica

Definição do Problema: Predição de Trajetória Visual com Prompt Espacial (SP-VTP)

As políticas atuais de manipulação robótica frequentemente dependem de instruções em linguagem ou identificadores de tarefas discretos para especificar objetivos. No entanto, em ambientes desordenados contendo objetos visualmente semelhantes, descrições linguísticas (por exemplo, "pegue o garfo") ou IDs de tarefa podem ser ambíguas ou falhar em identificar a instância específica ou a região de colocação. Os autores argumentam que, nesses cenários, a especificação do objetivo é inerentemente espacial antes de ser linguística: "pegue este objeto e coloque-o ali."

Para abordar isso, o artigo formaliza um novo cenário chamado Predição de Trajetória Visual com Prompt Espacial (SP-VTP). Neste framework:

• Entrada: O modelo recebe uma imagem ego-cêntrica do primeiro quadro com prompts espaciais estáticos (pontos ou caixas delimitadoras) indicando o objeto-alvo e a região de colocação-alvo.
• Tarefa: O modelo deve prever trajetórias futuras do efetuador final (EE) com base em observações ego-cêntricas em fluxo contínuo.
• Saída: Diferentemente da ancoragem visual ou rastreamento que saem máscaras ou caixas, a saída é uma sequência de movimentos relativos 6D do EE e estados do garfo.
• Desafios: O problema combina quatro dificuldades distintas:
  1. Especificação de Tarefa Estática: Objeto e alvo são definidos apenas no primeiro quadro.
  2. Execução Dinâmica: A câmera se move, o EE oclui a cena e os objetos se realocam após a pegada.
  3. Desambiguação de Instância: Desordem e distratores da mesma categoria exigem rastreamento persistente ao nível da instância.
  4. Movimento Dependente de Fase: O mesmo par objeto-alvo pode exigir movimentos diferentes em fases distintas de execução.

Metodologia

Conjunto de Dados: EgoSPT

Para estudar o SP-VTP, os autores introduzem o EgoSPT, um conjunto de dados de trajetórias de manipulação com prompt espacial ego-cêntrico.

• Coleta: Os dados foram coletados usando uma Interface de Manipulação Universal (UMI) modificada equipada com uma GoPro (lente olho de peixe de 170°) para vídeo ego-cêntrico e um iPhone para rastreamento de trajetória 6-DoF do EE via SLAM visual-inercial.
• Conteúdo: O conjunto de dados contém 2.841 episódios de pegar-e-colocar envolvendo cinco garfos visualmente semelhantes e nove alvos (pratos, tigelas, copos).
• Estrutura: É organizado em três cenas com dificuldade crescente:
  • Cena 1: Layouts estruturados (condições limpas).
  • Cena 2: Layouts desordenados (distratores e ambiguidade espacial).
  • Cena 3: Subcenas aleatoriamente desordenadas com demonstrações esparsas por configuração.
• Anotações: Cada episódio inclui anotações de ancoragem de objeto e alvo do primeiro quadro (caixas delimitadoras) e trajetórias 3D do EE recuperadas.

Modelo: SPOT (Política de Objeto-Alvo com Prompt Espacial)

Os autores propõem o SPOT, uma política projetada para fundir prompts espaciais com observações visuais para gerar blocos de trajetória futura. A arquitetura consiste em três módulos principais:

1. Codificador de Tarefa:

   • Processa o primeiro quadro ($I_0$) e os prompts espaciais (objeto $p_{obj}$ e alvo $p_{tgt}$).
   • Representação Dual de Prompt: Os prompts são codificados de duas maneiras complementares:
     • Visual: Caixas delimitadoras são renderizadas sobre o primeiro quadro.
     • Coordenada: Coordenadas da caixa são codificadas como tokens espaciais usando recursos posicionais de Fourier e um MLP.
   • Fusão: Um backbone DINOv2 ViT-B/14 congelado extrai tokens de imagem. Tokens de prompt (com papel incorporado) consultam esses tokens visuais via atenção cruzada para extrair evidências relevantes para a tarefa, fundindo o contexto global da cena com informações específicas de objeto/alvo.

2. Codificador de Observação:

   • Codifica o quadro ego-cêntrico atual ($I_t$) usando o mesmo backbone visual congelado para garantir um espaço visual compartilhado com o codificador de tarefa.
   • Incorpora o histórico recente de trajetória ($h_t$) via um MLP leve e incorporações de posição temporal.
   • Concatena tokens visuais atuais e tokens de histórico para formar o contexto de execução.

3. Gerador de Trajetória:

   • Recebe os tokens de tarefa e observação concatenados como condicionamento.
   • Prevê um bloco de trajetória futura ($A_t \in \mathbb{R}^{H \times 10}$) representando translação relativa, rotação 6D e largura do garfo.
   • Objetivo: A implementação padrão usa Correspondência de Fluxo para prever o campo de velocidade da trajetória, embora uma cabeça de difusão também seja suportada. O modelo é treinado para remover ruído de tokens de trajetória interpolados.

Protocolo de Avaliação

O artigo enfatiza divisões conscientes da cena para evitar vazamento de dados e superestimação da generalização. Todos os episódios da mesma unidade de cena são mantidos dentro de uma única partição (treino ou validação). As métricas de avaliação incluem Erro de Deslocamento Final (FDE), Posição L2, Rotação L2 e Largura do Garfo L1.

Resultados Chave

Baselines de Prompt

Experimentos comparando diferentes modalidades de prompt (Sem Prompt, Ponto, BBox, Visual, BBox+Visual) demonstram que prompts espaciais melhoram significativamente o desempenho sobre baselines sem prompt.

• A combinação de Prompts Visuais (caixas renderizadas) e Prompts de Coordenada (tokens de caixa) produz os melhores resultados gerais, reduzindo o FDE de 0,1739 (Sem Prompt) para 0,1147.
• Prompts visuais isolados são particularmente eficazes para precisão de rotação, enquanto prompts de coordenada fornecem geometria explícita benéfica para translação em cenas desordenadas.

Estudos de Ablação

• Codificador de Visão: O DINOv2-Base supera outros modelos fundamentais (SigLIP, SAM, EVA2, PE) em precisão de ponto final e translação, particularmente em cenas desordenadas (Cena 2 e 3).
• Congelado vs. Não Congelado: Manter o backbone visual congelado produz melhor generalização do que ajustá-lo finamente, sugerindo que adaptar o backbone à distribuição limitada de tarefas leva ao sobreajuste.
• Cabeça de Trajetória: A cabeça de Correspondência de Fluxo supera consistentemente a cabeça de Difusão em todas as métricas.
• Horizonte de Histórico: Um horizonte de histórico moderado ($K=4$) fornece o melhor equilíbrio, oferecendo contexto de movimento suficiente sem introduzir observações obsoletas.

Desempenho Qualitativo

Visualizações mostram que o SPOT infere com sucesso a fase de movimento local correta a partir de prompts estáticos e observações atuais. Embora a costura de longo horizonte acumule deriva local (acumulando erros), o modelo preserva a estrutura geométrica grosseira da trajetória de manipulação, incluindo movimentos de aproximação e retorno.

Significado e Alegações

O artigo afirma estabelecer o SP-VTP como uma nova condição de tarefa simples e escalável para manipulação ego-cêntrica. Suas principais contribuições são:

1. Formalização: Definir o primeiro cenário que enquadra a manipulação ego-cêntrica como predição de trajetória centrada na visão e com prompt espacial, distinta de planejamento condicionado a linguagem ou rastreamento padrão.
2. Conjunto de Dados: Introduzir o EgoSPT, que fornece as anotações de ancoragem necessárias e recuperação de movimento 3D para estudar este problema.
3. Política: Propor o SPOT, que demonstra que fundir prompts espaciais renderizados e de coordenada com histórico visual prevê trajetórias futuras efetivamente em novas configurações de cena.
4. Avaliação: Estabelecer um protocolo de avaliação consciente da cena que testa a verdadeira generalização entre cenas em vez de memorização de layout.

Os autores posicionam o prompt espacial como uma interface direta e de baixa ambiguidade para especificar objetivos de manipulação em ambientes desordenados, oferecendo uma alternativa prática a instruções baseadas em linguagem onde o contexto visual é primordial.