Learning Category-level Last-meter Navigation from RGB Demonstrations of a Single-instance

Resumo Técnico: Aprendizado de Navegação de Último Metro de Nível de Categoria a partir de Demonstrações RGB de uma Instância Única

Definição do Problema
O artigo aborda uma lacuna crítica na manipulação móvel: o descompasso entre a navegação global e a execução da manipulação. Enquanto os sistemas de navegação global tipicamente garantem uma precisão grosseira, em nível de metro (ex: parar dentro de 1 metro de um alvo), as políticas de manipulação exigem precisão de centímetros na posição e de graus na orientação para operar de forma confiável dentro de sua distribuição de treinamento. As soluções existentes para posicionamento de alta precisão dependem frequentemente de priors caros ou frágeis, como mapas de alta resolução, campos de radiação neural (NeRFs), câmeras de profundidade ou LiDAR. Os autores definem o problema da "navegação de último metro" como a etapa específica entre o planejamento de trajetória global e a manipulação, visando alcançar um alinhamento preciso em relação a um objeto alvo usando apenas observações RGB integradas, sem sensores de profundidade, LiDAR ou priors de mapa.

Metodologia
Os autores propõem um framework de aprendizado por imitação centrado no objeto, treinado em uma única instância de uma categoria de objeto (ex: uma cadeira verde específica), que se generaliza para instâncias não vistas. O sistema é formulado como uma tarefa de clonagem comportamental (BC), onde uma política $\pi$ mapeia entradas multimodais para primitivas de movimento discretas (frente, lateral, rotação).

1. Entradas: A política condiciona-se a três entradas:

   • Observação Atual ($O_t$): Imagens RGB de múltiplas vistas (frente, trás, esquerda, direita) de câmeras integradas.
   • Observação de Objetivo ($O_{goal}$): Imagens RGB capturadas na pose terminal desejada.
   • Prompt de Texto ($\phi_{text}$): Uma descrição em linguagem natural do objeto alvo.

2. Arquitetura: O sistema consiste em três módulos (Fig. 2):

   • Codificador de Visão: Utiliza um codificador DINOv2 pré-treinado e congelado para extrair embeddings de características semanticamente ricas das imagens atuais e do objetivo.
   • Módulo de Segmentação: Um processo de dois estágios impulsionado por texto usando OwlV2 para detecção inicial de objetos e geração de caixas delimitadoras (bounding boxes), seguido pelo SAM2 para refinar a máscara de segmentação. Este módulo isola o objeto alvo do fundo.
   • Decodificador de Ação: O decodificador integra as coordenadas da caixa delimitadora (codificadas como um embedding de caixa) com os embeddings visuais mascarados. Crucialmente, ele computa uma matriz de pontuação espacial ($S \in \mathbb{R}^{64 \times 64}$) representando a similaridade de cosseno par a par entre os tokens espaciais das vistas atual e do objetivo. Esta matriz codifica explicitamente o deslocamento espacial entre a visão atual e o objetivo. A matriz achatada e o embedding da caixa são alimentados em uma rede de alimentação direta (feedforward) para prever ações discretas.

3. Mecanismo de Parada Auxiliar: Para abordar a dificuldade de aprender a terminação precisa a partir de dados de demonstração ruidosos, os autores introduzem um override baseado em regras. O robô para se a Interseção sobre União (IoU) entre as máscaras atual e do objetivo exceder 0,6 e a diferença do centro de massa horizontal for inferior a 25 pixels.

Principais Contribuições

1. Framework Centrado no Objeto: Um novo framework de aprendizado por imitação que resolve o problema da navegação de último metro, produzindo poses de base prontas para manipulação usando apenas entradas RGB.
2. Generalização de Instância para Categoria: Demonstração de que um modelo treinado em uma única instância de objeto pode transferir confiavelmente para instâncias não vistas da mesma categoria através de diversos ambientes e condições de iluminação.
3. Validação Eficiente de Sensores: Validação no mundo real provando que a navegação precisa de último metro é alcançável sem profundidade, LiDAR ou priors de mapa, abordando restrições práticas onde tais sensores podem estar indisponíveis ou ser proibitivos em termos de custo.

Resultados Experimentais
O sistema foi avaliado em um robô Boston Dynamics Spot em ambientes internos e externos.

• Métricas: Duas métricas foram introduzidas: Alinhamento de Borda (avaliando o alinhamento com uma fronteira linear de verdade fundamental) e Alinhamento de Objeto (avaliando o enfrentamento visual do objeto alvo via distância do centro de massa).
• Desempenho:
  • Na instância vista (cadeira de treinamento), o sistema alcançou 94% de sucesso na avaliação de verdade fundamental e 96,67% na avaliação visual.
  • Em instâncias não vistas (cadeiras diferentes), o sistema alcançou 74,58% de sucesso no alinhamento de borda e 89,42% no alinhamento de objeto.
  • O framework também se generalizou para outras categorias (organizadores de gavetas e malas) com taxas de sucesso médias de 60–96%, dependendo da métrica e da categoria.
• Ablação: Comparações mostraram que o aterramento visual implícito (sem segmentação explícita) falhou completamente (0% de sucesso), e que a Matriz de Pontuação explícita foi crítica para a generalização de nível de categoria em comparação com mecanismos padrão de atenção cruzada. O mecanismo de parada auxiliar foi essencial para converter o sucesso de navegação em conclusão de tarefa.
• Modos de Falha: Os principais modos de falha foram atribuídos à instabilidade da segmentação em condições de iluminação desafiadoras (ex: ambientes escuros) e ao ruído inerente nos dados de demonstração em relação às posições finais de parada.

Significância e Alegações
O artigo afirma que a navegação precisa de último metro pode ser alcançada em nível de categoria usando apenas observações RGB, oferecendo um caminho escalável para uma manipulação móvel unificada. Ao remover a dependência de sensores de profundidade, LiDAR ou mapas pré-construídos, a abordagem reduz a barreira de hardware para o implante de manipuladores móveis autônomos em ambientes humanos dinâmicos e reais. Os autores enfatizam que seu método preenche a lacuna do "último metro", permitindo que robôs alcancem poses prontas para manipulação que permitam que as políticas de manipulação subsequentes operem dentro de sua distribuição de treinamento, reduzindo assim as falhas de execução. O trabalho sugere que, embora o desempenho atual seja limitado pela qualidade da segmentação e pela visibilidade desobstruída, a abordagem proposta, orientada a dados e centrada no objeto, fornece uma base robusta para avanços futuros na manipulação móvel baseada em visão.