On the Generalization Capabilities, Design Choices and Limitations of Keypoint Imitation Learning

Resumo Técnico: Sobre as Capacidades de Generalização, Escolhas de Design e Limitações da Aprendizagem por Imitação de Pontos Chave

Declaração do Problema
A manipulação robótica em ambientes não estruturados exige políticas que possam generalizar para objetos, poses e variações de cena não vistos. Embora a aprendizagem por imitação seja uma abordagem promissora, políticas baseadas em RGB padrão geralmente exigem grandes conjuntos de dados para lidar eficazmente com tais variações. Isso motiva a exploração de representações intermediárias, como pontos-chave, que oferecem uma codificação semântica compacta e de alta granularidade. Embora os modelos fundamentais visuais agora permitam a extração de pontos-chave em um único exemplo sem treinamento específico para a tarefa, permanece incerto como integrar otimamente essas representações em pipelines de aprendizagem por imitação, quais estratégias de extração são mais eficazes e se elas realmente superam representações alternativas centradas no objeto, como mapas de profundidade ou máscaras de segmentação.

Metodologia
Os autores propõem um pipeline de Aprendizagem por Imitação de Pontos Chave (KIL) em três etapas:

1. Especificação de Pontos Chave: Um operador humano anota manualmente 3–6 pontos-chave semânticos em uma imagem de referência para cada categoria de objeto.
2. Extração de Representação: Usando modelos fundamentais visuais, o sistema extrai pontos-chave correspondentes de cada quadro de observação durante o treinamento e a inferência. As posições 2D são elevadas para 3D usando intrínsecas e extrínsecas calibradas de câmeras RGB-D. O artigo investiga três estratégias de extração:
   • Correspondência de Imagem (IM): Computando descritores para pontos-chave de referência e encontrando as melhores correspondências via similaridade de cosseno em quadros de observação.
   • Correspondência de Instância (IN): Estendendo a IM gerando primeiro máscaras de instância via um detector de vocabulário aberto, restringindo então a busca de descritores a máscaras de objetos específicas.
   • Rastreamento (T): Usando um modelo de rastreamento dedicado inicializado por correspondência de instância para seguir pontos-chave ao longo do tempo.
3. Aprendizagem da Política: A sequência resultante de pontos-chave 3D é codificada por um codificador transformer e alimentada em uma política de difusão (cabeça de ação) para prever ações do robô. A política recebe como entrada um histórico de observações e estados proprioceptivos.

Principais Contribuições

• Diretrizes de Design: O artigo consolida métodos KIL anteriores e fornece diretrizes práticas comparando sistematicamente métodos de extração (IM, IN, T), modelos fundamentais (RADIO, DIFT, DINO) e arquiteturas de política (codificadores transformer vs. concatenação direta).
• Avaliação em Grande Escala: Os autores realizam mais de 2.000 execuções no mundo real em duas plataformas robóticas e cinco tarefas distintas de manipulação (por exemplo, colocar sapatos/xícaras, despejar garrafas, pegar canetas).
• Extensão para Múltiplas Instâncias: O trabalho estende o KIL para tarefas envolvendo múltiplas instâncias da mesma categoria de objeto, abordando uma limitação em estudos anteriores de objeto único.
• Análise de Limitações: O estudo identifica e quantifica explicitamente as limitações dos modelos fundamentais atuais, particularmente em relação à robustez a grandes mudanças de orientação de objetos e oclusão.

Resultados

• Desempenho de Generalização: O KIL alcançou uma taxa de sucesso geral de 75% em cinco tarefas, superando significativamente uma linha de base de difusão baseada em RGB padrão (47%). A diferença de desempenho ampliou dramaticamente sob variações de cena (KIL: 70% vs. RGB: 10%).
• Comparação com Linhas de Base Centradas no Objeto: O KIL teve desempenho comparável ao S2-diffusion (73%), uma linha de base centrada no objeto que utiliza mapas de profundidade e máscaras de segmentação, sugerindo que pontos-chave não oferecem inerentemente generalização superior sobre outras representações intermediárias em todos os contextos.
• Métodos de Extração: Correspondência de Imagem, Correspondência de Instância e Rastreamento produziram desempenho similar (70–75% de sucesso médio). A Correspondência de Imagem foi selecionada como padrão devido à sua simplicidade e menor custo computacional.
• Modelos Fundamentais: Para correspondência de imagem, o RADIOv2.5-B (85% em tarefas específicas) superou o DINOv3-B e o DIFT. No entanto, o DIFT mostrou maior robustez quando combinado com correspondência de instância ou rastreamento.
• Design do Codificador: Um codificador transformer dedicado teve desempenho comparável a uma abordagem de concatenação simples (85% de sucesso), mas superou significativamente uma variante que adicionava escores de similaridade de cosseno às posições 3D (que degradou para 7% devido ao sobreajuste nos escores de similaridade).
• Tarefas com Múltiplos Objetos: Em tarefas que exigiam a manipulação de dois objetos, o KIL alcançou uma taxa de conclusão de tarefa de 61–63%, superando a linha de base RGB (48%) e igualando o S2-diffusion (58%).
• Robustez à Orientação: Uma descoberta crítica foi a sensibilidade do KIL à orientação do objeto. Quando as poses do objeto abrangiam uma faixa completa de ±180°, o desempenho do KIL caiu 55% (Correspondência de Imagem) e 28% (Rastreamento). Em contraste, as linhas de base RGB e S2 caíram apenas 10% e 9%, respectivamente, indicando que os modelos fundamentais atuais carecem de robustez a grandes mudanças de orientação.

Significado e Alegações
O artigo conclui que o KIL é uma abordagem eficiente em termos de dados que oferece benefícios significativos de generalização sobre políticas RGB brutas, particularmente em cenas com distratores ou variações de fundo. No entanto, os autores afirmam modestamente que o KIL não supera universalmente representações alternativas centradas no objeto como o S2-diffusion. O desempenho do KIL depende fortemente das capacidades dos modelos fundamentais subjacentes usados para extração; especificamente, o KIL herda as limitações desses modelos em relação ao tratamento de oclusão e invariância de orientação. O trabalho esclarece que, embora os pontos-chave forneçam uma representação compacta, sua utilidade é limitada pela robustez do pipeline de extração, sugerindo que melhorias futuras podem exigir ajuste fino ponta a ponta dos modelos de extração ou representações híbridas.