Compositional Motion Generation from Demonstration with Object-Centric Neural Fields

Resumo Técnico: Geração de Movimento Composicional a partir de Demonstração com Campos Neurais Centrados em Objetos

Definição do Problema
O Aprendizado por Demonstração (LfD - Learning from Demonstration) enfrenta um desafio central ao representar comportamentos diversos e de longo horizonte a partir de um número limitado de demonstrações. Tratar o movimento como uma sequência monolítica muitas vezes negligencia a estrutura composicional das tarefas, que tipicamente se desenrolam através de interações sequenciais ao nível do objeto (ex: alcançar, agarrar, posicionar). Embora as Primitivas de Movimento (MPs - Movement Primitives) ofereçam uma representação compacta de trajetórias, sua composicionalidade é frequentemente imposta manualmente, e elas dependem de características de baixa dimensão e projetadas à mão que são difíceis de estimar de forma consistente. Por outro lado, aprender características diretamente de imagens geralmente requer grandes conjuntos de dados, sacrificando a eficiência de dados inerente às MPs. Além disso, abordagens existentes baseadas em campos neurais muitas vezes operam ao nível da cena, escalando mal com o número de objetos, ou falham em suportar o condicionamento visual para a geração de trajetórias completas.

Metodologia
Os autores propõem um framework generativo de LfD que conecta percepção e movimento através de representações compartilhadas ao nível do objeto. A abordagem consiste em duas etapas primárias:

1. Modelagem de Cena Composicional (MoE Espacial):
   O framework modela cenas usando uma Mistura de Especialistas (MoE - Mixture-of-Experts) espacial baseada em campos neurais centrados em objetos. Cada imagem é renderizada como uma composição de um fundo fixo e $N$ campos específicos de objetos.

• Representação: Cada objeto $i$ é representado por um vetor latente $z_i$ e uma MLP de coordenadas ($F_i$) que prevê a aparência. Uma rede de deformação ($\Delta_i$), condicionada a $z_i$, mapeia coordenadas canônicas para coordenadas deformadas para capturar variações posicionais e geométricas.
• Treinamento: O modelo emprega uma estratégia de amostragem de importância baseada em máscaras suaves (soft mask-based importance sampling). Isso garante que cada especialista aprenda independentemente sem colapsar sobre o mesmo objeto, mesmo que as máscaras de entrada sejam grosseiras. O treinamento procede em estágios: estimativa de fundo, pré-treinamento centrado no objeto com um currículo de zoom consciente da posição, e refinamento composicional conjunto.
• Relabelagem Latente: Para garantir a consistência, os autores definem um "conjunto de cantos" $C_i$ para cada objeto, representando os limites das variações observadas. Durante o treinamento e a inferência, os vetores latentes são recuperados através da busca por combinações convexas desses cantos que melhor reconstroem a imagem de entrada. Isso canonicaliza o espaço latente, restringindo a generalização ao suporte demonstrado.

2. Geração de Movimento Composicional (MoE Temporal):
   O movimento é gerado usando um MoE temporal que condiciona a geração da trajetória aos vetores latentes dos objetos.

• Mecanismo de Gating: Um mecanismo de gating dependente do tempo calcula pesos $w_i(t)$ para cada especialista de objeto. Isso permite que diferentes segmentos de trajetória sejam influenciados por diferentes subconjuntos de objetos (ex: uma fase de "pegar" depende da localização do objeto, enquanto uma fase de "posicionar" depende do alvo).
• Condicionamento: O framework utiliza Modulação Linear por Característica (FiLM - Feature-wise Linear Modulation) para injetar informações específicas do objeto no gerador de trajetória. O sinal de condicionamento agregado modula os parâmetros da rede, permitindo que o modelo aprenda primitivas de movimento suaves e condicionadas ao objeto diretamente a partir da entrada visual.
• Otimização: O modelo minimiza a log-verossimilhança negativa das trajetórias demonstradas, empregando dropout latente durante o início do treinamento para evitar dependências espúrias.

Principais Contribuições

• Modelo de Cena Generativo Centrado no Objeto: Um método para aprender representações centradas em objetos, suaves e interpretáveis a partir de imagens usando um MoE espacial com deformações condicionadas ao latente.
• Gating Temporal para Movimento: Um framework de geração de movimento que emprega um MoE temporal para alcançar composicionalidade sequencial, fundamentando o movimento na estrutura visual enquanto mantém a eficiência de dados das primitivas.
• Framework de LfD com Eficiência de Dados: Um sistema integrado que aprende primitivas de movimento diretamente da entrada visual com significativamente menos demonstrações do que as linhas de base baseadas em imagem, suportando a generalização através de diversas configurações de cena.
• Validação em 3D e Mundo Real: O framework demonstra operar em representações de cena 3D (via campos de ocupação) e generalizar ao nível de categoria usando modelos de segmentação baseados em linguagem.

Resultados Experimentais
O framework foi avaliado em simulação e experimentos robóticos no mundo real:

• Simulação: O método foi testado em quatro tarefas de manipulação (Evitação de Parede, Pick-and-Place em Inclinação, Empilhamento de Copos, Empilhamento de Cubos) com variações na localização dos objetos e mudanças geométricas.
  • Eficiência de Dados: O método proposto alcançou uma Baixa Distância Euclidiana Média (MED) e altas taxas de sucesso usando 10–30 demonstrações. Ele superou consistentemente as linhas de base (incluindo Conditional Neural Movement Primitives, Diffusion Policy e CNN-FiLM) que foram treinadas com 3 a 10 vezes mais dados.
  • Ablações: Remover o gating temporal resultou em erros maiores, confirmando o valor da agregação de latentes variante no tempo. A abordagem centrada no objeto superou as linhas de base de características globais (CNN-FiLM, DINO-FiLM).
• Experimentos no Mundo Real:
  • Robustez: O sistema completou com sucesso tarefas de pick-and-place com objetos distratores e variações de iluminação.
  • Generalização de Nível de Categoria: Usando modelos de visão-linguagem para segmentação, o robô generalizou para objetos não vistos dentro da mesma categoria semântica (ex: diferentes canecas ou bolas) sem necessidade de retreinamento.
  • Generalização 3D: Em uma tarefa de abertura de gaveta, o modelo utilizou campos de ocupação 3D derivados de varreduras ESDF. Treinado com apenas quatro demonstrações, o modelo generalizou com sucesso para novos ângulos de abertura de gaveta e posições de caixas, alcançando precisão de preensão subcentimétrica.

Significância
O artigo afirma que a modelagem composicional ao nível do objeto fornece um paradigma poderoso para LfD. Ao acoplar representações neurais centradas em objetos com uma mistura de especialistas temporal, o framework oferece uma estrutura latente interpretável e generalização sistemática. A significância reside na sua capacidade de alcançar alto desempenho de tarefa com demonstrações limitadas, preenchendo a lacuna entre a eficiência de dados das primitivas tradicionais e a riqueza perceptual do aprendizado profundo. Os autores observam que, embora o método seja robusto a ruídos moderados e distratores, ele depende da premissa de que os objetos ocupam regiões distintas e que o layout da cena permanece consistente. O trabalho futuro visa estender o framework para incorporar representações de cena baseadas em campos de radiância neural para uma generalização mais ampla ao nível da cena.