Rotation-Aware Point-Cloud Embeddings for Vision-Based In-Hand Reorientation

Resumo Técnico: Embeddings de Nuvem de Pontos Sensíveis à Rotação para Reorientação Manual Baseada em Visão

Definição do Problema
O artigo aborda o desafio da reorientação manual destreosa utilizando nuvens de pontos como objetivos (goals). Embora as nuvens de pontos ofereçam uma maneira natural de especificar uma geometria 3D desejada sem exigir quadros de pose específicos do objeto ou estimativa de pose 6D, o condicionamento por nuvem de pontos bruta é mal adequado para o aprendizado de políticas. A dificuldade fundamental reside na natureza das nuvem de pontos: elas são desordenadas, amostradas independentemente e dependentes de visibilidade. Consequentemente, a discrepância entre uma observação atual e uma nuvem de pontos alvo emaranha a rotação do objeto com permutação, reamostragem e estruturas de correspondência instáveis.

Abordagens anteriores tentaram contornar isso adicionando estrutura externa, como:

• Entradas de pose explícita ou pose relativa (ex: Geometry-Dex).
• Recursos de fluxo denso indicando o movimento de pontos (ex: HACMan).
• Destilação de professores privilegiados que possuem acesso ao estado real (ground-truth).

Esses métodos dependem de computações frágeis em tempo de teste (estimativa de pose, registro) ou exigem supervisão de especialistas. Os autores postulam que codificadores genéricos de nuvem de pontos (treinados para reconstrução ou identidade de forma) falham em organizar o estado relevante para a tarefa de uma forma que facilite o controle, frequentemente descartando os sinais rotacionais específicos necessários para a reorientação.

Metodologia
A solução proposta é um embedding de nuvem de pontos sensível à rotação que calibra a distância euclidiana no espaço latente entre os embeddings para o erro geodésico SO(3) entre as orientações do objeto. Isso permite que uma política de Aprendizado por Reforço (RL) livre de modelo aprenda diretamente a partir dos embeddings das nuvens de pontos atuais e alvo sem necessidade de pose explícita, fluxo ou supervisão de professor.

1. Codificador Sensível à Pose ($\phi$):

   • Arquitetura: Um codificador baseado em PointNet++ que mapeia nuvens de pontos coloridas ($P \in \mathbb{R}^{N \times 6}$) para embeddings de 128 dimensões.
   • Objetivo de Treinamento: O codificador é treinado usando um objetivo de aprendizado de métrica em estilo siamesa. Para duas nuvens do mesmo objeto nas orientações $q_1$ e $q_2$, a distância euclidiana entre seus embeddings é regredida ao erro de rotação geodésico SO(3):
     $$L_{metric} = \mathbb{E}[(\|\phi(P_1) - \phi(P_2)\|_2 - 2 \arccos |\langle q_1, q_2 \rangle|)^2]$$
   • Currículo: O treinamento utiliza um currículo de oclusão em malhas texturizadas do dataset YCB, removendo progressivamente pontos para simular observações parciais. Uma etapa de ajuste fino (fine-tuning) utiliza um dataset do IsaacLab com oclusões semelhantes às de uma mão para corresponder às condições de aprendizado da política.

2. Aprendizado de Política (Reorientação Manual):

   • Estrutura: A tarefa é formulada como um Processo de Decisão de Markov (MDP) aumentado por objetivo, resolvido usando PPO com uma arquitetura ator-crítico assimétrica.
   • Observações (Ator): A política recebe:
     • Embeddings aprendidos das nuvens de pontos atuais e alvo ($z_{obj}, z_{goal}$).
     • Propriocepção (posições das juntas, velocidades, poses das pontas dos dedos).
     • Metadados geométricos (centroides das nuvens atuais e alvo) para suplementar a informação de translação.
   • Crítico: O crítico tem acesso a informações de estado privilegiado (pose real, velocidade, forças de contato) para facilitar a convergência rápida.
   • Recompensa: A função de recompensa minimiza o desvio de posição manual e o erro rotacional (medido via distância geodésica em SO(3)), com regularização de ação e um bônus de sucesso.

Principais Contribuições

• Aprendizado de Representação para Controle: O artigo demonstra que uma representação em si pode tornar o condicionamento por objetivo de nuvem de pontos utilizável para o aprendizado de política padrão, removendo a necessidade de andaimes externos como estimadores de pose ou campos de fluxo densos.
• Embeddings Calibrados por SO(3): Ao treinar explicitamente o codificador para alinhar a distância latente com o erro de rotação, o método cria um sinal de controle suave onde a diferença nos embeddings reflete diretamente a rotação necessária para atingir o objetivo.
• Sucesso de RL Livre de Modelo: Os autores mostram que uma política livre de modelo usando esses embeddings pode aprender de forma estável e igualar o desempenho de baselines baseados em destilação e métodos de estado privilegiado, apesar de não ter acesso à pose real ou ações do professor durante o treinamento.
• Evidência Diagnóstica: O artigo fornece evidências de que o pré-treinamento auto-supervisionado genérico (ex: Point-MAE) é insuficiente para esta tarefa porque preserva características de forma, mas falha em organizar o espaço latente de acordo com os eixos e magnitudes de rotação, enquanto o método de aprendizado de métrica proposto recupera essa estrutura.

Resultados
Experimentos foram conduzidos em simulação usando a Shadow Hand e quatro objetos YCB (Peach, Rubik's Cube, Pear, Tuna Can).

• Desempenho: O método proposto alcançou taxas de sucesso de 100% em todos os objetos testados, igualando o desempenho do "Professor" (estado privilegiado) e das baselines de "Estudante Destilado".
• Eficiência: Embora o método proposto tenha tido sucesso, ele exigiu mais timesteps em média para atingir o objetivo comparado ao professor privilegiado (ex: 85,29 passos vs. 25,40 para o Peach). Os autores atribuem isso à natureza livre de modelo do aprendizado (otimizando a partir da recompensa em vez de ações por passo) e observam que execuções de treinamento mais longas poderiam melhorar ainda mais a velocidade.
• Comparação com Baselines:
  • Métodos que dependem de estimadores de pose (ex: FoundationPose) ou registro (Open3D) mostraram taxas de sucesso significativamente menores (ex: 33-58% para o Rubik's Cube e Pear) e tempos de falha muito maiores, destacando a fragilidade desses módulos intermediários em implantação.
  • Métodos baseados em fluxo usando estado simulado performaram bem, mas aqueles que dependiam de registro falharam significativamente.
  • Codificadores Genéricos: Uma política usando um codificador Point-MAE ajustado falhou em aprender inteiramente, confirmando que características de forma genéricas não fornecem o sinal sensível à rotação necessário.
• Análise de Representação: Visualizações do espaço latente (gráficos de superfície e t-SNE) confirmaram que o codificador proposto organiza os embeddings por eixo e magnitude de rotação, criando um panorama estruturado semelhante ao aprendido por um estudante baseado em destilação, mas sem exigir supervisão de ação.

Significância e Alegações
O artigo alega que os objetivos de nuvem de pontos tornam-se práticos para o controle destreoso quando a própria representação codifica a geometria de rotação relevante para a tarefa, em vez de depender de módulos externos para calcular pose ou fluxo.

• O trabalho sugere que o "andaime" de estimativa de pose e registro não é estritamente necessário se a representação visual for corretamente calibrada para as restrições geométricas da tarefa.
• Ele destaca uma limitação do pré-treinamento visual genérico: preservar a identidade da forma é insuficiente para tarefas de controle que exigem comparação geométrica precisa; a representação deve ser explicitamente estruturada para o grupo de transformação específico (SO(3) neste caso).
• Os autores observam que, embora a avaliação seja em simulação, o uso de currículos de oclusão, jittering de pontos e randomização de domínio fornece evidências de que a representação é robusta às perturbações esperadas em implantação no mundo real, motivando validações futuras em robôs reais.

Limitações
Os autores reconhecem que o embedding atual preserva primariamente o estado relevante para a rotação e não é explicitamente restrito para preservar a forma do objeto, o que limita a capacidade de aprender uma única política geral para diferentes objetos. Sugere-se que trabalhos futuros explorem embeddings que preservem conjuntamente a forma e permitam comparações amigáveis ao controle, bem como a extensão do objetivo métrico para o grupo completo SE(3) para manipulação geral.