Resumo Técnico: EgoAERO

Declaração do Problema

Vídeos RGB-D egocêntricos oferecem uma fonte natural e escalável para o treinamento de políticas de manipulação destreza, capturando movimentos de mãos humanas, interações com objetos e comportamentos ricos em contato em ambientes cotidianos. No entanto, os conjuntos de dados egocêntricos existentes (ex: EPIC-KITCHENS, Ego4D) tipicamente carecem de informações críticas necessárias para o aprendizado robótico, como a pose 6-DoF, geometria e estados de contato dos objetos manipulados. Por outro lado, conjuntos de dados com anotações de interação mão-objeto 3D (ex: HOI4D, H2O) frequentemente dependem de ativos de objetos pré-escaneados, modelos CAD ou captura multivista, o que limita sua escalabilidade para objetos arbitrários do dia a dia e configurações de coleta natural. Consequentemente, há uma lacuna em frameworks capazes de converter uma única demonstração egocêntrica natural em políticas robóticas executáveis sem depender de ativos de objetos prévios.

Metodologia: Framework EgoAERO

EgoAERO é um framework projetado para reconstruir trajetórias de mão-objeto consistentes com o contato a partir de um único vídeo RGB-D egocêntrico sem ativos de objetos, transferindo subsequentemente essas trajetórias para um robô destre com uma aprendizagem de política em dois estágios. O pipeline consiste em dois componentes principais:

1. Reconstrução de Mão-Objeto Egocêntrica Livre de Ativos (Asset-Free)

Este módulo recupera trajetórias estruturadas de vídeos brutos através de quatro etapas sequenciais:

• Pré-processamento Semântico Guiado por MLLM: Um Modelo de Linguagem de Grande Escala Multimodal (MLLM) realiza o parsing semântico leve em keyframes para identificar o objeto manipulado alvo, objetos de suporte e objetivos da tarefa. Ele gera prompts para segmentação SAM3 e seleciona um keyframe menos ocluído como semente de inicialização. O MLLM não estima poses ou geometria diretamente, mas configura o pipeline.
• Rastreamento e Reconstrução de Objeto Livre de Ativos: Para lidar com oclusões de mãos e superfícies de baixa textura sem modelos CAD, o sistema emprega:
  • Inicialização de Pose Coarse (Grosseira): Retroprojeta regiões visíveis do objeto em nuvens de pontos locais e utiliza RANSAC em correspondências RGB-D para estimar uma pose 6-DoF grosseira.
  • Otimização de Pose de Pool de Memória de Keyframes: Mantém um pool de keyframes históricos com observações confiáveis. Constrói um grafo de pose local e otimiza conjuntamente as poses dos objetos usando restrições de correspondência entre frames, consistência geométrica, superfície, silhueta e priors de pose.
  • Reconstrução de Malha Coarse-to-Fine Guiada por Campo Neural: Um campo de objeto neural online gera uma malha grosseira temporalmente consistente. Esta é refinada pelo SAM3D usando observações RGB-D originais para recuperar detalhes finos de superfície, que são então alinhados ao frame canônico.
• Estimativa de Pose de Mão Egocêntrica: Utiliza o HaWoR para estimativa inicial de pose de mão baseada em MANO. Uma correção leve é aplicada à translação global da mão usando mapas de profundidade RGB-D para mitigar o viés de profundidade monocular, garantindo que a malha da mão se alinhe de forma estável com a geometria da cena.
• Compensação de Movimento Egocêntrico: Um backend de SLAM RGB-D estima a trajetória da câmera. Todos os frames são transformados em um frame de mesa fixo para remover o drift espúrio causado pelo movimento da cabeça. Máscaras de mão são usadas para reduzir o peso de pixels dinâmicos da mão durante o SLAM para garantir a estabilidade do fundo.
• Otimização de Contato Adaptativa: Este módulo corrige inconsistências físicas (ex: pontas dos dedos flutuando, penetrações) sem alterar a trajetória do objeto ou resolver novamente os parâmetros MANO. Aplica correções limitadas à translação global da mão e aos vértices locais dos dedos em janelas de manipulação ativa, garantindo consistência de contato enquanto preserva o movimento da demonstração original.

2. Aprendizagem de Política Residual em Dois Estágios

As trajetórias reconstruídas são convertidas em políticas robóticas usando uma abordagem de dois estágios:

• Estágio I (Rastreamento de Trajetória de Mão): Uma política aprende a rastrear o movimento da mão humana reconstruída (pontos-chave do pulso e dedos) usando retargeting cinemático como um warm start. Isso estabelece um controle de mão estável sem exigir a manipulação bem-sucedida do objeto.
• Estágio II (Política Residual de Contato com Objeto): Uma política residual aprende pequenas correções ($\Delta a^R_t$) para a ação base de rastreamento de mão. Ela incorpora estados do objeto (pose, velocidade, codificação de geometria) e feedback de contato. A função de recompensa combina imitação de mão com rastreamento de trajetória de objeto e restrições de contato, permitindo que o robô conduza o objeto ao longo da trajetória de referência com contato estável.

Principais Contribuições

1. Framework EgoAERO: O primeiro sistema a aprender manipulação destre a partir de um único vídeo RGB-D egocêntrico sem exigir ativos de objetos (modelos CAD ou malhas pré-escaneadas).
2. Pipeline de Reconstrução Livre de Ativos: Um pipeline robusto apresentando inicialização guiada por MLLM, rastreamento de objeto livre de ativos sob oclusão, reconstrução de malha guiada por campo neural, compensação de movimento egocêntrico e otimização de contato adaptativa.
3. Dataset EgoDex-R: Um dataset egocêntrico de larga escala contendo 4,3 milhões de frames RGB-D, 5.600 sequências de manipulação e mais de 1.000 instâncias de objetos. Inclui trajetórias mão-objeto consistentes com o contato com anotações para pose do objeto, geometria, profundidade, SLAM e qualidade de contato.
4. Avaliação de Qualidade Online: Um mecanismo para avaliar a usabilidade física das trajetórias reconstruídas em tempo real, decidindo se aceita, repara ou recapa a demonstração.

Resultados Experimentais

Os autores avaliaram o EgoAERO através de experimentos em simulação e no mundo real:

• Simulação (EgoDex-R): O EgoAERO alcançou uma taxa de sucesso de 49,5%, superando significativamente os baselines que utilizam apenas pose de mão (9,8%) e uma versão sem otimização de contato adaptativa (36,2%). Isso demonstra a necessidade de informação de estado do objeto e de contato para a manipulação destre.
• Simulação (Comparação com HOI4D): Quando comparado a trajetórias reconstruídas usando ativos CAD de objetos, as reconstruções livres de ativos do EgoAERO alcançaram desempenho comparável (44,7% de taxa de sucesso vs. 43,3% para dados brutos baseados em CAD). Em algumas métricas, o EgoAERO teve desempenho superior, provavelmente devido à otimização de contato adaptativa melhorar a consistência física.
• Execução no Mundo Real: O framework foi implantado com sucesso em um robô humanoide Unitree G1 com uma mão Inspire. O sistema transformou uma única demonstração humana em uma trajetória consistente com o contato que o robô físico pôde executar, validando a transferibilidade das políticas aprendidas.

Significância e Alegações

O artigo afirma que o EgoAERO preenche a lacuna entre demonstrações humanas naturais e políticas robóticas executáveis ao eliminar a dependência de ativos de objetos. Ao reconstruir trajetórias mão-objeto consistentes com o contato a partir de um único vídeo, o framework permite o aprendizado robótico destre escalável em ambientes cotidianos. Os resultados sugerem que as reconstruções livres de ativos podem alcançar desempenho de política downstream próximo àquele derivado de reconstruções de alta fidelidade baseadas em CAD, tornando os dados egocêntricos naturais uma fonte viável e escalável para treinar habilidades de manipulação complexas.

Limitações

Os autores reconhecem que o pipeline atual visa primariamente a manipulação de uma única mão. O desempenho pode degradar sob condições de oclusão severa, objetos reflexivos, movimento rápido ou estimativas de mão/segmentação imprecisas. Além disso, a aprendizagem de política é atualmente específica para tarefas e requer treinamento em simulação, deixando a generalização entre tarefas e a redução de custos de treinamento como áreas para trabalhos futuros.