Prior-First, Condition-Second: Scalable and Controllable Hand Motion Completion

Resumo Técnico: Prioridade ao Prior, Condição em Segundo Lugar: Completamento de Movimento de Mão Escalável e Controlável

Definição do Problema
Sintetizar movimentos de mão de alta fidelidade que se alinhem com a dinâmica corporal global e rótulos semânticos (ex: descrições de texto) apresenta desafios significativos devido aos altos graus de liberdade da articulação das mãos e à escassez de supervisão semântica pareada. Métodos baseados em dados existentes frequentemente enfrentam dois problemas principais: (1) o "gargalo de anotação", onde conjuntos de dados de movimento corpo-mão pareados com rótulos semânticos de alta qualidade são caros para coletar e limitados em escala; e (2) a falta de consistência semântica entre conjuntos de dados, onde as anotações (texto, áudio, atributos) são frequentemente específicas de cada conjunto de dados e não se transferem de forma confiável. Além disso, modelos de ponta a ponta treinados com dados limitados frequentemente sofrem de implausibilidade cinemática, como deriva de fase, comportamento instável do pulso ou "colapso da pose média", onde o modelo faz a média das variações em uma única pose segura.

Metodologia
Os autores propõem um framework "prioridade ao prior, condição em segundo lugar" que desacopla o aprendizado da estrutura cinemática do controle semântico. A abordagem consiste em duas etapas principais:

1. Prior de Corpo-Mão Autoregressivo:

   • Treinamento: Um prior cinemático autoregressivo robusto é pré-treinado em dados de movimento não estruturados e não rotulados de larga escala (aprox. 100 horas). Este prior aprende a coordenação intrínseca entre a dinâmica corporal global e a articulação da mão sem depender de rótulos semânticos.
   • Arquitetura: O núcleo é um modelo de difusão baseado em Transformer que opera de maneira streaming e autoregressiva. Em cada passo de tempo, ele prevê uma janela de comprimento fixo de movimento de mão futuro, condicionado ao estado corporal atual e a um histórico de movimentos de mão passados.
   • Atenção em Cascata de Cadeia Cinemática (KCCA): Para impor o acoplamento mecânico, os autores introduzem a KCCA. Diferente da atenção padrão que trata todos os membros igualmente, a KCCA segue a cadeia cinemática biológica (Raiz $\to$ Coluna $\to$ Membros $\to$ Mão). Ela utiliza um mecanismo de portão dinâmico para ponderar a atenção ao longo desta cadeia, garantindo que a geração da mão seja ancorada ao momento ascendente do corpo. Isso evita artefatos como mãos flutuantes ou rotações implausíveis do pulso.
   • Representação: O modelo utiliza uma representação híbrida, prevendo rotações locais para os dedos e orientações globais para o pulso (convertidas para frames locais durante a inferência) para manter a consistência cinemática com o braço.

2. Adaptação Condicional Semânticamente Estratificada:

   • Estratégia: Uma vez que o prior é treinado, ele é congelado. O controle semântico é introduzido via adaptadores leves que injetam sinais de condicionamento em níveis cinemáticos específicos.
   • Injeção em Camadas: Reconhecendo que comandos semânticos operam em diferentes escalas (ex: "energeticamente" afeta o momento global, enquanto "pinça" afeta os dedos locais), os adaptadores utilizam portões aprendíveis para modular embeddings de condição em camadas específicas do prior congelado.
   • Modalidades de Controle: O framework suporta duas estratégias:
     • Controle de Atributos Autossupervisionado: Atributos computados numericamente (ex: aperto do punho) são injetados em camadas tardias para modular a articulação local sem interromper a consistência global.
     • Controle de Texto com Supervisão Fraca: Prompts de texto são gerados via Modelos de Linguagem-Visão (VLMs) e injetados através de toda a hierarquia para controlar tanto a dinâmica global quanto as poses finas.
   • Eficiência de Dados: Como o prior captura a física do movimento, os adaptadores precisam apenas aprender a "intenção" (navegação no manifold). Isso permite o treinamento eficaz com apenas algumas horas de dados rotulados.

Principais Contribuições

• Framework: Um novo paradigma "prioridade ao prior, condição em segundo lugar" para o completamento de movimento de corpo condicionado, separando o aprendizado cinemático do condicionamento semântico.
• Arquitetura: Um prior de difusão em streaming e autoregressivo que garante coerência temporal e consistência cinemática.
• Mecanismo: A introdução da Atenção em Cascata de Cadeia Cinemática (KCCA) para modelar explicitamente a transferência de energia ao longo da cadeia cinemática do corpo.
• Adaptação: Adaptadores semânticamente estratificados que permitem o controle eficiente de dados, suportando tanto a manipulação de atributos autossupervisionados quanto a geração impulsionada por texto com supervisão fraca com o mínimo de dados rotulados.

Resultados
Avaliações extensivas demonstram a superioridade do framework sobre baselines de ponta a ponta (como MDM, Body2Hands e BOTH2Hands) em várias dimensões:

• Plausibilidade Cinemática: O prior proposto atinge um erro de posição média por articulação (MPJPE) menor e um erro de raiz significativamente menor (erro de orientação antebraço-pulso), indicando um acoplamento mecânico superior. Também produz perfis de velocidade mais suaves (menor jerk).
• Robustez: Em experimentos de cross-dataset, o prior transferido mantém alta qualidade e diversidade mesmo com dados rotulados extremamente limitados (ex: 0,25 horas), enquanto baselines de ponta a ponta sofrem de colapso de modo e degradação de desempenho.
• Controlabilidade: A abordagem baseada em adaptadores alcança pontuações competitivas de consistência texto-movimento, preservando a qualidade cinemática do prior congelado.
• Performance: O sistema suporta inferência em tempo real (450+ FPS em uma RTX 4090) e foi integrado a um add-on do Blender para autoria interativa.

Significância e Alegações
O artigo alega que a principal significância deste trabalho reside em enfrentar o gargalo de anotação na síntese de movimento. Ao aprender um prior cinemático genérico a partir de abundantes dados não rotulados, o método evita a necessidade de reaprender restrições físicas para cada nova interface de controle ou conjunto de dados. Os autores argumentam que essa separação permite a síntese de movimento de mão escalável, robusta e controlável que generaliza através de diversos movimentos corporais e entradas semânticas, tornando-a aplicável a pipelines de animação de produção onde o desempenho em tempo real e alta fidelidade são necessários. O trabalho valida que o desacoplamento do aprendizado cinemático do condicionamento semântico produz melhor generalização e eficiência de dados do que aprender ambos simultaneamente a partir de supervisão esparsa.