Resumo Técnico: Estimativa de Pose Humana Zero-Shot Usando Solutores Inversos Baseados em Difusão

Declaração do Problema

A estimativa de pose humana visa reconstruir uma postura corporal 3D completa (cabeça, tronco, membros) a partir de dados de sensores esparsos. Embora avanços recentes usando modelos de difusão condicional tenham mostrado promessa na previsão de poses corporais completas a partir de apenas três sensores (tipicamente cabeça e dois pulsos), esses métodos sofrem de uma limitação crítica: pouca generalização entre usuários com diferentes formas corporais.

Abordagens existentes, como as de Castillo et al. (2023), condicionam modelos de difusão tanto a localizações de articulações quanto a rotações. No entanto, as localizações das articulações são inerentemente dependentes da escala; elas variam significativamente com base nos comprimentos dos ossos e nas proporções corporais de um usuário. Consequentemente, um modelo treinado em dados de um usuário específico falha em generalizar para usuários com formas corporais diferentes sem extenso ajuste fino. O treinamento conjunto em múltiplas formas corporais (como tentado por Aliakbarian et al., 2022) aumenta a complexidade do modelo e não oferece garantia de cobrir todas as variações corporais possíveis. Há uma necessidade de um algoritmo que possa generalizar para outliers de forma corporal sem exigir dados de treinamento personalizados.

Metodologia: InPose

Os autores propõem o InPose, um método baseado em difusão que formula a estimativa de pose como um problema inverso para alcançar generalização zero-shot. A ideia central é decompor a pose humana em dois componentes:

1. Pose livre de escala: Definida por rotações de articulações (ângulos), que são independentes do tamanho do corpo.
2. Componente dependente de escala: Definido por localizações de articulações no espaço 3D, que dependem dos comprimentos dos ossos e da forma corporal.

1. Formulação do Problema Inverso

Em vez de condicionar o modelo de difusão tanto à localização quanto à rotação (o que acopla o modelo a formas corporais específicas), o InPose condiciona o prior generativo apenas em medições rotacionais.

• Prior: Um modelo de difusão de Correspondência de Fluxo Condicional (CFG) é treinado para prever a distribuição de poses livres de escala dadas medições rotacionais ruidosas ($r_m$) dos sensores.
• Verossimilhança (Orientação): As localizações de articulações medidas ($l_m$) são usadas não como uma entrada de condicionamento para treinamento, mas como um termo de verossimilhança para orientar o processo de inferência. Este termo avalia o quão bem uma pose gerada explica as localizações observadas dadas os comprimentos ósseos específicos do usuário.

2. Estrutura Matemática

O objetivo é amostrar a partir da posterior $p(r_M | y_m)$, onde $r_M$ representa as 22 rotações globais das articulações e $y_m$ são as medições dos sensores. Usando a regra de Bayes, a função de pontuação é decomposta:
$$\nabla_{r_M^t} \log p_t(r_M^t | \{l_m, r_m\}) = \nabla_{r_M^t} \log p_t(r_M^t | r_m) + \nabla_{r_M^t} \log p_t(l_m | r_M^t)$$

• O Termo Prior ($\nabla \log p(r_M^t | r_m)$): Aprendido por um modelo de pontuação baseado em CFG condicionado apenas a rotações. Isso fornece uma distribuição livre de escala de poses plausíveis.
• O Termo de Verossimilhança ($\nabla \log p(l_m | r_M^t)$): Este termo atua como uma orientação de cinemática inversa. Requer o mapeamento das rotações estimadas para localizações via um operador não linear $D(\cdot)$ (convertendo vetores de rotação 6D em matrizes) e um operador linear $A$ (cinemática direta).

3. Lidando com Não-Linearidade via Orientação de Pseudoinversa

Um desafio chave é que o termo de verossimilhança envolve a propagação de uma variável aleatória Gaussiana através da função não linear $D(\cdot)$. A Orientação de Pseudoinversa Padrão para Modelos de Difusão (ΠGDM) assume operadores lineares.

• Teorema 1: Os autores provam que, se o modelo de pontuação garantir restrições específicas de norma unitária e ortogonalidade nos vetores de rotação 6D, a distribuição das rotações transformadas $D(r_M^0)$ dada a entrada ruidosa $r_M^t$ pode ser aproximada como uma distribuição Gaussiana.
• Esta aproximação permite aos autores calcular a pontuação de verossimilhança analiticamente, permitindo o uso do ΠGDM para orientar o processo de remoção de ruído sem exigir que o operador seja linear.

4. Pipeline

O processo de inferência (Algoritmo 1) refina iterativamente a pose:

1. Gerar uma estimativa condicionada e desruidizada $\hat{r}_M^t$ usando o prior CFG (condicionado a rotações).
2. Calcular a pontuação de verossimilhança usando o framework ΠGDM, incorporando os comprimentos ósseos específicos do usuário para mapear rotações para localizações esperadas.
3. Combinar as pontuações de prior e verossimilhança usando um amostrador DDIM modificado para atualizar a estimativa de pose para o próximo passo de tempo.

Principais Contribuições

1. Generalização Zero-Shot: Ao desacoplar o prior generativo (rotações) das medições dependentes de escala (localizações), o InPose pode estimar poses para usuários com formas corporais arbitrárias sem retreinamento ou ajuste fino.
2. Formulação de Solvedor Inverso: O artigo reformula a estimativa de pose como um problema inverso onde um prior de difusão pré-treinado é guiado por um termo de verossimilhança derivado de medições esparsas de localização.
3. Aproximação Gaussiana para Operadores Não-Lineares: Os autores fornecem uma prova teórica (Teorema 1) permitindo a propagação de variáveis Gaussianas através do mapeamento não linear de rotação 6D para matriz, tornando o ΠGDM aplicável a este problema inverso específico.
4. Robustez: O método demonstra robustez inerente ao ruído nas medições de localização, pois o prior generativo desempenha um papel dominante na estimativa final, ao contrário de métodos que dependem fortemente de entradas de localização ruidosas.

Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados AMASS usando protocolos semelhantes à linha de base BoDiffusion.

• Escala de Forma Corporal: Quando testado em usuários com formas corporais escaladas (por exemplo, mais altos ou mais baixos), os modelos de linha de base (AvatarJLM, BoDiffusion) mostraram degradação significativa tanto no erro de posição (MPJPE) quanto no erro de rotação (MPJRE). Em contraste, o InPose manteve desempenho consistente em todos os fatores de escala, demonstrando sua capacidade zero-shot.
• Variação de Partes Corporais Relativas: Em cenários onde partes específicas do corpo (por exemplo, braços vs. tronco) foram escaladas diferentemente, o InPose superou as linhas de base em MPJPE e Erro de Posição do Corpo Superior (UPE), pois a orientação inversa contabilizou corretamente os comprimentos ósseos alterados.
• Robustez ao Ruído: Sob aumento de ruído Gaussiano nas medições de localização, o InPose permaneceu estável, enquanto as linhas de base degradaram-se significativamente.
• Compensações:
  • O InPose performa ligeiramente abaixo das linhas de base na forma corporal padrão (a forma usada para treinamento), provavelmente porque as linhas de base podem aprender um mapeamento não linear direto para aquela forma específica, enquanto o InPose depende de uma aproximação geral.
  • Estimativa do Corpo Inferior: Sem tradução da cabeça como entrada CFG, o InPose luta com a estimativa de pose do corpo inferior (alto LPE) porque a tradução da raiz não é diretamente observada. No entanto, adicionar a posição da cabeça como entrada CFG (InPose (cabeça)) melhora significativamente a estimativa do corpo inferior, superando todas as linhas de base em várias formas corporais.

Significado e Alegações

O artigo alega que o InPose oferece um caminho para previsão de pose zero-shot ao aproveitar a decomposição da pose em componentes livres de escala e dependentes de escala. O significado reside na eliminação da necessidade de coleta de dados personalizados e retreinamento para cada novo usuário, um grande gargalo em aplicações práticas de sensores vestíveis.

Os autores modestamente reconhecem limitações:

• O método não supera as linhas de base na forma corporal específica usada para treinamento.
• A estimativa do corpo inferior depende fortemente do prior ou da inclusão da posição da cabeça, pois a tradução da raiz não é incorporada diretamente.
• O algoritmo requer conhecimento preciso dos comprimentos ósseos do usuário durante a inferência; erros na estimativa do comprimento ósseo podem degradar o desempenho.

O trabalho sugere que pesquisas futuras devem focar em melhorar a modelagem do corpo inferior através de restrições físicas e desenvolver métodos para estimar cegamente os comprimentos ósseos sem calibração explícita.