MuPPet: Multi-person 2D-to-3D Pose Lifting

1. Problema e Motivação

A estimativa de pose humana 3D em cenários de interação social (multi-pessoas) é fundamental para compreender dinâmicas de grupo, intenções e emoções. No entanto, os métodos existentes enfrentam desafios significativos:

• Ignorância de Relações Interpessoais: A maioria dos métodos foca em cenários de pessoa única ou trata múltiplas pessoas de forma isolada, negligenciando correlações como "imitação", "mímica" e "sincronia" que ocorrem em grupos.
• Limitação de Tamanho do Grupo: Métodos anteriores (como POTR-3D) geralmente exigem um tamanho de grupo fixo durante o treinamento, preenchendo quadros menos populosos com zeros, o que é impraticável em cenários do mundo real.
• Oclusão: Em interações sociais, indivíduos frequentemente se ocluem mutuamente. Métodos de pessoa única falham em inferir poses ocluídas sem contexto social.
• Espaço Absoluto vs. Relativo: Para análise social, a pose 3D em espaço absoluto (coordenadas do mundo) é preferível à relativa, pois permite analisar a orientação e distância entre indivíduos, mas é mais difícil de estimar.

2. Metodologia (MuPPet)

O MuPPet é um framework inovador de "lifting" (elevação) de pose 2D para 3D baseado em Difusão e Transformers, projetado especificamente para lidar com um número dinâmico de pessoas e suas interações.

Arquitetura Principal

O modelo utiliza um processo de difusão reversa com um backbone Transformer para denoising.

• Entrada: Uma sequência de poses 2D detectadas ($X$) de $P$ pessoas, $J$ juntas e $T$ quadros.
• Saída: Uma sequência de poses 3D absolutas ($Y$) no sistema de coordenadas do mundo.
• Processo de Difusão: O modelo gera a pose 3D gradualmente, removendo ruído gaussiano adicionado à pose original em $N$ passos. Isso permite modelar a ambiguidade de profundidade e gerar múltiplas hipóteses plausíveis, especialmente útil em casos de oclusão.

Componentes Chave da Arquitetura

1. Atenção Espacial Multi-Pessoa (Dynamic Multi-Person Attention):

   • Estende o mecanismo de auto-atenção (comum em pessoa única) para capturar relações entre todas as juntas de todas as pessoas na cena simultaneamente.
   • Utiliza embeddings que são independentes do número de pessoas ($P$), permitindo lidar com tamanhos de grupo variáveis dinamicamente.

2. Codificação de Pessoa (Person Encoding):

   • Introduz um embedding aprendível ($E$) específico para cada indivíduo, adicionado às representações de suas juntas.
   • Isso permite que o modelo distinga qual junta pertence a qual pessoa, mesmo quando a ordem das pessoas é alterada, resolvendo a ambiguidade em cenários multi-pessoais.

3. Aprendizado de Permutação (Permutation Learning):

   • Uma estratégia de aumento de dados (data augmentation) única para cenários multi-pessoais.
   • Permutação de Superset: O modelo é treinado com a ordem das pessoas aleatoriamente permutada.
   • Permutação de Subset: O modelo é treinado com subconjuntos aleatórios das pessoas presentes na cena.
   • Isso força o modelo a aprender relações interpessoais robustas independentemente da ordem de entrada ou do número exato de participantes, aumentando a diversidade dos dados de treinamento.

4. Perda de Pose (Pose Loss):

   • Separa a estimativa em duas partes: a posição absoluta da raiz (quadril) e as posições relativas das demais juntas em relação à raiz.
   • Utiliza uma perda ponderada ($\lambda \cdot \mathcal{L}_{abs} + (1-\lambda) \cdot \mathcal{L}_{rel}$) para equilibrar a precisão na localização global e na estrutura corporal.

3. Principais Contribuições

1. Método para Número Dinâmico de Pessoas: Capacidade de estimar poses 3D para um número variável de pessoas em uma interação, sem necessidade de padding ou fixação de tamanho de grupo.
2. Modelagem Eficiente de Relações: Introdução de Person Encoding e Permutation Learning para capturar explicitamente dependências intra e interpessoais.
3. Desempenho Superior em Oclusão: Demonstração de que modelar correlações sociais melhora significativamente a estimativa de poses ocluídas em comparação com métodos de pessoa única.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados Haggling e CMU Panoptic.

• Comparação com Pessoa Única (Baseline D3DP):
  • O MuPPet superou o estado da arte de pessoa única (D3DP) em 17,2% no erro de posição absoluta das juntas e em 19,9% no erro da raiz absoluta.
  • Isso valida a hipótese de que as relações interpessoais ajudam a inferir a localização 3D absoluta.
• Comparação com o Estado da Arte (SOTA) Multi-Pessoa:
  • O MuPPet alcançou o menor erro médio de junta relativa (MPJPErel) entre os métodos de lifting 2D-3D (VirtualPose, POTR-3D) e métodos diretos 3D, obtendo um erro médio de 55.8 mm no conjunto Panoptic.
• Estudo de Oclusão:
  • Em cenários com alto grau de oclusão, o MuPPet manteve um desempenho superior ao D3DP, com a vantagem aumentando conforme o número de juntas ocluídas crescia.
• Ablação:
  • A remoção de qualquer componente (Atenção Multi-pessoa, Codificação de Pessoa, Permutação) resultou em degradação significativa do desempenho, confirmando a necessidade de cada módulo.
  • O processo de difusão mostrou-se essencial, reduzindo o erro relativo de 75.0 mm para 55.3 mm em comparação com uma versão sem difusão.

5. Significado e Conclusão

O MuPPet representa um avanço significativo na análise de comportamento humano em grupos. Ao modelar explicitamente as correlações sociais e utilizar um processo de difusão probabilístico, o método não apenas melhora a precisão métrica, mas também oferece robustez em cenários complexos de oclusão e dinâmica de grupo.

A capacidade de estimar poses em espaço absoluto é crucial para aplicações práticas, como robótica humanóide interagindo com grupos, análise de formação social (F-formations) e sistemas de vigilância inteligentes. O trabalho estabelece que a inteligência social (modelar relações entre pessoas) é um componente chave para a precisão na estimativa de pose 3D em ambientes não controlados. O código do projeto está disponível publicamente, promovendo a reprodutibilidade e o avanço futuro na área.