MAMMA: Markerless & Automatic Multi-Person Motion Action Capture

Resumo Técnico: MAMMA

1. O Problema

A captura de movimento (mocap) tradicional baseada em marcadores físicos (ex: Vicon, OptiTrack) é considerada o "padrão ouro" em precisão, mas apresenta limitações severas:

• Custo e Complexidade: Requer hardware especializado caro, colocação manual de marcadores e pessoal treinado.
• Pós-processamento Intensivo: Os dados brutos frequentemente contêm ruído, marcadores perdidos ou trocados, exigindo horas de limpeza manual, especialmente em poses complexas e interações próximas entre pessoas.
• Limitações de Interação: Marcadores físicos falham ou são ocluídos quando há contato físico próximo (abraços, dança, artes marciais), tornando a captura de interações humanas densas extremamente difícil.

Métodos de aprendizado de máquina sem marcadores (markerless) existentes geralmente focam em pessoas isoladas, utilizam apenas pontos-chave esparsos (esqueleto) ou sofrem com oclusões e interações complexas, não alcançando a precisão dos sistemas baseados em marcadores.

2. Metodologia

O MAMMA propõe um pipeline de captura de movimento sem marcadores que recupera com alta precisão os parâmetros do modelo paramétrico SMPL-X (corpo, mãos e rosto) a partir de vídeos multiview sincronizados. A abordagem é dividida em três etapas principais:

A. Estimativa de Landmarks Densos (MammaNet)

• Arquitetura: Utiliza uma rede transformadora baseada em ViT-Base com um decodificador Transformer.
• Inovação Chave: Diferente de métodos anteriores que usam um único token aprendível para todos os pontos, o MAMMA emprega N queries aprendíveis (uma para cada landmark), permitindo que a rede aprenda embeddings distintos para cada ponto da superfície.
• Previsões: Para cada um dos 512 landmarks densos na superfície do corpo, a rede prevê:
  • Coordenadas 2D ($\mu$).
  • Incerteza ($\sigma$).
  • Probabilidade de visibilidade ($p$).
  • Probabilidade de contato pessoa-pessoa e contato com o chão.
• Condicionamento: A rede é condicionada em máscaras de segmentação (obtidas via SAM2) para resolver ambiguidades em cenas com múltiplas pessoas e separar sujeitos sobrepostos.

B. Correspondência Multiview

• Para garantir consistência temporal e espacial, o sistema utiliza as máscaras do SAM2 para rastrear indivíduos entre quadros.
• Estabelece correspondências entre diferentes câmeras calculando a distância epipolar simétrica entre os landmarks preditos. Isso permite agrupar consistentemente os landmarks de cada pessoa em todas as vistas sem depender de características de aparência (que podem mudar com a oclusão).

C. Ajuste do Modelo (Fitting)

• O sistema ajusta os parâmetros de pose, forma e translação do SMPL-X minimizando o erro de reprojeção 2D dos landmarks preditos.
• Otimização em Etapas:
  1. Otimização de translação e rotação global.
  2. Otimização de pose e forma (sem necessidade de inicialização complexa de pose).
  3. Refinamento das incertezas baseado no erro de reprojeção.
  4. Otimização de Contato: Um termo de energia penaliza a interpenetração entre corpos (usando SDF - Signed Distance Function) e atrai pontos para o chão quando há contato previsto, garantindo física plausível.

3. Contribuições Principais

1. MAMMA (Pipeline): Um sistema completo de captura sem marcadores que supera métodos acadêmicos existentes e rivaliza com soluções comerciais baseadas em marcadores em termos de precisão, especialmente em interações próximas.
2. MammaSyn (Dataset Sintético): Uma extensão do dataset BEDLAM contendo 2,5 milhões de amostras (crops) com:
   • Configuração multiview (32 câmeras virtuais).
   • Interações complexas entre duas pessoas (dança, luta, abraços).
   • Landmarks densos de superfície com anotações de visibilidade e contato.
3. MammaEval (Dataset Real): Novos datasets capturados com Vicon e câmeras RGB para avaliação rigorosa, incluindo sequências de dança e interações próximas.
4. Avaliação Quantitativa com Vicon: Uma comparação direta inédita onde o MAMMA foi testado contra um pipeline Vicon+MoSh++. O erro de marcadores "segurados" (held-out) foi de apenas 0,86 mm de diferença entre o método sem marcadores e o baseado em marcadores.
5. Acesso Aberto: Disponibilização do código, modelos e novos datasets para pesquisa acadêmica.

4. Resultados

• Precisão 2D e 3D: O MAMMA obteve o menor erro de landmarks 2D e de ajuste 3D (MPJPE e PVE) em todos os benchmarks testados (RICH, MOYO, Harmony4D, CHI3D, Hi4D), superando métodos como CameraHMR e Look-Ma*.
• Interações Próximas: Em datasets de interação (Harmony4D, CHI3D), o uso de máscaras de segmentação (SAM2) reduziu drasticamente o erro, demonstrando robustez onde outros métodos falham.
• Comparação com Vicon:
  • O erro médio de marcadores não utilizados no ajuste (held-out) foi de 22,48 mm para o MAMMA vs 21,62 mm para o Vicon+MoSh++.
  • A diferença visual entre as animações geradas é indistinguível.
• Eficiência: O pipeline MAMMA reduz o tempo total de captura para SMPL-X de ~72 horas (processo manual com marcadores) para 26 horas em uma GPU consumer (GTX-4090), tornando-o quase 3 vezes mais rápido.
• Generalização: Funciona bem com configurações de baixo custo (ex: 4 iPhones) e lida com mais de duas pessoas (até 6 sujeitos em testes preliminares).

5. Significado e Impacto

O trabalho MAMMA representa um avanço significativo na democratização da captura de movimento de alta fidelidade.

• Substituição de Hardware Caro: Demonstra que é possível obter qualidade "padrão ouro" sem a necessidade de câmeras infravermelhas caras e marcadores físicos.
• Viabilidade para Interações Complexas: Resolve o problema histórico de capturar interações humanas densas (dança, contato físico) que eram anteriormente impossíveis ou muito custosas de limpar manualmente.
• Aceleração de Pesquisa: Ao fornecer dados sintéticos ricos e um pipeline eficiente, permite que pesquisadores capturem e gerem grandes volumes de dados de movimento humano complexo para treinar modelos de IA, animação e realidade virtual, sem as barreiras de custo e tempo dos sistemas tradicionais.

Em suma, o MAMMA fecha a lacuna de precisão entre métodos baseados em aprendizado de máquina e sistemas de captura física, oferecendo uma solução prática, escalável e de alta qualidade para a comunidade de visão computacional e animação.