DeepGaitLab: Accurate and Flexible Markerless Motion Tracking Powered by Synthetic Data

Declaração do Problema
O rastreamento de movimento humano escalável e preciso é essencial para modernizar o diagnóstico de patologias da marcha, otimizar o desempenho esportivo e avançar na pesquisa de movimento. Embora os sistemas tradicionais de captura de movimento baseados em marcadores ofereçam alta precisão, eles são restritos a laboratórios de pesquisa devido à dependência de infraestrutura dedicada, pessoal especializado e calibração demorada. Alternativas sem marcadores (markerless) oferecem um caminho para a escalabilidade, mas atualmente enfrentam um compromisso entre precisidade e flexibilidade. Métodos de visão única são acessíveis, mas sofrem com ambiguidade de profundidade e oclusão, limitando sua utilidade clínica. Sistemas existentes sem marcadores de múltiplas visões ou falham em melhorar a precisão com a adição de câmeras (ex: OpenCap) ou exigem matrizes densas de câmeras e softwares proprietários que dificultam a implementação em ambientes com recursos limitados (ex: Theia3D). Além disso, muitas ferramentas atuais carecem de generalização para indivíduos com limitações de mobilidade, pois são frequentemente treinadas em dados de populações saudáveis.

Metodologia
Os autores apresentam o DeepGaitLab, um framework de código aberto projetado para fornecer cinemática 3D precisa através de configurações de câmeras flexíveis (de duas a dez câmeras) sem exigir calibração espacial entre as câmeras. O sistema opera por meio de um fluxo de trabalho de três estágios:

1. Detecção de Pontos de Referência Densos 2D: Diferente das abordagens de visão computacional padrão que detectam centros de articulações esparsos, o DeepGaitLab estima uma alta densidade de pontos de referência anatômicos superficiais (57 pontos anatômicos). Isso é alcançado por meio de uma rede baseada em Transformer. Para superar a escassez de dados rotulados de múltiplas visões, o modelo é treinado em dados sintéticos de larga escala derivados do conjunto de dados BEDLAM. Este conjunto de dados utiliza 271 corpos humanos reais (do conjunto de dados AMASS) realizando 9,3 horas de movimento, renderizados com texturas fotorrealistas e vestimentas diversas em um motor de jogo. A rede emprega uma estratégia de aprendizado por transferência (transfer learning), inicializando o codificador com pesos de um detector de pontos-chave esparsos pré-treinado (ViTPose) treinado em imagens do mundo real, para então realizar o ajuste fino (fine-tuning) nos dados sintéticos para garantir a generalização.
2. Triangulação 3D e Calibração: O sistema suporta dois fluxos de trabalho: um utilizando vídeos sincronizados com calibração física por tabuleiro de xadrez (checkerboard), e um modo de calibração automatizada. Este último trata o sujeito como um objeto de calibração dinâmica, utilizando os pontos de referência anatômicos densos detectados entre as visões para estimar as extrínsecas das câmeras via ajuste de feixe (bundle adjustment), eliminando a necessidade de alvos de calibração físicos.
3. Simulação Biomecânica: Os marcadores virtuais 3D triangulados são processados usando o OpenSim. O sistema escala um modelo musculoesquelético genérico para a antropometria do sujeito e calcula a cinemática inversa e a dinâmica inversa (momentos articulares).

Uma característica fundamental é o ajuste fino específico ao ambiente. O framework pode gerar dados de treinamento sintéticos adaptados à geometria de câmera e ao plano de fundo de um laboratório específico, permitindo que o modelo seja ajustado para um local específico sem novas anotações manuais.

Principais Contribuições

• Treinamento Baseado em Dados Sintéticos: Ao alavancar dados sintéticos de larga escala, o DeepGitLab evita a anotação trabalhosa de conjuntos de dados de múltiplas visões reais, alcançando alta precisão e generalização.
• Representação de Pontos de Referência Densos: A mudança de centros de articulações esparsos para pontos de referência superficiais densos fornece restrições geométricas que resolvem as orientações dos segmentos de forma mais precisa, abordando a ambiguidade inerente às abordagens de pontos-chave esparsos.
• Operação Flexível e Livre de Calibração: O framework funciona efetivamente com apenas duas câmeras e inclui um recurso de calibração automatizada que remove a barreira da calibração manual demorada.
• Robustez à Patologia: O sistema mantém a precisão em diversas populações, incluindo indivíduos com limitações de mobilidade, onde outras ferramentas costumam degradar o desempenho.

Resultados
Os autores avaliaram o DeepGaitLab em 80 indivíduos divididos em quatro grupos: adultos saudáveis, indivíduos em recuperação de reconstrução do ligamento cruzado anterior (ACLR), sobreviventes de AVC e indivíduos com comprometimento cognitivo leve (MCI).

• Precisão vs. Estado da Arte: Em adultos saudáveis, o DeepGaitLab superou consistentemente o OpenCap e o Theia3D. Em uma configuração de duas câmeras, apresentou uma diferença de raiz do erro quadrático médio (RMSD) significativamente menor em relação às referências baseadas em marcadores do que o OpenCap (4,2° vs. 5,9°).
• Escalabilidade com a Contagem de Câmeras: Diferente do OpenCap, cuja precisão estagnou ao aumentar de duas para dez câmeras, o DeepGaitLab demonstrou uma melhoria de precisão monotônica conforme a densidade de câmeras aumentava.
• Generalização para Patologia: O DeepGaitLab manteu um desempenho consistente em pacientes com ACLR, não mostrando diferença significativa de precisão entre os grupos saudável e prejudicado. Em contraste, o OpenCap e o Theia3D mostraram erros significativamente maiores no grupo ACLR. O DeepGaitLab detectou com sucesso assimetrias intersegmentares clinicamente relevantes em flexão/extensão de quadril e adução/abdução que outras ferramentas perderam.
• Métricas Espaciotemporais: Em pacientes com MCI e AVC, o DeepGaitLab alcançou uma concordância de assimetria de comprimento de passo comparável ao Theia3D (que utilizou oito câmeras) utilizando apenas duas câmeras.
• Dinâmica Inversa: O DeepGaitLab resultou em um RMSD relativo menor na estimativa de momento articular em comparação ao OpenCap em configurações de duas câmeras, particularmente durante movimentos não sagitais.
• Validação de Recursos: O recurso de calibração automatizada alcançou desempenho comparável à calibração manual por tabuleiro de xadrez. O ajuste fino específico ao ambiente proporcionou melhorias marginais, mas estatisticamente significativas, em tarefas de caminhada sobre o solo, particularmente para a cinemática de joelho e tornozelo.

Significância
O artigo posiciona o DeepGaitLab como uma plataforma prática e escalável que preenche a lacuna entre a biomecânica de nível de pesquisa e a implementação clínica. Ao demonstrar que uma análise de movimento de qualidade de pesquisa pode ser alcançada com câmeras RGB de nível de consumo e supervisão sintética, o framework democratiza o acesso à análise quantitativa da marcha. Os autores sugerem que, embora os sistemas baseados em marcadores tenham sido por muito tempo o "padrão ouro", a capacidade dos métodos baseados em visão de se aproximar ou potencialmente superar esses limites (uma vez que novas referências de maior fidelidade, como a radiografia de plano duplo, sejam adotadas) pode redefinir as métricas de avaliação clínica. O DeepGaitLab oferece uma alternativa transparente e de código aberto aos sistemas proprietários, permitindo uma adoção mais ampla em clínicas e laboratórios sem os compromissos de precisão, escalabilidade ou flexibilidade que limitaram as ferramentas anteriores.