A Standardized Benchmark for Skeleton-Based Rehabilitation Assessment Using Deep Learning

Resumo Técnico: Um Benchmark Padronizado para Avaliação de Reabilitação Baseada em Esqueleto Usando Aprendizado Profundo

Declaração do Problema
A avaliação automatizada do movimento humano é crítica para a reabilitação, oferecendo uma avaliação objetiva do progresso do paciente e da execução de exercícios. No entanto, a avaliação de movimento de reabilitação difere fundamentalmente do reconhecimento geral de atividade humana. Enquanto o reconhecimento de atividade classifica o que ação está sendo realizada (ex: caminhar vs. correr), a avaliação de reabilitação avalia a qualidade de uma ação específica, exigindo a detecção de desvios sutis de um movimento ideal.

Apesar dos avanços no aprendizado profundo e na extração de esqueletos baseada em vídeo, a área carece de benchmarks padronizados, protocolos de avaliação consistentes e metodologias reproduzíveis. A pesquisa existente frequentemente depende de um conjunto limitado de conjuntos de dados (notadamente KIMORE e UI-PRMD), utiliza protocolos experimentais inconsistentes (variando divisões de dados e métricas) e frequentemente falha em liberar o código fonte. Essa ausência de um framework unificador dificulta a capacidade de comparar abordagens objetivamente, reproduzir resultados ou avaliar a generalização entre diversas populações e tipos de exercícios.

Metodologia
Para abordar essas lacunas, os autores propõem um framework de benchmarking abrangente centrado em três pilares:

1. Arquivo Rehab-Pile: Os autores agregaram nove repositórios públicos existentes em um arquivo unificado chamado "Rehab-Pile". Este arquivo trata cada exercício específico dentro de um repositório como um conjunto de dados independente, resultando em um total de 60 conjuntos de dados:

   • 39 Conjuntos de Dados de Classificação: Cobrindo tarefas binárias e multiclasse (ex: execução correta vs. incorreta, ou tipos de erro específicos).
   • 21 Conjuntos de Dados de Regressão Extrínseca: Cobrindo predição de pontuação contínua (ex: níveis de gravidade ou pontuações de desempenho).
   • Os dados consistem em sequências de esqueletos (coordenadas de articulações) extraídas de fluxos de vídeo (RGB ou RGB-D), capturados principalmente via sensores Kinect ou OpenPose.

2. Framework de Avaliação Unificado: O estudo avalia nove arquiteturas de aprendizado profundo em todos os 60 conjuntos de dados sob um protocolo estritamente padronizado:

   • Arquiteturas: Os modelos abrangem quatro categorias: baseados em Convolução (FCN, H-Inception, LITEMV, DisjointCNN), baseados em Recorrência (MotionGRU, ConvLSTM), baseados em Auto-Atenção (VanTran, ConvTran) e baseados em Grafos (STGCN).
   • Pré-processamento de Dados: Todas as sequências são reamostradas para uma contagem de quadros comum por conjunto de dados, normalizadas usando escala min-max (calculada apenas nos dados de treinamento) e convertidas em um formato de série temporal multivariada (achatando os eixos de articulação e dimensão) para a maioria dos modelos, exceto o STGCN, que utiliza sequências de esqueleto puras.
   • Protocolo Experimental: Uma divisão cross-subject (entre sujeitos) é imposta para evitar vazamento de dados. O número de dobras (folds) é determinado pelo número de sujeitos (5 dobras para $\ge$10 sujeitos, leave-one-subject-out caso contrário).
   • Ensemble: Para estabilizar os resultados, cada modelo é treinado cinco vezes com diferentes inicializações aleatórias por dobra, e as predições são calculadas pela média.
   • Métricas: A classificação é avaliada usando Acurácia e Acurácia Balanceada. A regressão usa Erro Médio Absoluto (MAE) e Raiz do Erro Quadrático Médio (RMSE). A eficiência é medida via tempo de treinamento/inferência, contagem de parâmetros e FLOPs.

3. Análise Estatística: As comparações de desempenho utilizam Matrizes de Múltipla Comparação (MCM) e o Teste de Postos Sinalizados de Wilcoxon para determinar a significância estatística ($p < 0,05$) das diferenças de desempenho entre os modelos.

Principais Resultados
O extenso benchmarking gerou as seguintes descobertas:

• Desempenho de Regressão: O LITEMV (Light Inception with boosTing tEchniques MultiVariate) emergiu como o modelo de melhor desempenho estatisticamente significativo para regressão extrínseca, superando todos os competidores tanto em MAE quanto em RMSE. Os autores atribuem isso ao uso de Convoluções Separáveis em Profundidade (DWSCs) e filtros manuais pelo LITEMV, que capturam efetivamente as correlações temporais e espaciais. O ConvTran (um modelo de auto-atenção com incorporação convolucional) ficou em segundo lugar, sugerindo que dependências de longo prazo são cruciais para tarefas de regressão.
• Desempenho de Classificação: Nas tarefas de classificação, o LITEMV também alcançou a maior acurácia média (75,49%) e acurácia balanceada, embora a margem sobre o VanTran (Vanilla Transformer) não tenha sido estatisticamente significativa ($p > 0,05$). O MotionGRU ficou em segundo lugar em acurácia balanceada, performando bem em conjuntos de dados desbalanceados. Notavelmente, o STGCN (Spatio-Temporal Graph Convolution Network), embora performe razoavelmente em regressão, ficou em último lugar na classificação, sugerindo que arquiteturas baseadas em GCN podem ser menos adequadas para tarefas de classificação de reabilitação nestas condições.
• Trade-off Eficiência vs. Desempenho: O LITEMV demonstrou o melhor trade-off geral, oferecendo desempenho de alto nível com o menor número de parâmetros e FLOPs. O MotionGRU foi o mais rápido para inferência, enquanto o ConvTran foi o mais rápido para treinamento. O VanTran foi o mais computacionalmente caro devido à sua escala quadrática de FLOPs com o comprimento da sequência e múltiplas camadas de atenção.
• Características dos Modelos: Os resultados indicam que CNNs simples (FCN) e LSTMs padrão (ConvLSTM) têm desempenho inferior em comparação com arquiteturas mais especializadas. O sucesso do LITEMV e do ConvTran destaca a importância de capturar tanto padrões temporais locais (via convolução) quanto dependências globais (via atenção ou memória recorrente).

Significância e Alegações
O artigo afirma estabelecer uma base sólida para pesquisas futuras em avaliação de reabilitação automatizada ao:

1. Padronizar o Campo: Fornecer o primeiro arquivo unificado (Rehab-Pile) com 60 conjuntos de dados diversos e um protocolo de avaliação reproduzível, permitindo comparações justas entre estudos.
2. Identificar o Estado da Arte: Demonstrar que o LITEMV é atualmente a arquitetura mais eficaz e eficiente para avaliação de reabilitação baseada em esqueleto, particularmente para tarefas de regressão, enquanto destaca o potencial dos modelos baseados em Transformer para classificação.
3. Promover a Reprodutibilidade: Liberar todos os conjuntos de dados agregados, código fonte e resultados experimentais detalhados para a comunidade para fomentar a transparência e acelerar o desenvolvimento de soluções de reabilitação confiáveis, acessíveis e personalizadas.

Os autores enfatizam que, embora o LITEMV lidere atualmente, a tarefa de classificação continua desafiadora (acurácia média de ~75%), indicando a necessidade de exploração contínua de arquiteturas de modelos para melhorar ainda mais o desempenho.