Cross-view Multimodal Vision-Based Assessment Framework for Traditional Chinese Medicine Rehabilitation Training

Resumo Técnico: Estrutura de Avaliação Baseada em Visão Multimodal de Visão Cruzada para Treinamento de Reabilitação de Medicina Tradicional Chinesa

Problema
As terapias de reabilitação da Medicina Tradicional Chinesa (MTC), como acupuntura e Tuina, requerem movimentos manuais precisos e interações complexas entre mão e objeto. As atuais estruturas de Avaliação de Qualidade de Ação (AQA) automática para fisioterapia baseiam-se tipicamente em dados esqueléticos de visão única. Esta abordagem apresenta três limitações críticas para a MTC: (1) falha em capturar o contexto ambiental necessário para modelar interações mão-objeto (ex.: manipulação de agulha em almofadas de prática); (2) é altamente suscetível à auto-oclusão, onde as mãos ou ferramentas obscurecem umas às outras, comprometendo a continuidade da avaliação; e (3) há uma carência de conjuntos de dados multi-visão padronizados e publicamente disponíveis para a reabilitação de MTC, o que dificulta o desenvolvimento de benchmarks robustos.

Metodologia
Os autores propõem o CME-AQA (Avaliação de Qualidade de Ação Multimodal Melhorada por Visão Cruzada), uma estrutura projetada para integrar informações visuais e de pose de múltiplos pontos de vista para abordar a oclusão e as lacunas de contexto. O sistema compreende dois componentes técnicos primários:

1. Fusão Visual–Pose Baseada em Atenção (AVPF): Este módulo aborda a insuficiência das representações apenas de pose em procedimentos de detalhamento fino. Ele emprega um mecanismo de atenção cruzada condicionado à pose, onde as características da pose da mão atuam como chaves (keys) e valores (values) fixos, enquanto as características visuais servem como consultas (queries). Esta atualização assimétrica refina as representações visuais utilizando pistas geométricas da pose, aumentando a fusão consciente da interação. O módulo é seguido por auto-atenção temporal para modelar dependências de longo alcance dentro da sequência.
2. Alinhamento de Visão Multiescala (MVA): Para aproveitar os dados de múltiplas visões durante o treinamento, mantendo a capacidade de inferência de visão única, a estrutura impõe uma consistência cruzada de visão hierárquica. Durante o treinamento, vídeos sincronizados de primeira pessoa (egocêntricos) e terceira pessoa (exocêntricos) são processados através de módulos de atenção cruzada compartilhados. A estratégia alinha as características latentes em três escalas: características de atenção cruzada precoce, características de saída do AVPF e características de auto-atenção. Isso incentiva representações invariantes de visão, permitindo que o modelo seja implantado usando apenas uma visão de terceira pessoa, beneficiando-se do conhecimento de múltiplas visões aprendido durante o treinamento.

Principais Contribuições

• Proposta de Estrutura: A introdução do CME-AQA, uma estrutura multimodal de visão cruzada especificamente adaptada para a reabilitação de MTC, combinando a fusão visual–pose com aprendizado de múltiplas visões.
• Criação de Dataset: O lançamento de dois conjuntos de dados de visão dupla sincronizados, TCM-AQA61-A (Acupuntura) e TCM-AQA61-T (Tuina). Cada um contém gravações de 61 sujeitos com anotações de especialistas para indicadores de habilidade tanto categóricos (binários) quanto contínuos (metrológicos), capturados via câmeras montadas na testa (primeira pessoa) e externas (terceira pessoa).
• Inovação Técnica: O design do módulo AVPF para o refinamento visual condicionado à pose e a estratégia de treinamento MVA para impor consistência de visão cruzada sem exigir entradas de múltiplas visões na inferência.

Resultados Experimentais
A estrutura foi avaliada nos datasets de MTC propostos e em um dataset externo de Ressuscitação Cardiopulmonar (RCP).

• Desempenho em MTC: Nos datasets TCM-AQA61, o CME-AQA alcançou desempenho superior ou comparável aos baselines competitivos (incluindo STGCN, FineParser, PGT e PHI).
  • Classificação: O método alcançou uma melhoria relativa de mais de 10% nos escores F1 ponderados em tarefas fundamentais como Profundidade da Agulha (0.60 vs. 0.52 para o segundo melhor) e Inserção Rápida da Agulha (0.63 vs. 0.57).
  • Avaliação Metrológica: A estrutura reduziu o Erro Médio Absoluto (MAE) em medidas contínuas, como tempo de inserção (reduzindo o erro de 3.26s para 3.12s) e frequência de manipulação.
• Generalização: Quando testado em um dataset de RCP (utilizando apenas dados esqueléticos devido ao desfoque de privacidade), a estrutura alcançou desempenho comparável a especialistas humanos e baselines de múltiplas visões em critérios baseados em postura (ex.: Posição das Mãos, Posição dos Braços), embora tenha mostrado erros mais elevados em métricas dependentes de interação com objetos deformáveis (ex.: Profundidade, Taxa) onde as pistas visuais estavam ausentes.
• Estudos de Ablação: Experimentos confirmaram que a remoção da visão de primeira pessoa ou das características de pose degradou o desempenho, validando a necessidade da integração multimodal e de múltiplas visões. A análise de sensibilidade indicou que o modelo permanece relativamente estável sob ruído moderado de estimativa de pose.

Significância e Alegações
O artigo afirma que o CME-AQA melhora a precisão da avaliação para o treinamento de reabilitação de MTC estruturado, forneando uma solução de baixo custo, portátil e baseada em visão que supera as limitações da análise esquelética de visão única. Ao integrar pontos de vista complementares e pistas multimodais, a estrutura facilita uma avaliação de habilidades mais precisa e confiável, particularmente para procedimentos finos centrados nas mãos. Os autores posicionam o trabalho como um passo em direção à avaliação padronizada na MTC, observando que, embora a validação atual seja baseada em uma coorte de ensino estruturada (estudantes de medicina), a estrutura demonstra potencial para uma avaliação de habilidades clínicas mais ampla. Os autores reconhecem modestamente as limitações, incluindo a dependência da precisão inicial da estimativa de pose e a necessidade de validação futura em um espectro mais amplo de níveis de expertise.