Resumo Técnico: Transferência Adaptativa de Priores para Reconhecimento de Ações Baseado em Esqueleto (PATS)

Declaração do Problema

Embora os modelos de reconhecimento de ações baseados em esqueleto tenham alcançado um forte desempenho em benchmarks gerais de larga escala (ex: NTU RGB+D), a transferência direta desses modelos para cenários de domínio específico e de baixos dados — particularmente em monitoramento de saúde (ex: detecção de Alzheimer, detecção de quedas) — frequentemente resulta em resultados subótimos. Dois desafios primários dificultam essa transferência:

1. Mudança de Domínio e Relevância: Tarefas de saúde frequentemente envolvem desvios de movimento sutis e clinicamente relevantes que estão sub-representados em conjuntos de dados de ações gerais. Consequentemente, nem todos os priors de movimento pré-treinados são igualmente úteis; reter componentes irrelevantes pode prejudicar a adaptação.
2. Restrições de Eficiência: A implantação de saúde no mundo real frequentemente enfrenta restrições de recursos (dados limitados, poder computacional e armazenamento). O ajuste fino (fine-tuning) padrão de todos os parâmetros retém componentes redundantes, aumentando os custos computacionais sem necessariamente melhorar o desempenho para tarefas de escopo estreito.

Métodos existentes de transferência de aprendizado tipicamente dependem de ajuste fino de parâmetros totais ou compressão de modelo genérica (ex: destilação de conhecimento, poda de pesos) que não avaliam explicitamente a relevância de priors de movimento específicos para a tarefa de saúde alvo.

Metodologia: O Framework PATS

Os autores propõem o Prior-Adaptive Transfer of Skeletons (PATS), um framework unificado projetado para adaptar modelos de esqueleto baseados em ação a tarefas de domínio específico, retendo seletivamente os priors de movimento relevantes para a tarefa enquanto filtra os redundantes. O framework consiste em três módulos:

1. Extração de Sinal de Esqueleto

Dados de vídeo brutos são processados para extrair sequências de esqueletos padronizadas.

• Estimativa de Pose: O framework adota o AlphaPose como o estimador padrão devido à sua robustez em vistas laterais e cenários com oclusão em comparação ao OpenPose.
• Unificação: Os esqueletos extraídos passam por unificação topológica e dimensional, mapeando-os para a representação de 25 articulações e topologia do conjunto de dados NTU RGB+D para garantir consistência entre os conjuntos de dados.

2. Modelagem de Ação de Esqueleto

Um backbone baseado em grafos, especificamente o InfoGCN, é empregado para codificar a dinâmica espaço-temporal. Este backbone serve como uma ponte, expondo priors de movimento gerais aprendidos de conjuntos de dados de larga escala (como o NTU RGB+D 60) para subsequente adaptação.

3. Transferência Adaptativa de Priores (Contribuição Central)

Este módulo realiza poda e refinamento iterativos para comprimir o modelo enquanto preserva o conhecimento relevante para a tarefa. O processo envolve duas etapas principais:

• Pontuação de Redundância:

  • O modelo é tratado como uma sequência de blocos computacionais.
  • Para identificar blocos redundantes, o framework calcula o Erro Quadrático Médio (MSE) entre as representações de características de entrada e saída de cada bloco no conjunto de treinamento do domínio alvo ($D_t$).
  • Um bloco com baixo MSE indica que sua saída é quase idêntica à sua entrada (atuando como um mapeamento de identidade) sob a distribuição alvo, sugerindo que ele contribui minimamente para a tarefa específica.
  • O bloco com o menor MSE ($k^*$) é identificado como redundante e podado.

• Ajuste Fino Compensatório:

  • A poda pode perturbar a distribuição de características aprendida. Para recuperar o desempenho, o modelo podado passa por ajuste fino.
  • Estratégias: Os autores avaliam duas estratégias: o Ajuste Fino de Todos os Parâmetros (FFT) para máxima precisão e LoRA (Adaptação de Baixo Rank) para eficiência de parâmetros, adequada para implantações em borda (edge).
  • Perdas de Alinhamento: Para estabilizar ainda mais o modelo podado contra o modelo original não podado ($M_0$), duas funções de perda adicionais são introduzidas durante o ajuste fino:
    1. Alinhamento de Modelo Inter-blocos ($L_e$): Alinha as características de saída dos blocos do modelo podado com os blocos correspondentes no modelo não podado.
    2. Alinhamento de Nível de Ação ($L_{KL}$): Utiliza a divergência de Kullback–Leibler (KL) para alinhar os logits de predição de classe do modelo podado com o modelo não podado.
  • A função de perda total é $L = L_{AR} + L_e + L_{KL}$, onde $L_{AR}$ é a perda padrão de reconhecimento de ação.

Principais Contribuições

1. Framework PATS: Um novo framework para adaptar modelos de ação de esqueleto para cenários de baixo dado e domínio específico, combinando transferência de aprendizado com retenção seletiva de priors.
2. Estratégia de Transferência Adaptativa de Priores: Um mecanismo que utiliza poda de blocos consciente de redundância (baseada na discrepância de característica de entrada-saída) e adaptação compensatória para remover priors irrelevantes à tarefa enquanto preserva os úteis.
3. Validação Empírica: Experimentos extensos demonstrando que a transferência seletiva de priors melhora tanto a precisão quanto a eficiência em comparação com o ajuste fino padrão e outros baselines de compressão.

Resultados Experimentais

Os autores avaliaram o PATS em duas tarefas de saúde:

• Detecção de Alzheimer: Usando o conjunto de dados EHE (6 categorias de exercícios matinais).
• Detecção de Quedas: Usando o conjunto de dados UP-Fall (11 classes incluindo quedas e atividades diárias).

Principais Descobertas:

• Desempenho: Modelos treinados do zero tiveram um desempenho ruim. Modelos pré-treinados com ajuste fino total (FFT) tiveram um bom desempenho, mas o PATS (FFT) consistentemente alcançou os melhores resultados, muitas vezes superando o baseline não comprimido. Por exemplo, no conjunto de dados EHE, o PATS (FFT) com 1 bloco podado alcançou 85,52% de precisão (Fold 1), superando o baseline não comprimido (84,14%).
• Eficiência: A estratégia de poda reduziu os parâmetros do modelo em aproximadamente 30% e melhorou a latência de inferência em cerca de 10%.
• Comparação: O PATS superou outros baselines de compressão, incluindo destilação de modelo e poda de pesos (L1-norm), que degradaram o desempenho em relação ao modelo não comprimido.
• Estudos de Ablação:
  • Tanto o alinhamento inter-blocos ($L_e$) quanto o alinhamento de nível de ação ($L_{KL}$) mostraram-se críticos para recuperar o desempenho após a poda.
  • A métrica MSE para pontuação de redundância foi validada; remover o bloco com o menor MSE (Bloco 8 nos experimentos do UP-Fall) resultou na melhor precisão, confirmando a eficácia da métrica.

Significância e Alegações

O artigo afirma que o PATS aborda uma lacuna crítica na implantação do reconhecimento de ação baseado em esqueleto em cenários de saúde do mundo real. Ao ir além do simples ajuste fino para a transferência seletiva de priors, o framework permite que os modelos generalizem efetivamente em domínios de baixos dados, enquanto simultaneamente melhora a eficiência computacional.

Os autores enfatizam que esta abordagem permite a implantação de sistemas robustos de reconhecimento de ação em dispositivos com recursos limitados (ex: computação de borda em ambientes comunitários) sem sacrificar a precisão diagnóstica necessária para aplicações clínicas, como monitoramento de Alzheimer ou detecção de quedas. O trabalho sugere que "menos é mais" na transferência de aprendizado: remover priors gerais redundantes pode, na verdade, aumentar o desempenho específico da tarefa.