Frequency-Enhanced Diffusion Models: Curriculum-Guided Semantic Alignment for Zero-Shot Skeleton Action Recognition

Título: Modelos de Difusão Aprimorados por Frequência: Alinhamento Semântico Guiado por Currículo para Reconhecimento de Ações Esqueléticas Zero-Shot

1. O Problema

O reconhecimento de ações humanas baseado em esqueletos (skeleton-based action recognition) é fundamental para aplicações como vigilância e interação humano-robô. No entanto, os métodos supervisionados tradicionais dependem de anotações exaustivas, o que limita sua generalização para novas ações não vistas durante o treinamento. O Reconhecimento Zero-Shot de Ações Esqueléticas (ZSAR) surge como uma solução, utilizando informações semânticas (descrições de texto) para transferir conhecimento entre domínios.

Apesar do potencial, os métodos ZSAR baseados em Modelos de Difusão enfrentam um desafio crítico: o viés espectral (spectral bias).

• O Problema da Suavização: Modelos de difusão padrão, especialmente aqueles baseados em Transformers, tendem a atuar como filtros "passa-baixas". Eles preservam bem a estrutura global do esqueleto (topologia de baixa frequência), mas suavizam excessivamente os detalhes de alta frequência (movimentos rápidos, micro-dinâmicas das extremidades).
• Consequência: Ações distintas que dependem de movimentos rápidos e sutis (ex.: "chutar" vs. "empurrar") tornam-se indistinguíveis, pois os modelos geram movimentos "borrados" e sem a fidelidade dinâmica necessária para a discriminação fina.
• Ambiguidade Semântica: Rótulos de classe simples (ex.: "Caminhada") não transmitem explicitamente a intensidade, ritmo ou dinâmica temporal necessária para guiar a geração de movimentos de alta frequência.

2. Metodologia Proposta: FDSM

Os autores propõem o FDSM (Frequency-Aware Diffusion for Skeleton-Text Matching), um framework unificado que integra três componentes principais para corrigir o viés espectral e alinhar semântica com dinâmica:

A. Módulo de Resíduo Espectral Guiado por Semântica (SG-SRM)

Este módulo atua como um controlador de ganho no domínio da frequência para compensar o viés de "passa-baixas" do backbone de difusão.

• Transformação: Aplica a Transformada Discreta de Cosseno (DCT) ao longo da dimensão temporal dos latentes do esqueleto para separar componentes de baixa frequência (estrutura global) e alta frequência (dinâmica fina).
• Amplificação Seletiva: Em vez de amplificar todas as altas frequências (o que amplificaria ruído de sensor), o módulo usa um filtro de ganho semântico.
• Priors de LLM: Um cabeçalho de projeção leve (distilado de um LLM) prevê uma pontuação de "intensidade cinemática" para cada ação. Se a ação é dinâmica (ex.: "Pular"), o ganho é alto; se é estática (ex.: "Ler"), o ganho é zero. Isso permite recuperar detalhes finos apenas onde semanticamente justificado.

B. Perda Espectral Adaptativa ao Passo de Tempo (Timestep-Adaptive Spectral Loss)

Para evitar que o modelo aprenda ruído ou perca detalhes, a supervisão no domínio da frequência é ajustada dinamicamente durante o processo de difusão.

• Estratégia Coarse-to-Fine: Reconhece que a difusão gera dados do global para o detalhado.
  • Passos Iniciais (Alto Ruído): A perda de alta frequência é suprimida para evitar que o modelo tente ajustar ruído aleatório.
  • Passos Finais (Baixo Ruído): O peso da perda de alta frequência aumenta progressivamente, forçando o modelo a refinar os micro-movimentos discriminativos.
• Isso garante que a reconstrução seja fisicamente válida e rica em detalhes sem superajuste ao ruído.

C. Abstração Semântica Baseada em Currículo (Curriculum-based Semantic Abstraction)

Para resolver a lacuna entre rótulos esparsos e dinâmicas complexas, o modelo é treinado com uma estratégia de "currículo".

• Treinamento: Começa com descrições ricas geradas por LLMs (detalhando partes do corpo, velocidade, ritmo) e, gradualmente, transita para rótulos de classe esparsos (apenas o nome da ação).
• Inferência: Ao final do treinamento, o modelo internalizou as correlações cinemáticas complexas e consegue inferir a distribuição de frequência correta mesmo com apenas o rótulo da classe, garantindo robustez no cenário Zero-Shot.

3. Principais Contribuições

1. SG-SRM: Um módulo arquitetônico que inverte o viés de baixa frequência dos backbones generativos, amplificando seletivamente a dinâmica de alta frequência baseada em priors semânticos.
2. Perda Espectral Adaptativa: Um objetivo de otimização que alinha a supervisão de frequência com o cronograma de denoising, prevenindo alucinações de ruído e garantindo refinamento de detalhes.
3. Estratégia de Currículo: Uma abordagem de treinamento que transfere conhecimento cinemático rico de LLMs para o encoder visual, permitindo generalização robusta a partir de rótulos esparsos.
4. Desempenho SOTA: O método alcança o estado da arte em múltiplos benchmarks, superando tanto métodos discriminativos quanto generativos existentes.

4. Resultados Experimentais

O FDSM foi avaliado em quatro conjuntos de dados de referência: NTU RGB+D 60/120, PKU-MMD e Kinetics-skeleton (200/400).

• Desempenho Geral: O modelo superou consistentemente os métodos mais recentes (como TDSM, FS-VAE, InfoCPL) em todas as configurações de Zero-Shot (ZSL) e Generalized Zero-Shot (GZSL).
  • Exemplo: No NTU-60 (55/5 split), alcançou 87.79% de precisão, superando o TDSM (86.49%).
  • Exemplo: No Kinetics-400 (360/40 split), alcançou 40.25%, superando o TDSM (38.92%).
• Análise Espectral: Visualizações no domínio da frequência (DCT) mostraram que, sem o SG-SRM, o modelo sofre uma queda acentuada de energia nas altas frequências (viés espectral). O FDSM completo recupera essa energia, alinhando-se à distribuição do "Ground Truth".
• Análise de Confusão: O modelo reduziu significativamente a confusão entre ações cinematicamente similares (ex.: "Aplaudir" vs. "Esfregar as mãos"), provando que a recuperação de micro-dinâmicas é crucial para a discriminação fina.
• Eficiência: As adições ao modelo (SG-SRM, perdas e currículo) não aumentam significativamente o número de parâmetros ou o tempo de inferência (adição de ~0.01s no tempo de inferência).

5. Significado e Conclusão

Este trabalho identifica e resolve uma limitação fundamental na aplicação de modelos de difusão para reconhecimento de ações: a perda de detalhes de alta frequência devido ao viés espectral inerente.

• Inovação Conceitual: Demonstra que a regulação espectral explícita é tão importante quanto o alinhamento semântico para a generalização Zero-Shot.
• Impacto Prático: Permite que sistemas de visão computacional reconheçam ações complexas e sutis em cenários do mundo real sem necessidade de anotações massivas para cada nova classe.
• Futuro: Abre caminho para o uso de modelos generativos em tarefas que exigem alta fidelidade temporal e dinâmica, sugerindo que a integração de conhecimento de LLMs com mecanismos de frequência é uma direção promissora para a fusão multimodal.

Em resumo, o FDSM transforma modelos de difusão de geradores de "movimentos médios" para geradores de "movimentos discriminativos e realistas", estabelecendo um novo padrão de desempenho no reconhecimento de ações esqueléticas Zero-Shot.