Frequency-Enhanced Diffusion Models: Curriculum-Guided Semantic Alignment for Zero-Shot Skeleton Action Recognition

Resumen Técnico: FDSM para Reconocimiento de Acciones Esqueléticas Zero-Shot

1. El Problema

El reconocimiento de acciones humanas basado en esqueletos es fundamental en visión por computadora, pero los métodos supervisados tradicionales fallan en escenarios de mundo abierto debido a su dependencia de anotaciones exhaustivas. La Reconocimiento de Acciones Esqueléticas Zero-Shot (ZSAR) surge como solución, utilizando información semántica (texto) para reconocer acciones no vistas durante el entrenamiento.

Sin embargo, la aplicación de Modelos de Difusión a ZSAR enfrenta dos desafíos críticos:

1. Sesgo Espectral (Spectral Bias): Los modelos de difusión estándar, especialmente aquellos basados en Transformers, actúan como filtros "pasa-bajos". Tienden a suavizar excesivamente las dinámicas de alta frecuencia (movimientos rápidos, micro-detalles como el parpadeo de manos o aceleración de pies), preservando la estructura global del pose pero perdiendo los detalles finos necesarios para discriminar acciones complejas.
2. Ambigüedad Semántica-Dinámica: Las etiquetas de clase simples (ej. "Caminar") no transmiten explícitamente la intensidad, el ritmo o la textura espectral del movimiento. Esto hace que el modelo no sepa si debe generar componentes de alta frecuencia (como en "Golpear") o mantenerse estático (como en "Sentarse"), lo que lleva a artefactos o suavizado excesivo.

2. Metodología Propuesta: FDSM

Los autores proponen FDSM (Frequency-Aware Diffusion for Skeleton-Text Matching), un marco unificado diseñado para alinear las restricciones espectrales con la optimización estocástica. La arquitectura se basa en tres componentes sinérgicos:

A. Módulo de Residuo Espectral Guiado Semánticamente (SG-SRM)

• Función: Compensa el sesgo "pasa-bajos" inherente del backbone del modelo de difusión.
• Mecanismo: Transforma las características latentes al dominio de la frecuencia utilizando la Transformada Discreta del Coseno (DCT) a lo largo de la dimensión temporal.
• Amplificación Semántica: Aplica un filtro de ganancia selectiva. En lugar de amplificar todas las frecuencias altas (lo que introduciría ruido), utiliza una puntuación de intensidad cinemática (predicha por una cabeza de proyección ligera destilada de un LLM) para activar la amplificación solo cuando la acción es dinámicamente relevante.
• Resultado: Restaura los detalles de movimiento de alta frecuencia (gradientes temporales agudos) sin distorsionar la topología global del esqueleto.

B. Pérdida Espectral Adaptativa al Paso de Tiempo (Timestep-Adaptive Spectral Loss)

• Problema: Una pérdida de frecuencia estática es subóptima porque los modelos de difusión siguen una trayectoria de generación de "grueso a fino".
• Solución: Se introduce una máscara de ponderación dinámica $W(k, t)$ que ajusta la supervisión de frecuencia según el paso de tiempo ($t$) del proceso de denoising:
  • En etapas tempranas (alto ruido), se suprime la pérdida de alta frecuencia para evitar que el modelo aprenda ruido o alucinaciones.
  • En etapas finales (bajo ruido), se aumenta progresivamente el peso de la pérdida de alta frecuencia para forzar la reconstrucción de micro-detalles.
• Objetivo: Asegurar una reconstrucción físicamente válida que respete la evolución natural del proceso de difusión.

C. Abstracción Semántica Basada en Currículo (Curriculum-based Semantic Abstraction)

• Estrategia: Un enfoque de aprendizaje por currículo para cerrar la brecha entre etiquetas escasas y patrones de movimiento complejos.
• Proceso:
  • Fase Inicial: El modelo se entrena con descripciones ricas generadas por LLM (detallando partes del cuerpo, velocidad, ritmo).
  • Transición: La probabilidad de usar estas descripciones ricas decae suavemente (usando un calendario de annealing coseno) hacia cero.
  • Fase Final: El modelo debe inferir las características cinemáticas complejas únicamente a partir de la etiqueta de clase escasa (ej. "Saltar").
• Beneficio: Obliga al codificador visual a internalizar los priores cinemáticos, permitiendo una inferencia robusta en el escenario zero-shot real.

3. Contribuciones Clave

1. SG-SRM: Un módulo arquitectónico que introduce una vía de residuo en el dominio de la frecuencia para amplificar selectivamente dinámicas de alta frecuencia, mitigando el suavizado excesivo de los backbones generativos.
2. Pérdida Espectral Adaptativa: Un objetivo de optimización que sincroniza la supervisión de frecuencia con el cronograma de denoising, evitando el sobreajuste al ruido en etapas tempranas y priorizando la fidelidad de los detalles en etapas finales.
3. Estrategia de Currículo Semántico: Un método de transferencia de conocimiento que utiliza descripciones ricas de LLM como andamio temporal para enseñar al modelo a generalizar desde etiquetas simples.
4. Rendimiento SOTA: Demostración de que el control espectral explícito es crucial para superar las limitaciones de los métodos discriminativos y generativos actuales.

4. Resultados Experimentales

El método fue evaluado en cuatro conjuntos de datos de referencia: NTU RGB+D (60 y 120 clases), PKU-MMD y Kinetics-skeleton (200 y 400 clases).

• Rendimiento General: FDSM establece un nuevo estado del arte (SOTA) en todos los escenarios Zero-Shot (ZSL) y Zero-Shot Generalizado (GZSL), superando consistentemente a métodos basados en VAE, aprendizaje contrastivo y el modelo base de difusión (TDSM).
  • Ejemplo: En NTU-60 (split 55/5), FDSM alcanza un 87.79% de precisión frente al 86.49% de TDSM.
  • Ejemplo: En Kinetics-400 (split 360/40), logra un 40.25%, superando a TDSM en 1.33 puntos.
• Análisis de Ablación:
  • La eliminación de SG-SRM o de la Pérdida Espectral (LFreq) provoca una caída drástica en el rendimiento, confirmando que la capacidad arquitectónica y la supervisión espectral son interdependientes.
  • La abstracción de currículo aporta mejoras consistentes, validando la transferencia de priores semánticos.
• Análisis Espectral: Las visualizaciones DCT muestran que FDSM recupera la energía de alta frecuencia suprimida en los modelos base, alineándose estrechamente con la distribución espectral de los datos reales (Ground Truth).
• Robustez: El modelo mantiene su superioridad incluso con secuencias temporales acortadas o tasas de muestreo reducidas, gracias a la adaptación proporcional de los umbrales de frecuencia.

5. Significado e Impacto

Este trabajo es significativo porque identifica y resuelve una limitación fundamental en la aplicación de modelos de difusión a la acción humana: la pérdida de fidelidad en alta frecuencia.

• Paradigma de Diseño: Propone que, para tareas de reconocimiento fino, los modelos generativos no deben solo alinearse semánticamente, sino también regularse espectralmente.
• Eficiencia: A pesar de introducir tres módulos, el costo computacional en inferencia es casi nulo (el módulo SG-SRM es una transformación lineal ligera), lo que hace que la solución sea escalable y práctica.
• Futuro: Abre la puerta a la exploración de modelos generativos "conscientes de la frecuencia" para otras tareas de alineación multimodal donde los detalles dinámicos son críticos.

En conclusión, FDSM demuestra que la integración de conocimientos cinemáticos (vía LLM) con un control espectral explícito permite a los modelos de difusión superar las barreras de generalización en el reconocimiento de acciones humanas, logrando una discriminación de micro-detalles que antes era imposible en configuraciones zero-shot.