Resumen Técnico: RhythmJEPA

1. Planteamiento del Problema

La fotopletismografía remota (rPPG) estima señales fisiológicas, como la frecuencia cardíaca, a partir de vídeos faciales mediante el análisis de variaciones sutiles en el color de la piel inducidas por el flujo sanguíneo. A pesar de los avances recientes, los métodos actuales de aprendizaje autosupervisado para rPPG enfrentan dos limitaciones primordiales:

1. Sesgo de Representación: La mayoría de los enfoques autosupervisados dependen de la reconstrucción de píxeles RGB enmascarados o características visuales de bajo nivel. Esto sesga al modelo hacia el aprendizaje de la apariencia y textura facial en lugar de la dinámica fisiológica latente.
2. Restricciones de Escaneo Temporal: Los modelos de espacio de estados recientes (por ejemplo, enfoques basados en Mamba) suelen procesar los tokens de vídeo facial estrictamente en orden cronológico. Esto limita su capacidad para explotar la naturaleza cíclica y cuasi-periódica de las señales de pulso, donde fotogramas temporalmente distantes pueden compartir estados fisiológicos similares mientras que fotogramas adyacentes pueden pertenecer a diferentes fases cardíacas.

En consecuencia, los métodos actuales tienen dificultades para generalizar a través de conjuntos de datos con diferentes cámaras, sujetos y condiciones ambientales, y a menudo no logran capturar las relaciones inter-periodo críticas para una estimación de rPPG robusta.

2. Metodología: RhythmJEPA

Los autores proponen RhythmJEPA, un marco de aprendizaje predictivo de incrustación conjunta estructurado por ritmos. En lugar de reconstruir fotogramas de entrada, el modelo predice representaciones latentes del profesor a partir de vídeos faciales enmascarados, fomentando el aprendizaje de incrustaciones conscientes de la fisiología. La arquitectura consta de cuatro módulos clave:

A. Mezclador de Pulso Espacial (SPM)

Para evitar la complejidad computacional del modelado espacial basado en Transformers, RhythmJEPA emplea un SPM ligero.

• Función: Captura claves espaciales sensibles al pulso combinando la apariencia RGB con diferencias temporales de corto plazo.
• Mecanismo: Utiliza ramas de convolución horizontal, vertical y de profundidad local seguidas de un agrupamiento espacial atento. Esto produce tokens de pulso compactos a nivel de fotograma ($Z$) que equilibran complejidad y rendimiento.

B. Planificador de Estado de Ritmo Cíclico (CRSP)

Para modelar explícitamente la estructura temporal de las señales de pulso, el CRSP asigna estados fisiológicos latentes a los fotogramas.

• Estimación de Estado: Una Red de Análisis de Fourier (FAN) predice los logits de estado de ritmo por fotograma.
• Decodificación de Ruta: El modelo decodifica la ruta de estado cíclico más plausible ($s^*$) utilizando programación dinámica (estilo Viterbi) restringida por una gramática de transición. Esta gramática impone que un estado puede permanecer sin cambios o transicionar al siguiente estado en el ciclo ($A(i) = \{i, (i+1) \mod K\}$).
• Regularización: Se introducen dos pérdidas para asegurar asignaciones de estado estables:
  • Pérdida de Transición Cíclica ($L_{cyc}$): Fomenta la adherencia a la gramática de transición cíclica.
  • Pérdida de Equilibrio de Estado ($L_{bal}$): Evita el colapso de estado asegurando una distribución uniforme del uso de estados a lo largo del ciclo de pulso.

C. Codificador Mamba de Doble Orden (DOM)

El DOM aborda la limitación del escaneo exclusivamente cronológico mediante el procesamiento de la secuencia de tokens en dos órdenes complementarios:

1. Rama Cronológica: Escanea los tokens en su orden temporal original para capturar la continuidad local.
2. Rama de Estado de Ritmo: Reordena los tokens basándose en los estados cíclicos decodificados ($s^*$) antes de escanearlos. Esto permite que el módulo Mamba capture dependencias de largo alcance entre fotogramas que comparten fases fisiológicas similares, independientemente de su distancia temporal.

• Fusión: Las salidas de ambas ramas se fusionan mediante un mecanismo de compuerta (gating) por token para producir características temporales conscientes del ritmo ($Y$).

D. Cabeza de Predicción y Estrategia de Entrenamiento

• Pre-entrenamiento: El modelo se pre-entrena utilizando un objetivo de Arquitectura de Aprendizaje Predictivo de Incrustación Conjunta (JEPA). Una rama estudiante procesa vídeos enmascarados, mientras que un profesor de Media Móvil Exponencial (EMA) procesa el vídeo original. El estudiante predice las representaciones latentes del profesor en las posiciones enmascaradas.
• Ajuste Fino (Fine-tuning): El modelo pre-entrenado se ajusta para la regresión de la forma de onda utilizando una pérdida de correlación de Pearson negativa para alinear la forma de onda rPPG predicha con la verdad de campo (ground truth).

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Marco RhythmJEPA: Un marco de aprendizaje predictivo de incrustación conjunta que aprende representaciones fisiológicas latentes a partir de vídeos faciales enmascarados, evitando el sesgo de la reconstrucción de píxeles.
2. Mezclador de Pulso Espacial (SPM): Un módulo de modelado espacial ligero que captura eficazmente claves sensibles al pulso sin la sobrecarga de la atención espacial basada en Transformers.
3. Modelado Temporal Consciente del Ritmo: La introducción de CRSP y el Codificador Mamba de Doble Orden (DOM) para modelar la recurrencia fisiológica cíclica. Esto va más allá del escaneo cronológico convencional para capturar relaciones inter-periodo, regularizadas por pérdidas de consistencia de ciclo y equilibrio de estado.
4. Validación Empírica: Experimentos extensos intra-dataset y cross-dataset que demuestran la efectividad y robustez del marco.

4. Resultados Experimentales

Los autores evaluaron RhythmJEPA en tres benchmarks: PURE, UBFC-rPPG y MMPD.

• Rendimiento Intra-dataset: RhythmJEPA alcanzó resultados de vanguardia (SOTA) en todas las métricas (MAE, MAPE, RMSE y Pearson $r$).
  • En PURE, logró una correlación perfecta ($r=1.00$) y redujo el MAE en un 20.0% en comparación con el anterior mejor resultado (LSTS).
  • En UBFC-rPPG, redujo el MAE de 0.51 a 0.21 (una mejora del 58.8%).
  • En el desafiante conjunto de datos MMPD, mejoró la correlación de 0.74 a 0.76 y redujo el MAE en un 4.9%.
• Generalización Cross-dataset: El modelo demostró una transferibilidad superior cuando se entrena en un conjunto de datos y se prueba en otro (por ejemplo, PURE $\to$ UBFC-rPPG). Superó consistentemente a líneas base como PhysNet y RhythmFormer, lo que sugiere que aprende representaciones fisiológicas invariantes al dominio en lugar de estadísticas de apariencia específicas del conjunto de datos.
• Eficiencia: Con 3.20M de parámetros y 33.50G MACs, RhythmJEPA es significativamente más ligero que los métodos recientes basados en Transformers (por ejemplo, PhysFormer, LSTS) manteniendo un rendimiento superior. Ofrece un compromiso favorable entre precisión y eficiencia, siendo el segundo modelo más eficiente en términos de parámetros y latencia mientras alcanza la mayor precisión.

5. Significado y Reivindicaciones

El artículo afirma que RhythmJEPA representa un cambio de la reconstrucción basada en la apariencia hacia el aprendizaje de representaciones conscientes de la fisiología. Al predecir las incrustaciones latentes del profesor en lugar de los píxeles RGB, el modelo se ve incentivado a centrarse en la señal de pulso subyacente.

La importancia del trabajo radica en su modelado explícito de la naturaleza cíclica de las señales rPPG. Los autores argumentan que la continuidad cronológica por sí sola es insuficiente para una estimación robusta porque los fotogramas con estados fisiológicos similares pueden estar temporalmente distantes. La integración de CRSP y DOM permite al modelo "reordenar" la secuencia temporal basándose en estados de ritmo latentes, capturando así las dependencias inter-periodo que los modelos secuenciales estándar pasan por alto.

Los autores señalan modestamente que, si bien los estados de ritmo aprendidos son efectivos para la estimación, siguen siendo implícitos y pueden no corresponder directamente a fases cardíacas clínicamente interpretables. Se sugiere como trabajo futuro investigar un modelado de ritmo más interpretable y la evaluación bajo condiciones del mundo real más diversas.