HOT: Harmonic-Constrained Optimal Transport for Remote Photoplethysmography Domain Adaptation

1. El Problema: Desplazamiento de Dominio en rPPG

La fotopletismografía remota (rPPG) permite medir señales fisiológicas (como el volumen sanguíneo y la frecuencia cardíaca) de forma no invasiva a partir de videos faciales. Sin embargo, la implementación práctica de los modelos de aprendizaje profundo actuales se ve obstaculizada por el desplazamiento de dominio (domain shift).

• Causa: Los modelos suelen sobreajustarse a factores relacionados con la apariencia (iluminación, características de la cámara, respuesta de color) que varían significativamente entre conjuntos de datos de entrenamiento y prueba.
• Consecuencia: Cuando un modelo entrenado en un dataset (ej. PURE) se despliega en otro con condiciones diferentes (ej. MMPD), su rendimiento se degrada drásticamente.
• Brecha actual: Aunque existen técnicas de adaptación de dominio en visión por computadora, la adaptación en el dominio de la frecuencia (FDA) no se ha explorado en rPPG. Aplicar transformaciones de apariencia de forma ingenua puede corromper las señales fisiológicas sutiles que el modelo debe detectar.

2. Metodología Propuesta: El Marco HOT

Los autores proponen HOT (Harmonic-Constrained Optimal Transport), un marco que combina una estrategia de adaptación de datos con una función de pérdida regularizada fisiológicamente.

A. Adaptación en el Dominio de la Frecuencia (FDA)

Esta es una estrategia a nivel de datos para generar muestras de entrenamiento que imiten las variaciones del dominio objetivo sin alterar la dinámica fisiológica subyacente.

• Mecanismo: Se aplica una Transformada Rápida de Fourier (FFT) a los fotogramas del video.
• Proceso: Se reemplaza únicamente el espectro de amplitud de baja frecuencia de un clip de origen con el de un fotograma de referencia del dominio objetivo (no etiquetado).
• Preservación: Se mantiene intacto el espectro de fase original. Dado que la fase contiene la información de la estructura y la dinámica temporal (incluyendo las variaciones de color sutiles del pulso), esto permite corregir el sesgo fotométrico del dominio sin destruir la señal de rPPG.

B. Descriptores Armónicos Locales

Para garantizar que la alineación entre el video original y el video adaptado (FDA) sea fisiológicamente coherente, se extraen descriptores basados en la naturaleza armónica de las señales cardíacas.

• Se tokeniza la secuencia temporal de características.
• Se calcula la energía espectral en bandas de frecuencia fisiológicas (ej. frecuencia cardíaca).
• Se define una relación armónica local ($r_t$) que compara la energía del primer armónico con la del segundo armónico dentro de la banda de frecuencia cardíaca. Esto actúa como una "huella dactilar" fisiológica.

C. Transporte Óptimo con Restricción Armónica (HOT)

El núcleo de la propuesta es formular la alineación temporal como un problema de Transporte Óptimo (OT) restringido por la coherencia fisiológica.

• Costo de Transporte: Se define una matriz de costos entre los tokens temporales del video original y el video adaptado. El costo incluye:
  1. Disimilitud geométrica (coseno entre características).
  2. Inconsistencia armónica (diferencia entre los descriptores $r_t$ y $\tilde{r}_t$).
• Función de Pérdida: Se utiliza el algoritmo de Sinkhorn (con regularización de entropía) para encontrar el plan de transporte óptimo que minimiza este costo.
• Objetivo de Entrenamiento: La pérdida total combina la pérdida supervisada (correlación negativa con la señal real) y la pérdida de alineación HOT. Esto fuerza al modelo a aprender representaciones que son invariantes a la apariencia pero consistentes en la dinámica fisiológica.

3. Contribuciones Clave

1. Primera aplicación de FDA en rPPG: Introducen la adaptación en el dominio de la frecuencia para la generalización de dominio en rPPG, utilizando datos no etiquetados del dominio objetivo para sintetizar variaciones de apariencia realistas.
2. HOT (Harmonic-Constrained Optimal Transport): Proponen una nueva función de pérdida que utiliza las propiedades armónicas de la señal cardíaca para guiar la alineación entre representaciones originales y adaptadas, evitando correspondencias fisiológicamente incompatibles.
3. Validación Exhaustiva: Demuestran que el marco FDA + HOT mejora consistentemente la robustez y la generalización en escenarios de transferencia cruzada entre múltiples datasets (PURE, UBFC-rPPG, MMPD).

4. Resultados Experimentales

Los experimentos se realizaron en tres datasets populares (PURE, UBFC-rPPG, MMPD) con arquitecturas base diversas (DeepPhys, PhysNet, TSCAN, PhysFormer, EfficientPhys, RhythmFormer).

• Rendimiento General: HOT mejora consistentemente las métricas (MAE, RMSE, MAPE, Correlación de Pearson) en todas las configuraciones de transferencia de dominio.
• Escenarios Difíciles: Las mejoras son más pronunciadas en transferencias hacia MMPD (un dataset con gran variación de iluminación, tono de piel y movimiento), donde los métodos base sufren más.
  • Ejemplo: En la transferencia UBFC-rPPG → MMPD con PhysNet, el MAE disminuyó de 11.25 a 10.36 y la correlación aumentó de 0.34 a 0.38.
• Análisis de Alineación: Los gráficos de Bland-Altman muestran que las predicciones con HOT tienen una dispersión reducida y una mejor concordancia con la frecuencia cardíaca de referencia.
• Eficiencia: HOT introduce un sobrecosto computacional principalmente durante el entrenamiento (+11.1% en tiempo, +98% en memoria pico debido al cálculo de Sinkhorn), pero no afecta la latencia de inferencia, ya que la alineación solo ocurre en el entrenamiento.

5. Significado e Impacto

Este trabajo es significativo porque aborda uno de los mayores cuellos de botella en la rPPG: la falta de robustez ante cambios de entorno.

• Enfoque Fisiológico: A diferencia de métodos anteriores que regularizan características de forma genérica, HOT incorpora conocimiento de dominio específico (la naturaleza armónica del pulso) directamente en el mecanismo de alineación.
• Viabilidad Práctica: Al utilizar datos no etiquetados del dominio objetivo para la adaptación de apariencia, el método se alinea mejor con escenarios del mundo real donde las etiquetas de frecuencia cardíaca son costosas o inexistentes.
• Generalización: Proporciona una solución efectiva para desplegar sistemas de monitoreo de salud basados en video en condiciones no controladas, superando las limitaciones de los modelos entrenados en laboratorio.

En resumen, HOT representa un avance importante al combinar la manipulación espectral de imágenes (FDA) con la optimización matemática basada en restricciones fisiológicas (Transporte Óptimo) para lograr modelos de rPPG verdaderamente robustos y generalizables.