BTS-rPPG: Orthogonal Butterfly Temporal Shifting for Remote Photoplethysmography

1. Planteamiento del Problema

La fotopletismografía remota (rPPG) permite la detección fisiológica sin contacto analizando videos faciales para capturar variaciones sutiles en la apariencia causadas por la circulación sanguínea. Sin embargo, modelar la dinámica temporal de estas señales presenta desafíos significativos:

• Limitación de las metodologías actuales: La mayoría de los métodos de aprendizaje profundo existentes dependen de operadores de desplazamiento temporal o convoluciones que agrupan información principalmente de frames adyacentes.
• Consecuencia: Esto resulta en un modelado temporal predominantemente local y en campos receptivos temporales limitados.
• La necesidad: Las variaciones de apariencia inducidas por el corazón evolucionan a lo largo de intervalos temporales más largos. Las interacciones locales restringen la capacidad del modelo para capturar dependencias temporales de largo alcance, que son cruciales para modelar señales fisiológicas periódicas.
• Redundancia: Los operadores de desplazamiento tradicionales a menudo transfieren características altamente correlacionadas entre frames, introduciendo información redundante y una comunicación temporal ineficiente.

2. Metodología Propuesta: BTS-rPPG

Los autores proponen BTS-rPPG, un marco de modelado temporal basado en el Desplazamiento Temporal de Mariposa Ortogonal (Orthogonal Butterfly Temporal Shifting - BTS). La arquitectura se integra en un backbone de Swin Transformer y consta de dos mecanismos principales:

A. Desplazamiento Temporal de Mariposa (BTS)

Inspirado en el patrón de comunicación "mariposa" de la Transformada Rápida de Fourier (FFT), BTS establece interacciones estructuradas entre frames para expandir progresivamente el campo receptivo temporal.

• Programación de Emparejamiento: Utiliza un programa de emparejamiento basado en XOR (operación bit a bit). En cada etapa $\ell$, el frame $t$ se comunica con su par $\pi_\ell(t) = t \oplus 2^{\ell-1}$.
• Expansión Progresiva: Esto genera desplazamientos temporales de $1, 2, 4, \dots, 2^{L-1}$ a través de las etapas de la red.
• Beneficio: Permite una propagación eficiente de información desde dependencias de corto alcance (locales) hasta dependencias de largo alcance (globales) de manera jerárquica, similar a cómo la FFT mezcla información en múltiples etapas.

B. Transferencia de Características Ortogonales (OFT)

Para abordar el problema de la redundancia al intercambiar características entre frames, se introduce un mecanismo de filtrado.

• Filtrado Ortogonal: Antes de realizar el desplazamiento temporal, el mecanismo filtra la característica fuente en relación con el contexto objetivo.
• Mecanismo: Descompone la característica en una parte transferible y una parte retenida. Calcula la proyección de la fuente sobre el contexto objetivo y retiene solo el componente ortogonal para la transmisión cruzada.
• Objetivo: Esto asegura que solo se transmita información complementaria (no redundante) al frame objetivo, fomentando una interacción temporal más efectiva y reduciendo la propagación de información repetitiva.

3. Contribuciones Clave

1. Mecanismo BTS: Introducción de una interacción temporal estructurada mediante un programa de emparejamiento de mariposa basado en XOR, que expande progresivamente el campo receptivo temporal sin aumentar significativamente la complejidad computacional.
2. Estrategia OFT: Propuesta de un mecanismo que filtra las características fuente para retener solo el componente ortogonal respecto al contexto objetivo, mitigando la redundancia en la comunicación temporal.
3. Rendimiento Superior: Validación experimental extensa que demuestra que BTS-rPPG captura dinámicas fisiológicas de largo alcance de manera más efectiva y supera consistentemente a las estrategias de modelado temporal existentes.

4. Resultados Experimentales

El método fue evaluado en tres conjuntos de datos de referencia (benchmarks): PURE, UBFC-rPPG y MMPD.

• Evaluación Intra-conjunto de datos:

  • BTS-rPPG logró el mejor rendimiento en todos los conjuntos de datos, superando a los métodos más fuertes (como RhythmFormer y TS-CAN).
  • Mejoras cuantitativas: En el conjunto UBFC-rPPG, redujo el Error Absoluto Medio (MAE) en un 67.1% y el RMSE en un 67.0% en comparación con el mejor competidor. En PURE y MMPD también mostró mejoras significativas (reducciones de MAE de ~22% y ~16% respectivamente).
  • Logró correlaciones de Pearson ($r$) cercanas a 1.00 en condiciones controladas y desafiantes.

• Evaluación Inter-conjunto de datos (Generalización):

  • En pruebas de transferencia entre dominios (ej. entrenar en PURE y probar en UBFC-rPPG o MMPD), BTS-rPPG mantuvo el mejor rendimiento general, demostrando una mayor robustez ante cambios de dominio (iluminación, tipo de piel, movimiento) en comparación con otros modelos.

• Eficiencia Computacional:

  • Aunque es más pesado que las CNN ligeras, BTS-rPPG ofrece un mejor equilibrio eficiencia-precisión que los modelos basados en Transformers recientes (como PhysFormer), requiriendo menos parámetros y operaciones MAC, y logrando una inferencia en tiempo real (~2.05 Kfps en GPU T4).

• Estudios de Ablación:

  • Se demostró que tanto OFT como BTS contribuyen individualmente a la mejora.
  • El análisis de diseño reveló que el orden de la interacción temporal es crítico: el esquema de "mariposa" (de corto a largo alcance progresivo) es superior a esquemas lineales o inversos, alineándose mejor con la naturaleza jerárquica de la formación de señales fisiológicas.

5. Significado e Impacto

El trabajo de BTS-rPPG es significativo porque aborda una limitación fundamental en el modelado de señales rPPG: la incapacidad de los métodos actuales para capturar dependencias temporales de largo alcance de manera eficiente y no redundante.

• Innovación Teórica: Al inspirarse en la estructura de la FFT, introduce un nuevo paradigma de comunicación temporal jerárquica en redes neuronales para señales fisiológicas.
• Aplicabilidad Práctica: La capacidad de manejar ruido, movimiento y variaciones de iluminación, junto con la eficiencia computacional, posiciona a este método como un candidato viable para aplicaciones de monitoreo de salud en el mundo real y dispositivos móviles.
• Dirección Futura: Los autores sugieren que la relación entre los patrones de interacción temporal inducidos por BTS y la estructura espectral de las señales rPPG merece una comprensión teórica más profunda en trabajos futuros.