Resumen Técnico: RhythmFormer: Un Análisis Sistemático de XAI para la Atención Dispersa Periódica en Fotopletismografía Remota

Planteamiento del Problema

La fotopletismografía remota (rPPG) mediante aprendizaje profundo, particularmente con arquitecturas basadas en transformers como RhythmFormer, ha logrado un error de frecuencia cardíaca bajo en diversos benchmarks. Sin embargo, a medida que estos sistemas avanzan hacia el despliegue clínico, sus procesos de toma de decisiones siguen siendo opacos. Los enfoques actuales de IA Explicable (XAI) para rPPG están limitados por:

1. Dominancia Cualitativa: Dependencia de la inspección visual de mapas de calor sin métricas de fidelidad cuantitativas.
2. Falta de Fundamentación Fisiológica: Ausencia de validación frente a fuentes de señal fisiológica conocidas (p. ej., regiones de la piel facial).
3. Brechas Metodológicas: Los mapas de atención crudos son cuestionados como proxies fieles del enfoque del modelo, ya que las regiones resaltadas pueden no ser las que realmente impulsan las predicciones.
4. Complejidad de la Atención Dispersa: RhythmFormer utiliza un mecanismo de "enrutamiento bi-nivel" con selección top-k, lo que crea matrices de atención dispersas. Los métodos de atribución acumulativa estándar (como el attention rollout) pueden fallar al no contabilizar cómo estas restricciones de dispersión interactúan a través de las capas.

Metodología

Modelo y Arquitectura

El estudio se centra en RhythmFormer, un transformer de flujo único para rPPG. Su innovación central es el mecanismo de Atención Dispersa Periódica dentro de los bloques de Transformer Periódico Temporal Jerárquico (TPT):

• Enrutamiento Bi-nivel: Las consultas (queries) y claves (keys) se proyectan y agrupan para generar puntuaciones gruesas. Una selección top-k (k=40) filtra las regiones, reteniendo solo las áreas con las puntuaciones más altas.
• Atención Refinada: Se aplica la atención de producto punto escalado estándar únicamente a los pares clave-valor recolectados.
• Estructura: El modelo consta de tres niveles TPT jerárquicos, cada uno con dos bloques, sumando seis capas de atención.

Marco de XAI

Los autores adaptan y aplican cuatro métodos de atribución a la arquitectura dispersa de RhythmFormer:

1. Atención Cruda (Raw Attention): Agregación por columnas de los pesos de atención.
2. Atención Rollout (Attention Rollout): Multiplicación recursiva de matrices de atención aumentadas para capturar relaciones de tokens transitivos.
3. Flujo de Atención (Attention Flow): Modelado de la atención como una red de flujo para calcular el flujo máximo entre los tokens de entrada y salida.
4. Más allá de la Intuición (Beyond Intuition, BI): Un método híbrido que combina el attention rollout con gradientes integrados. Descompone la atribución en:
   • $P(L)$: Attention rollout corregido por W (reponderación de tokens mediante la magnitud de su proyección de valor para corregir la distorsión del flujo de información).
   • $F^c$: Máscara de gradiente integrado de la pérdida con respecto a la última capa de atención.
   • Atribución final: $T = P(L) \odot F^c$.

Adaptaciones para RhythmFormer: Los autores reconstruyen las matrices dispersas como matrices densas de $N \times N$ (con ceros para las regiones excluidas) para permitir operaciones matriciales. También adaptan la línea base para los gradientes integrados a un video de intensidad media por clip en lugar de una pantalla negra para mantener la validez de la distribución para rPPG.

Métricas de Evaluación

Se introducen dos métricas cuantitativas para ir más allá de la inspección visual:

1. Cobertura de la Piel (Skin Coverage): La relación entre la masa de atención que cae en regiones de piel fisiológicamente válidas (cara y cuello) frente a la masa total de atención. Se calcula utilizando un analizador facial BiSeNet pre-entrenado.
2. Fidelidad SaCo: Adaptada de la clasificación a la regresión rPPG. Mide la consistencia entre el ranking de saliencia de los grupos de píxeles y el impacto en la predicción (medido como el Error Absoluto Medio, MAE, entre las formas de onda rPPG originales y perturbadas). Un puntaje SaCo más alto indica que el enmascaramiento de las regiones de alta saliencia causa un mayor error de predicción, confirmando la fidelidad de la explicación.

Resultados Clave

1. Fuga de Múltiples Saltos (Multi-Hop Leakage) en la Atención Dispersa

Un hallazgo crítico es el efecto de "fuga de múltiples saltos" en el attention rollout estándar.

• Observación: Aunque las capas de atención refinada individuales eliminan explícitamente aproximadamente el 50% de las entradas fuera de la diagonal mediante la selección top-k, el producto acumulativo del rollout restaura estas conexiones.
• Cuantificación: Aproximadamente el 48% de la masa de atribución fuera de la diagonal en el rollout simple proviene de entradas que fueron puestas a cero en al menos una capa.
• Consecuencia: Esta fuga provoca que el rollout refinado tenga una menor cobertura de piel que la etapa de "pre-atención", contradiciendo la intuición de que la dispersión debería mejorar el enfoque en la piel.

2. Rendimiento de "Más allá de la Intuición"

Beyond Intuition (BI) emerge como el candidato más fuerte para este entorno:

• Mitigación de la Fuga: La corrección por W en el componente $P(L)$ de BI atenúa la fuga de múltiples saltos.
• Cobertura de Piel: BI logra la mayor mediana de cobertura de piel refinada (0.83) en comparación con el rollout vanilla (0.57) y el flujo de atención (0.46).
• Fidelidad: BI alcanza el puntaje de fidelidad SaCo más alto (0.92) en el conjunto de datos UBFC-rPPG.
• Mecanismo: La combinación de la ponderación de la proyección de valor y la máscara soportada por el gradiente restringe eficazmente la atribución a las regiones en las que el modelo realmente confía, evitando los ceros "rellenados" del rollout estándar.

3. Correlación con la Calidad de la Predicción

• Cobertura de Piel vs. Calidad de la Forma de Onda: Existe una correlación positiva significativa entre la cobertura de la piel y la fidelidad de la reconstrucción de la forma de onda (Pearson $r$).
• Cobertura de Piel vs. Error de Frecuencia Cardíaca: Existe una tendencia negativa débil entre la cobertura de la piel y el MAE de la Frecuencia Cardíaca (HR). Los autores atribuyen la debilidad de esta correlación a la saturación del rendimiento del conjunto de datos UBFC-rPPG (condiciones controladas, SNR alto), donde incluso formas de onda imperfectas producen estimaciones de HR precisas, enmascarando el impacto de la atención espacial.
• Fidelidad vs. Precisión: Los puntajes de fidelidad SaCo no se correlacionan significativamente con la precisión de la predicción (MAE o $r$ de la forma de onda). Esto sugiere que un modelo puede ser fiel (depender de regiones específicas) incluso si esas regiones no producen la predicción más precisa, o viceversa.

4. Estudio de Caso: Ablación de Artefactos

En un estudio de caso con un clip con oclusión de mano (Sujeto 46, Clip 11), BI produjo inicialmente un puntaje SaCo fuertemente negativo ($F = -0.53$). Tras reemplazar los cuadros ocluidos con cuadros vecinos estables:

• Todos los cuatro métodos mostraron una recuperación en los puntajes SaCo hacia $F \approx 0.8$.
• La cobertura de la piel también mejoró.
• Esta consistencia a través de algoritmos distintos sugiere que SaCo se comporta de manera robusta como una métrica para detectar el desalineamiento de la atribución causado por artefactos.

Significado y Reivindicaciones

El artículo afirma cerrar la brecha entre la plausibilidad visual y la evidencia auditable en rPPG XAI. Sus principales contribuciones son:

1. Marco Sistemático: Proporcionar la primera comparación cuantitativa de múltiples métodos de atribución adaptados específicamente para transformers de enrutamiento top-k dispersos en rPPG.
2. Identificación de la Fuga: Demostrar que los métodos de atribución acumulativa estándar (rollout, flow) sufren de "fuga de múltiples saltos" en arquitecturas dispersas, lo que puede inducir a error en la interpretación del enfoque del modelo.
3. Recomendación de Método: Identificar Beyond Intuition como el método más robusto para RhythmFormer, ya que mitiga explícitamente la fuga y logra una alineación superior con los principios fisiológicos (cobertura de piel) y las métricas de fidelidad.
4. Adaptación de Métricas: Adaptar con éxito el coeficiente de fidelidad SaCo de la clasificación a la regresión rPPG, permitiendo la evaluación cuantitativa de la calidad de la explicación.

Los autores mantienen una postura modesta, señalando que sus hallazgos son específicos para el conjunto de datos UBFC-rPPG y la arquitectura RhythmFormer. Enfatizan que la débil correlación entre la cobertura de la piel y el error de HR puede ser un artefacto de la alta calidad del conjunto de datos y que se requiere una validación adicional en conjuntos de datos diversos y ruidosos para generalizar estos hallazgos.