Riepilogo Tecnico: RhythmFormer: Un'analisi sistematica XAI della Sparse Attention periodica per la fotopletismografia remota

Problema

La fotopletismografia remota (rPPG) tramite deep learning, in particolare le architetture basate su transformer come RhythmFormer, ha raggiunto bassi errori di frequenza cardiaca nei benchmark. Tuttavia, mentre questi sistemi si muovono verso l'impiego clinico, i loro processi decisionali rimangono opachi. Gli approoli esistenti di XAI (Explainable AI) per la rPPG sono limitati da:

1. Dominanza Qualitativa: Affidamento all'ispezione visiva delle mappe di calore senza metriche di fedeltà quantitativa.
2. Mancanza di Fondamento Fisiologico: Assenza di validazione rispetto alle note sorgenti del segnale fisiologico (es. regioni cutanee facciali).
3. Lacune Metodologiche: Le mappe di attenzione grezze sono contestate come proxy fedeli del focus del modello, poiché le regioni evidenziate potrebbero non guidare effettivamente le predizioni.
4. Complessità della Sparse Attention: RhythmFormer utilizza un meccanismo di "bi-level routing" con selezione top-k, creando matrici di attenzione sparse. I metodi standard di attribuzione cumulativa (come l'attention rollout) potrebbero non tener conto di come questi vincoli di sparsità interagiscano tra i livelli.

Metodologia

Modello e Architettura

Lo studio si concentra su RhythmFormer, un transformer a singolo stream per la rPPG. La sua innovazione principale è il meccanismo di Periodic Sparse Attention all'interno dei blocchi Hierarchical Temporal Periodic Transformer (TPT):

• Bi-Level Routing: Query e key vengono proiettate e aggregate per generare punteggi grossolani. Una selezione top-k (k=40) filtra le regioni, mantenendo solo le aree con il punteggio più alto.
• Attenzione Raffinata: L'attenzione standard scalata dot-product viene applicata solo alle coppie key-value raccolte.
• Struttura: Il modello consiste in tre livelli TPT gerarchici, ciascuno contenente due blocchi, per un totale di sei strati di attenzione.

Framework XAI

Gli autori adattano e applicano quattro metodi di attribuzione all'architettura sparsa di RhythmFormer:

1. Raw Attention: Aggregazione per colonna dei pesi di attenzione.
2. Attention Rollout: Moltiplicazione ricorsiva di matrici di attenzione aumentate per catturare le relazioni tra token transitive.
3. Attention Flow: Modellazione dell'attenzione come una rete di flusso per calcolare il flusso massimo tra i token di input e di output.
4. Beyond Intuition (BI): Un metodo ibrido che combina l'attention rollout con gli integrated gradients. Decompone l'attribuzione in:
   • $P(L)$: W-corrected attention rollout (ri-pesatura dei token tramite la magnitudo della proiezione del valore per correggere la distorsione del flusso di informazione).
   • $F^c$: Maschera di integrated gradient della perdita rispetto all'ultimo strato di attenzione.
   • Attribuzione finale: $T = P(L) \odot F^c$.

Adattamenti per RhythmFormer: Gli autori ricostruiscono le matrici sparse come matrici dense $N \times N$ (con zeri per le regioni escluse) per consentire le operazioni matriciali. Adattano anche il baseline per gli integrated gradients a un video a intensità media per clip anziché a uno schermo nero per mantenere la validità distributiva per la rPPG.

Metriche di Valutazione

Due metriche quantitative vengono introdotte per andare oltre l'ispezione visiva:

1. Skin Coverage (Copertura Cutanea): Il rapporto tra la massa di attenzione che ricade su regioni cutanee fisiologicamente valide (viso e collo) rispetto alla massa totale di attenzione. È calcolata utilizzando un parser facciale BiSeNet pre-addestrato.
2. SaCo Faithfulness: Adattata dalla classificazione alla regressione rPPG. Misura la coerenza tra la classifica di salienza dei gruppi di pixel e l'impatto sulla predizione (misurato come MAE tra le forme d'onda rPPG originale e perturbata). Un punteggio SaCo più elevato indica che mascherare le regioni ad alta salienza causa un errore di predizione maggiore, confermando la fedeltà della spiegazione.

Risultati Chiave

1. Multi-Hop Leakage nella Sparse Attention

Un risultato critico è l'effetto di "multi-hop leakage" nell'attention rollout standard.

• Osservazione: Sebbene i singoli strati di refined-attention azzerino esplicitamente circa il 50% delle voci fuori diagonale tramite la selezione top-k, il prodotto cumulativo del rollout ripristina queste connessioni.
• Quantificazione: Circa il 48% della massa di attribuzione fuori diagonale nel plain rollout deriva da voci che erano state azzerate in almeno uno strato.
• Conseguenza: Questo leakage causa un rollout raffinato con una minore skin coverage rispetto allo stadio "pre-attention", contraddicendo l'intuizione che la sparsità dovrebbe migliorare il focus sulla pelle.

2. Performance di Beyond Intuition

Beyond Intuition (BI) emerge come il candidato più forte per questo contesto:

• Mitigazione del Leakage: La W-correzione nel componente $P(L)$ di BI attenua il multi-hop leakage.
• Skin Coverage: BI raggiunge la mediana più alta di skin coverage raffinata (0.83) rispetto al vanilla rollout (0.57) e all'attention flow (0.46).
• Faithfulness: BI raggiunge il più alto punteggio mediano di SaCo faithfulness (0.92) sul dataset UBFC-rPPG.
• Meccanismo: La combinazione del pesaggio della proiezione del valore e della maschera supportata dal gradiente limita efficacemente l'attribuzione alle regioni su cui il modello realmente si affida, evitando gli zeri "riempiti" del rollout standard.

3. Correlazione con la Qualità della Predizione

• Skin Coverage vs. Qualità della Forma d'Onda: Esiste una significativa correlazione positiva tra la copertura cutanea e la fedeltà della ricostruzione della forma d'onda (Pearson $r$).
• Skin Coverage vs. Errore di Frequenza Cardiaca: Esiste un debole trend negativo tra la skin coverage e l'errore medio assoluto (MAE) della frequenza cardiaca (HR). Gli autori attribuiscono la debolezza di questa correlazione alla performance saturata del dataset UBFC-rPPG (condizioni controllate, alto SNR), dove anche forme d'onda imperfette producono stime accurate della HR, mascherando l'impatto dell'attenzione spaziale.
• Faithfulness vs. Accuratezza: I punteggi di SaCo faithfulness non correlano significativamente con l'accuratezza della predizione (MAE o $r$ della forma d'onda). Ciò suggerisce che un modello può essere fedele (basandosi su regioni specifiche) anche se tali regioni non producono la predizione più accurata, o viceversa.

4. Caso di Studio: Ablazione degli Artefatti

In un caso di studio riguardante un clip con occlusione manuale (Soggetto 46, Clip 11), BI inizialmente ha prodotto un punteggio SaCo fortemente negativo ($F = -0.53$). Dopo aver sostituito i frame occlusi con frame vicini stabili:

• Tutti e quattro i metodi hanno mostrato un recupero dei punteggi SaCo verso $F \approx 0.8$.
• Anche la skin coverage è migliorata.
• Questa coerenza tra algoritmi distintamente diversi suggerisce che SaCo si comporta robustamente come metrica per rilevare il disallineamento dell'attribuzione causato dagli artefatti.

Significato e Rivendicazioni

Il paper sostiene di colmare il divario tra plausibilità visiva ed evidenza verificabile nella XAI per la rPPG. I suoi contributi primari sono:

1. Framework Sistematico: Fornire il primo confronto quantitativo di molteplici metodi di attribuzione adattati specificamente per i transformer a routing top-k sparso nella rPPG.
2. Identificazione del Leakage: Dimostrare che i metodi di attribuzione cumulativa standard (rollout, flow) soffrono di "multi-hop leakage" nelle architetture sparse, potenzialmente fuorviando l'interpretazione del focus del modello.
3. Raccomandazione del Metodo: Identificare Beyond Intuition come il metodo più robusto per RhythmFormer, poiché mitiga esplicitamente il leakage e raggiunge una superiore allineamento con i priori fisiologici (skin coverage) e con le metriche di fedeltà.
4. Adattamento delle Metriche: Adattare con successo il coefficiente di fedeltà SaCo dalla classificazione alla regressione rPPG, consentendo la valutazione quantitativa della qualità della spiegazione.

Gli autori mantengono una posizione modesta, notando che le loro scoperte sono specifiche per il dataset UBFC-rPPG e l'architettura RhythmFormer. Sottolineano che la debole correlazione tra skin coverage e errore HR potrebbe essere un artefatto della alta qualità del dataset e che è necessaria ulteriore validazione su dataset più diversificati e rumorosi per generalizzare queste scoperte.