Riepilogo Tecnico: ADAPTOOD – Fine-Tuning Consapevole dell'Incertezza per Modelli di Serie Temporali ECG Out-of-Distribution

Definizione del Problema

L'implementazione di modelli di apprendimento automatico addestrati su dati sensoriali su larga scala in contesti clinici reali affronta ostacoli significativi dovuti ai cambiamenti di distribuzione (distribution shifts). Sebbene il pre-addestramento offra una base fondamentale, i modelli spesso faticano quando vengono sottoposti a fine-tuning su piccoli dataset annotati che differiscono dalla distribuzione di pre-addestramento. Queste discrepanze derivano da fonti diverse, tra cui l'eterogeneità della popolazione, diversi tipi di sensori, differenti protocolli di raccolta e derive temporali.

Gli esistenti metodi di adattamento, come il transfer learning e il domain adaptation, tipicamente assumono spostamenti di distribuzione fissi o trattano i casi Out-of-Distribution (OOD) come uno stato binario (in-domain vs. out-of-domain). Essi non riescono a tenere conto della gravità o della granularità di questi spostamenti. Di conseguenza, applicano spesso strategie di adattamento uniformi indipendentemente dal fatto che lo spostamento sia lieve (ad esempio, una popolazione leggermente diversa) o severo (ad esempio, una nuova modalità sensoriale), portando a una generalizzazione subottimale, all'overfitting su piccoli dataset o al catastrophic forgetting.

Metodologia: Framework ADAPTOOD

Gli autori propongono ADAPTOOD, un framework progettato per quantificare la gravità dello spostamento di distribuzione e guidare dinamicamente il fine-tuning. Il sistema opera attraverso quattro moduli interconnessi:

1. Quantificazione della Gravità Guidata dall'Incertezza

L'innovazione principale consiste nell'utilizzare l'incertezza dei dati per misurare quanto un dataset target ($D_t$) si discosta dalla distribuzione sorgente di pre-addestramento ($D_s$).

• Riduzione della Dimensionalità: Segnali ECG ad alta dimensionalità vengono ridotti a una componente dominante tramite l'Analisi delle Componenti Principali (PCA) per migliorare la stima della densità.
• Metriche di Distanza: Il framework calcola la divergenza a livello di distribuzione utilizzando due metriche complementari:
  • Distanza di Mahalanobis ($d_m$): Misura la distanza dei nuovi batch dal centro della distribuzione nota, tenendo conto delle correlazioni e della scala delle caratteristiche.
  • Distanza di Hellinger ($d_h$): Quantifica la somiglianza tra le distribuzioni di probabilità complessive della sorgente e del target.
• Metrica Combinata: Queste distanze vengono normalizzate e combinate in un punteggio di incertezza pesato, $\sigma(D_t | P(D_s))$, dove un punteggio più alto indica uno spostamento OOD più severo.

2. Sblocco Selettivo dei Livelli (Selective Layer Unfreezing)

Invece di eseguire il fine-tuning dell'intero modello o di un sottoinsieme fisso, ADAPTOOD determina dinamicamente quanti livelli sbloccare in base al punteggio di incertezza calcolato.

• Strategia: Impiega una combinazione di funzioni di decadimento lineare ed esponenziale.
  • Lineare: Il numero di livelli sbloccati è proporzionale all'inverso dell'incertezza.
  • Esponenziale: Utilizza un fattore di decadimento per aumentare la sensibilità ai livelli di incertezza.
• Esecuzione: Il numero finale di livelli addestrabili è la media di questi due calcoli. I livelli vengono sbloccati partendo dall'alto (più vicino all'output) verso il basso. Ciò garantisce che gli spostamenti lievi richiedano modifiche architettoniche minime, mentre gli spostamenti severi inneschino un adattamento più esteso, bilanciando il rischio di overfitting e underfitting.

3. Low-Rank Adaptation (LoRA)

Per mantenere l'efficienza computazionale e prevenire l'overfitting su dati target limitati, il framework integra LoRA in tutti i livelli Conv1D.

• Meccanismo: I pesi pre-addestrati sono congelati e vengono introdotti matrici a basso rango (low-rank) leggere e addestrabili.
• Beneficio: Questo riduce significativamente il numero di parametri e l'impronta di memoria, concentrando la capacità del modello sull'apprendimento dei pattern temporali locali dove è più necessario.

4. Ottimizzazione Adattiva degli Iperparametri

Riconoscendo che gli iperparametri ottimali per il pre-addestramento potrebbero non essere adatti ai compiti OOD, il framework utilizza l'Ottimizzazione Bayesiana.

• Processo: Cerca iterativamente le configurazioni ottimali per l'ottimizzatore (ad esempio, Adam, RMSprop) e il tasso di apprendimento (learning rate) su uno spazio di ricerca definito.
• Obiettivo: Identificare le configurazioni che meglio accomodano lo specifico spostamento di distribuzione senza una regolazione manuale.

Contributi Chiave

1. Quantificazione della Gravità Innovativa: Introduzione di un meccanismo che sfrutta l'incertezza dei dati (tramite le distanze di Mahalanobis e Hellinger) per valutare la gravità degli spostamenti OOD rispetto ai dati di pre-addestramento, andando oltre le assunzioni binarie in/fuori dominio.
2. Adattamento Flessibile alla Gravità: Sviluppo di un approccio che utilizza i punteggi di incertezza per guidare lo sblocco selettivo dei livelli e l'ottimizzazione degli iperparametri, assicurando che la strategia di adattamento corrisponda alla complessità dello spostamento.
3. Efficienza e Robustezza: Integrazione di LoRA e dell'ottimizzazione Bayesiana per ottenere un fine-tuning dei parametri efficiente che mantiene prestazioni elevate attraverso diverse metriche anche all'aumentare della gravità dello spostamento di distribuzione.

Risultati Sperimentali

Gli autori hanno valutato ADAPTOOD su dataset di serie temporali ECG che coinvolgono vari spostamenti (popolazione, sensore, temporale, etichetta, modalità e dimensionalità) confrontandolo con i baseline, inclusi Transfer Learning standard, Supervised Learning, Feature-based Domain Adaptation e Instance-based Domain Adaptation.

• Guadagni di Performance: ADAPTOOD ha superato costantemente tutti i baseline.
  • Nel dataset MIT-BIH (spostamento di sensore/popolazione), ha raggiunto un'accuratezza di 0,953 e una precisione di 0,930, superando il miglior baseline (Feature-based DA) del 1,3% in accuratezza e dello 0,9% in precisione.
  • Nel dataset PTB-DB, ha mostrato un miglioramento dell'11,9% nell'accuratezza rispetto al Transfer Learning (0,922 vs. 0,803) e un miglioramento del 12,9% nella precisione.
  • Nel dataset MIMICPERform PPG (uno spostamento di modalità severo da ECG a PPG), ADAPTOOD ha raggiunto un'accuratezza di 0,975, superando il miglior baseline di circa il 3% (0,945).
  • Nel dataset CODEtest (spostamento di dimensionalità con ECG a 12 derivazioni), ha ottenuto un'accuratezza di 0,922, superando il metodo successivo migliore (Feature-based DA a 0,894).
• Studi di Ablazione: La rimozione di componenti (metriche di incertezza, ottimizzazione degli iperparametri o LoRA) ha costantemente degradato le prestazioni, confermando la necessità dell'intero framework. Nello specifico, la combinazione di entrambe le metriche di distanza ha fornito risultati più coerenti rispetto all'uso di una sola di esse.
• Efficienza: Utilizzando LoRA e lo sblocco selettivo, ADAPTOOD ha ridotto significativamente il numero totale di parametri e l'impronta di memoria. Ad esempio, sul dataset MIT-BIH, la dimensione del modello è stata ridotta da circa 29,17 MB (senza LoRA) a 8,61 MB.

Significato e Rivendicazioni

Il paper sostiene che ADAPTOOD affronti una lacuna critica nell'interpretazione dei segnali biologici: la mancanza di metodi in grado di adattarsi a diverse gravità degli spostamenti di distribuzione. Trattando l'adattamento OOD come un processo dipendente dalla gravità piuttosto che come un protocollo fisso, il framework ottiene:

• Generalizzazione Robusta: Mantenere un'elevata accuratezza e precisione anche quando i dati di test divergono significativamente dai dati di addestramento a causa di molteplici tipi di spostamento sovrapposti.
• Efficienza delle Risorse: Ottenere questi guadagni con meno parametri e costi computazionali inferiori, rendendolo adatto alla distribuzione in ambienti con risorse limitate.
• Calibrazione: Fornire una performance più bilanciata tra le metriche (accuratezza, precisione, richiamo, F1) rispetto ai baseline che spesso soffrono di problemi di squilibrio delle classi (ad esempio, bassa sensibilità).

Gli autori posizionano ADAPTOOD come un approccio affidabile e basato sui dati per il fine-tuning di modelli pre-addestrati in scenari reali Out-of-Distribution, specialmente dove i dati etichettati sono scarsi o le caratteristiche dello spostamento sono sconosciute o variabili.