Riepilogo Tecnico: ProtoSSL

Enunciato del Problema

Nei domini delle serie temporali, come l'analisi delle forme d'onda cliniche e la classificazione audio, le reti neurali profonde spesso raggiungono elevate prestazioni predittive ma mancano di interpretabilità. Sebbene le reti basate su prototipi mediante proiezione (ad es. ProtoPNet) offrano un'interpretabilità intrinseca fondando le previsioni su un ragionamento del tipo "questo assomiglia a quello"—confrontando gli input con esempi rappresentativi di addestramento—gli approcci esistenti soffrono di due limitazioni critiche:

1. Dipendenza dalle Etichette: I prototipi vengono appresi tramite obiettivi supervisionati legati a strutture di classe specifiche, richiedendo grandi dataset etichettati.
2. Mancanza di Riutilizzabilità: Poiché i prototipi sono ottimizzati per un compito specifico, non possono essere facilmente trasferiti a nuovi compiti downstream o dataset con spazi di etichette diversi, rendendo necessario un riaddestramento da zero.

Al contrario, l'apprendimento auto-supervisionato (SSL) può apprendere strutture trasferibili da dati non etichettati, ma opera tipicamente nello spazio latente, fallendo nel produrre spiegazioni ispezionabili dall'uomo e fondate sulla proiezione. La sfida centrale consiste nel modo in cui apprendere prototipi che siano sia trasferibili tra compiti sia intrinsecamente interpretabili, senza fare affidamento su etichette specifiche del compito durante la fase iniziale di apprendimento.

Metodologia: Framework ProtoSSL

ProtoSSL affronta questo problema disaccoppiando la scoperta dei motivi dall'allineamento delle etichette. Il framework opera in due fasi distinte:

1. Pre-addestramento Auto-supervisionato (Scoperta dei Motivi)

ProtoSSL apprende un riutilizzabile archivio di prototipi da dati di serie temporali non etichettati.

• Architettura: Un encoder $f_\theta$ mappa la serie temporale di input $x$ in una rappresentazione $h$. Viene definito un insieme di prototipi apprendibili $P$.
• Attivazione: Le attivazioni dei prototipi $a(x)$ sono calcolate come la similarità tra l'output dell'encoder e ciascun prototipo $p_k$.
• Obiettivo: Un obiettivo contrastivo auto-supervisionato (SimCLR/NT-Xent) viene applicato direttamente alle attivazioni dei prototipi proiettate $z = r_\phi(a(x))$. Ciò costringe il modello a rappresentare gli input come pesi dei prototipi basati sulla coerenza dei dati attraverso viste aumentate, senza alcuna supervisione tramite etichette.
• Regolarizzazione: Viene applicata la regolarizzazione KoLeo ai vettori dei prototipi per garantire che siano distribuiti nello spazio latente, prevenendo il collasso.
• Risultato: Un "archivio di prototipi" $P$ che cattura pattern ricorrenti e trasferibili (motivi) nella distribuzione dei dati, indipendentemente da qualsiasi compito downstream specifico.

2. Adattamento al Target (Allineamento delle Etichette)

Una volta disponibile un compito downstream con dati etichettati, i prototipi pre-addestrati vengono allineati al nuovo compito senza riaddestrare l'archivio dei prototipi.

• Assegnazione: Una procedura di assegnazione nuova, priva di addestramento e non parametrica, mappa i prototipi dall'archivio alle etichette downstream. Questo è formulato come un problema di assegnazione lineare rettangolare (LAP), risolvibile in tempo polinomiale.
  • Viene calcolata una matrice di punteggio di associazione $Q$ basata sulle statistiche di attivazione dei prototipi (confrontando l'attivazione su campioni positivi rispetto a quelli negativi per ciascuna etichetta, normalizzata per la varianza).
  • Il solver LAP assegna i prototipi più discriminativi a ciascuna slot di etichetta.
• Proiezione: I prototipi assegnati vengono proiettati su esempi di addestramento reali e rappresentativi del dataset target che possiedono l'etichetta corrispondente. Questo passaggio fonda i prototipi su segmenti di segnale concreti, preservando l'interpretabilità.
• Classificazione: Un classificatore di regressione logistica viene addestrato sulle attivazioni dei prototipi proiettati. L'encoder e i prototipi possono rimanere congelati (linear probing) o essere fine-tunati con supervisione tramite etichette.

Contributi Chiave

1. Framework Innovativo: ProtoSSL è il primo framework ad apprendere prototipi interpretabili e fondati sulla proiezione da dati non etichettati e ad adattarli a compiti downstream tramite una procedura esplicita di assegnazione e proiezione.
2. Separazione delle Responsabilità: Separando la scoperta dei motivi (auto-supervisionata) dall'allineamento delle etichette (assegnazione), il framework abilita il riutilizzo dei prototipi tra dataset e spazi di etichette senza dover riapprendere la rappresentazione di base.
3. Efficienza delle Etichette: Il framework migliora significativamente l'efficienza delle etichette, rimanendo efficace con soli 256 esempi etichettati, superando le baseline di prototipi supervisionati in regimi a bassa disponibilità di dati.
4. Interpretabilità Umana: Uno studio di valutazione umana dimostra che i prototipi appresi senza etichette di compito sono valutati come esempi più rappresentativi e accettabili di diagnosi rispetto a quelli appresi tramite supervisione diretta delle etichette, nonostante questi ultimi abbiano in alcuni casi una maggiore accuratezza predittiva.
5. Generalizzabilità: L'approccio si estende oltre l'ECG alla classificazione audio, validando la separazione tra scoperta dei motivi e allineamento delle etichette attraverso domini distinti di serie temporali.

Risultati Sperimentali

Gli autori hanno valutato ProtoSSL su sei dataset ECG e tre dataset audio.

• Prestazioni ECG:

  • Dati Completi: Con il fine-tuning, ProtoSSL supera le baseline di prototipi supervisionati (SupProto Direct) e raggiunge prestazioni competitive rispetto a modelli fondazionali blackbox.
  • Bassa Disponibilità di Dati: In regimi a bassa disponibilità di dati (fino a 256 campioni), ProtoSSL (probing congelato) supera costantemente sia le baseline supervisionate che i modelli blackbox. Notabilmente, ProtoSSL con soli 4.000 campioni eguaglia le prestazioni delle baseline supervisionate addestrate su dataset completi (64.000+ campioni) su certi compiti.
  • Generalizzazione: ProtoSSL generalizza bene a compiti fuori dominio dove gli spazi di etichette differiscono, mentre il pre-addestramento supervisionato dalle etichette (SupProto HEEDB) fallisce nel trasferirsi efficacemente a compiti con etichette non sovrapposte.

• Prestazioni Audio:

  • ProtoSSL pre-addestrato su AudioSet si trasferisce efficacemente a UrbanSound8K, IEMOCAP e VoxCeleb1. Supera le baseline supervisionate su compiti con sovrapposizione minima delle etichette, dimostrando la robustezza della fase di scoperta dei motivi.

• Valutazione Umana:

  • In uno studio in cieco con studenti di medicina, i prototipi di ProtoSSL sono stati valutati significativamente più alti in "accettabilità" (91,4% vs 66,4%) e qualità della spiegazione (82,9% vs 67,9%) rispetto ai prototipi supervisionati direttamente. Ciò suggerisce che la scoperta auto-supervisionata produce pattern che sono percepiti in modo più coerente come esempi clinici rappresentativi.

• Efficienza:

  • Il passaggio di assegnazione è computazionalmente efficiente, risolvendo il problema di assegnazione lineare in secondi, mentre i metodi di assegnazione parametrica alternativi (ad es. ProtoPool adattato) sono di un ordine di grandezza più lenti.

Significato e Affermazioni

Il documento afferma che ProtoSSL sposta fondamentalmente il paradigma per la modellazione interpretabile delle serie temporali dimostrando che i prototipi interpretabili possono essere appresi prima che lo spazio delle etichette downstream sia noto.

• Disaccoppiamento: Dimostra che il meccanismo di ragionamento "questo assomiglia a quello" non richiede una supervisione end-to-end delle etichette per scoprire pattern utili.
• Riutilizzabilità: Stabilisce una via per creare componenti di modello riutilizzabili e interpretabili che possono essere rapidamente adattati a nuovi compiti clinici o industriali con dati etichettati minimi.
• Qualità delle Evidenze: Gli autori ipotizzano che la scoperta auto-supervisionata dei motivi possa produrre evidenze basate su casi più rappresentative rispetto all'apprendimento supervisionato, che potrebbe privilegiare caratteristiche discriminative meno intuitivamente "prototipiche" per gli esperti umani.

Il lavoro posiziona ProtoSSL come una base per studi in domini con scarsità di dati (come la medicina) dove ottenere grandi dataset etichettati è difficile, ma l'interpretabilità è essenziale per la fiducia clinica e l'adozione.