Riepilogo Tecnico: Coefficiente Dice del Segnale (SDSC) per l'Apprendimento di Rappresentazioni di Serie Temporali

1. Definizione del Problema

L'apprendimento auto-supervisionato (SSL) per i dati di serie temporali si è ampiamente basato su obiettivi di ricostruzione che utilizzano perdite basate sulla distanza, più comunemente l'Errore Quadratico Medio (MSE). Sebbene efficaci nel minimizzare le differenze di ampiezza punto a punto, gli autori sostengono che tali metriche presentino limitazioni critiche per l'apprendimento di rappresentazioni semantiche:

• Sensibilità all'Ampiezza vs. Invarianza della Polarità: Le metriche basate sulla distanza sono altamente sensibili alla scala dell'ampiezza ma largamente invarianti rispetto alla polarità della forma d'onda. Di conseguenza, segnali che sono invertiti in fase, scalati in ampiezza o traslati verso basi prossime allo zero possono generare punteggi di errore bassi nonostante rappresentino strutture semanticamente distinte o invertite.
• Mancanza di Fedeltà Strutturale: Un basso errore di ricostruzione non correla necessariamente con un'alta fedeltà semantica. Ad esempio, un segnale costante zero e una forma d'onda scalata possono produrre punteggi MSE identici nonostante differenze strutturali marcate.
• Natura Non Limitata: Le perdite basate sulla distanza sono non limitate e prive di normalizzazione, complicando l'interpretazione e la selezione del modello attraverso diversi domini.

Il documento postula che l'affidamento esclusivo su metriche centrate sull'ampiezza possa portare a ricostruzioni semanticamente errate, particolarmente in domini come l'EEG o l'ECG dove la forma d'onda locale e la polarità rivestono un significato diagnostico.

2. Metodologia

2.1. Coefficiente di Similarità Dice del Segnale (SDSC)

Gli autori introducono il Coefficiente di Similarità Dice del Segnale (SDSC), una metrica consapevole della struttura progettata per quantificare l'accordo strutturale locale tra segnali temporali.

• Base Concettuale: L'SDSC estende il Coefficiente di Similarità Dice (DSC), tradizionalmente utilizzato per la sovrapposizione di insiemi nella segmentazione semantica, ai dati di serie temporali continui e con segno.
• Definizione: Invece di misurare l'appartenenza all'insieme, l'SDSC calcola l'allineamento strutturale basandosi sulle intersezioni di ampiezza con segno ad ogni passo temporale. Interpreta l'area sotto la curva come una proxy della forma d'onda.
  • Sia $E(t)$ la verità di base (ground truth) e $R(t)$ la ricostruzione.
  • Il termine di intersezione $S(t)$ è definito come $E(t) \cdot R(t)$.
  • Il termine simile all'unione $M(t)$ è definito come $|E(t)| + |R(t)| - \frac{||E(t)| - |R(t)||}{2}$.
  • L'SDSC continuo è formulato come:
    $$SDSC(E(t), R(t)) = \frac{2 \int H(S(t)) \cdot M(t) \, dt}{\int (|E(t)| + |R(t)|) \, dt}$$
    dove $H(\cdot)$ è la funzione gradino di Heaviside.
• Proprietà: L'SDSC è limitato nell'intervallo $[0, 1]$, esibisce una ridotta sensibilità alle variazioni di ampiezza e riflette esplicitamente l'accordo nella struttura locale della forma d'onda (sovrapposizione di segno e magnitudo). È privo di allineamento (alignment-free) e non tiene conto di spostamenti temporali globali o warping.

2.2. Approssimazione Differenziabile e Addestramento

Poiché la funzione di Heaviside non è differenziabile, gli autori impiegano un'approssimazione fluida basata sulla sigmoide $\hat{H}(x) = \frac{1}{1 + e^{-\alpha x}}$ per consentire l'ottimizzazione basata sul gradiente. L'obiettivo di addestramento è la minimizzazione di $1 - SDSC$.

2.3. Funzione di Perdita Ibrida

Riconoscendo che l'SDSC cattura la struttura ma ignora l'ampiezza, mentre l'MSE cattura l'ampiezza ma perde la struttura, gli autori propongono una Perdita Ibrida:
$$L_{hybrid} = \lambda_{sdsc} \cdot L_{sdsc} + \lambda_{mse} \cdot L_{MSE}$$
I pesi $\lambda_{sdsc}$ e $\lambda_{mse}$ sono determinati tramite una strategia di sintonizzazione basata sull'incertezza (Kendall et al., 2018), dove i coefficienti sono parametri apprendibili che rappresentano l'incertezza omoschedastica di ciascun termine di perdita.

2.4. Framework Sperimentale

Le metriche proposte sono integrate in SimMTM, un framework di apprendimento auto-supervisionato che combina l'apprendimento contrastivo (InfoNCE) e la ricostruzione. Per isolare l'effetto dell'obiettivo di ricostruzione, la componente contrastiva rimane fissa e solo la perdita di ricostruzione viene variata (MSE, SDSC o Ibrida).

3. Contributi Chiave

1. Metrica SDSC: L'introduzione di una metrica limitata e normalizzata che misura esplicitamente l'accordo strutturale locale nei segnali temporali con segno, affrontando l'insensibilità alla polarità e alla scala dell'MSE.
2. Formulazione Differenziabile: Un'approssimazione pratica e differenziabile dell'SDSC utilizzando una funzione sigmoide, che permette di utilizzarlo come obiettivo di addestramento diretto.
3. Obiettivo Ibrido: Una nuova funzione di perdita che bilancia la coerenza strutturale (SDSC) e la fedeltà dell'ampiezza (MSE) tramite pesi di incertezza apprendibili.
4. Analisi Empirica: Una valutazione completa che dimostra come il pre-addestramento basato su SDSC produca prestazioni sui task a valle comparabili a, e in alcuni regimi più coerenti con, gli obiettivi basati su MSE, particolarmente in contesti in-domain e a basse risorse.

4. Risultati Sperimentali

4.1. Analisi del Pre-addestramento

• Correlazione tra le Metriche: È stata osservata una debole correlazione negativa ($-0.324$) tra MSE e SDSC durante il pre-addestramento, indicando che minimizzare l'errore di ampiezza non garantisce l'allineamento strutturale.
• Coerenza Strutturale: In condizioni di MSE fisso, i modelli pre-addestrati con SDSC hanno raggiunto punteggi SDSC significativamente più alti e coerenti rispetto ai modelli basati su MSE.

4.2. Forecasting a Valle (Downstream Forecasting)

• Prestazioni: I modelli basati su SDSC hanno ottenuto prestazioni di forecasting comparabili ai modelli basati su MSE su dataset come Electricity, nonostante abbiano esibito un errore di ricostruzione (MSE) più elevato durante il pre-addestramento.
• Implicazione: Ciò suggerisce che, oltre una certa soglia, un'ulteriore riduzione dell'errore di ampiezza produce rendimenti decrescenti, e preservare la struttura locale della forma d'onda è sufficiente per un efficace forecasting delle rappresentazioni.

4.3. Classificazione a Valle (Downstream Classification)

• In-Domain: In scenari di encoder congelato (frozen-encoder), il pre-addestramento basato su SDSC ha costantemente superato quello basato su MSE in contesti in-domain, evidenziando la sua capacità di preservare informazioni semantiche rilevanti per la discriminazione.
• Cross-Domain: Le prestazioni sono variate in base alle caratteristiche del dataset; le caratteristiche dipendenti dall'ampiezza hanno favorito l'MSE, mentre quelle dipendenti dalla struttura hanno favorito l'SDSC.
• Fine-Tuning: Sebbene il fine-tuning abbia ridotto il divario di prestazioni, i modelli basati su SDSC hanno costantemente dimostrato una precisione più elevata, suggerendo rappresentazioni semanticamente più coerenti.

4.4. Efficienza Computazionale

A differenza degli obiettivi basati sull'allineamento (es. SoftDTW, DILATE) che soffrono di una complessità computazionale quadratica, l'SDSC è computazionalmente lineare e privo di necessità di allineamento, offrendo un'alternativa scalabile.

5. Significato e Rivendicazioni

Il documento afferma che l'SDSC funge da alternativa complementare agli obiettivi puramente basati sulla distanza per l'apprendimento auto-supervisionato di serie temporali.

• Rivalutazione dell'MSE: I risultati mettono in discussione l'affidamento predefinito sull'MSE, suggerendo che un basso errore di ricostruzione può mascherare segnali semanticamente inconsistenti. L'SDSC espone queste limitazioni penalizzando esplicitamente il disallineamento strutturale.
• Apprendimento Consapevole della Struttura: I risultati indicano che incoraggiare esplicitamente la coerenza strutturale nella ricostruzione integra gli obiettivi basati sulla distanza.
• Praticità: L'SDSC offre una metrica leggera, limitata e interpretabile che facilita la valutazione standardizzata attraverso diversi domini di segnale senza l'overhead computazionale del dynamic time warping.

Gli autori concludono che, sebbene l'SDSC non superi universalmente l'MSE in tutti i task a valle, fornisce un meccanismo robusto per preservare la struttura locale della forma d'onda, che è critica per l'apprendimento di rappresentazioni semantiche, particolarmente in scenari in cui la scala dell'ampiezza o gli shift di polarità sono irrilevanti per la semantica del task.