Learning Hyperspherical Time-Frequency Representations for Time-Series Out-of-Distribution Detection

Sintesi Tecnica: Apprendimento di Rappresentazioni Tempo-Frequenza Ipersferiche per il Rilevamento Out-of-Distribution di Serie Temporali

Definizione del Problema
Il rilevamento out-of-distribution (OOD) per i dati di serie temporali rimane significativamente meno esplorato rispetto ai domini della visione e del linguaggio. Gli approcci esistenti, spesso adattati da benchmark basati sulle immagini, falliscono frequentemente nel rispondere alla natura unica degli shift distribuzionali nei dati di serie temporali. A differenza dei dati scambiabili o spazialmente indicizzati, le osservazioni di serie temporali comportano dipendenze temporali strutturate, caratteristiche nel dominio delle frequenze e processi di misurazione strettamente accoppiati a specifici hardware di rilevamento e protocolli di acquisizione. Di conseguenza, gli shift di distribuzione nelle serie temporali riflettono spesso cambiamenti combinati nel processo sottostante e nella pipeline di misurazione, portando a differenze sistematiche nella struttura temporale o spettrale. Gli attuali protocolli di valutazione, che spesso si affidano a suddivisioni intra-dataset e disgiunte per etichetta, non riescono a catturare questi shift cross-ambiente, confondendo la distinzione tra riconoscimento open-set e vero rilevamento OOD.

Metodologia: HyperTF
Gli autori propongono HyperTF, un framework di apprendimento di rappresentazioni ipersferiche progettato per indurre una struttura condizionata alla classe sulla sfera unitaria per un robusto rilevamento OOD. La metodologia integra tre componenti principali:

1. Embedding Ipersferici: Il framework modella le caratteristiche condizionate alla classe come residenti su una sfera unitaria ($S^{d-1}$), utilizzando un obiettivo basato sulla verosimiglianza von Mises–Fisher (vMF). Sotto questo modello, la distribuzione condizionata di un vettore di caratteristiche normalizzato $z$ data una classe $c$ è definita da una direzione prototipo $\mu_c$ e da un parametro di concentrazione $\kappa$. La classificazione è guidata dalla similarità angolare e il rilevamento OOD emerge naturalmente dalla geometria di questi embedding, dove i campioni OOD dovrebbero trovarsi lontani dai prototipi di classe appresi.

2. Architettura Dual-View Tempo-Frequenza: Per catturare aspetti complementari dei dati di serie temporali, HyperTF impiega un'architettura a doppio stream.

   • Vista nel Dominio del Tempo: La sequenza di input viene proiettata ed elaborata direttamente.
   • Vista nel Dominio della Frequenza: L'input viene trasformato tramite una Fast Fourier Transform a valori reali (rFFT) seguita da una scalatura del modulo logaritmico.
   • Allineamento: Entrambe le viste sono elaborate da encoder specifici per dominio (che condividono l'architettura ma con parametri separati) e mappate in uno spazio ipersferico condiviso tramite teste di proiezione supervisionate. Un regolarizzatore di coerenza cross-dominio ($L_{CD}$) impone l'allineamento angolare tra gli embedding temporali e di frequenza, garantendo che il modello codifichi sia la dinamica temporale che le caratteristiche spettrali all'interno di uno spazio geometrico unificato.

3. Obiettivo di Addestramento: Il modello minimizza una funzione di perdita composita:
   $$\mathcal{L} = \mathcal{L}_{TF} + \lambda_{CD} \mathcal{L}_{CD} + \lambda_{AX} \mathcal{L}_{AX}$$

   • $\mathcal{L}_{TF}$: Una perdita di classificazione ipersferica supervisionata (cross-entropy sulla sfera) applicata indipendentemente ai rami tempo e frequenza.
   • $\mathcal{L}_{CD}$: Un termine di coerenza cross-dominio che minimizza la distanza angolare tra gli embedding tempo e frequenza.
   • $\mathcal{L}_{AX}$: Un opzionale regolarizzatore contrastivo ausiliario che sfrutta dati outlier ausiliari non etichettati per modellare la geometria della rappresentazione vicino al confine in-distribution (ID), prevenendo il collasso e migliorando la separazione.

Contributi Chiave

• Framework Ipersferico: Il documento introduce un approccio fondato per il rilevamento OOD di serie temporali che induce una struttura condizionata alla classe sulla sfera unitaria tramite una formulazione vMF, andando oltre gli standard spazi di embedding euclidei.
• Architettura Dual-View: Un'architettura innovativa che apprende rappresentazioni allineate da viste temporali e spettrali, collegate attraverso una geometria decisionale ipersferica condivisa e un regolarizzatore di coerenza cross-dominio.
• Valutazione su Larga Scala: Gli autori conducono estesi esperimenti sull'intero archivio UCR (univariato) e UEA (multivariato) sotto un rigoroso protocollo cross-dataset. Questo protocollo tratta ciascun dataset come ID a turno, con tutti gli altri che fungono da OOD, distinguendo tra scenari "near-OOD" (stessa modalità) e "far-OOD" (diversa modalità).

Risultati Sperimentali
Valutato contro forti baseline includendo metodi post-hoc (MSP, Mahalanobis, Center Loss) e metodi in fase di addestramento (SimCLR, SSD+, KNN+, CIDER), HyperTF dimostra miglioramenti costanti:

• Performance: HyperTF raggiunge risultati state-of-the-art sia negli scenari near-OOD che far-OOD attraverso gli archivi UCR e UEA. In particolare, supera significativamente le baseline sotto lo scoring Mahalanobis++ (Maha++) raggiungendo un FPR@95 del 1,90% su UCR near-OOD e del 4,21% su UEA near-OOD (con dati ausiliari).
• Classificazione ID: Il metodo migliora la robustezza OOD senza sacrificare l'accuratezza della classificazione in-distribution, raggiungendo F1-score dell'82,53% (UCR) e dell'81,74% (UEA), superando la baseline CIDER.
• Dati Ausiliari: L'inclusione di dati outlier ausiliari, particolarmente quando aumentati con MixOE, migliora ulteriormente le prestazioni di rilevamento in regimi a copertura limitata, riducendo l'FPR@95 per margini significativi negli scenari far-OOD.
• Ablation: Studi di ablazione step-wise confermano che la combinazione di perdita ipersferica, elaborazione dual-view e coerenza FFT produce le prestazioni più forti, con la formulazione ipersferica che fornisce il guadagno più significativo rispetto alle baseline standard di softmax euclideo.

Significatività e Rivendicazioni
Il documento sostiene che la modellazione congiunta di strutture temporali e spettrali complementari all'interno di uno spazio di embedding geometrico condiviso fornisce una base robusta per il rilevamento OOD di serie temporali sotto shift di distribuzione realistici. Gli autori sottolineano che i loro risultati evidenziano la necessità di valutare i metodi OOD per serie temporali oltre le semplici suddivisioni di etichetta intra-dataset. Al contrario, propongono benchmark settings che riflettano le variazioni di deployment in termini di condizioni di sensing, domini e fonti di dati. Il lavoro suggerisce che le rappresentazioni ipersferiche, che naturalmente impongono separazione angolare e compattezza, sono particolarmente adatte a gestire i complessi shift distribuzionali multi-modali inerenti ai dati di serie temporali.