Riepilogo Tecnico: Mantis: Modello di Fondazione Leggero per la Classificazione di Serie Temporali

Problema

Sebbene i modelli di fondazione abbiano rivoluzionato i domini della visione e del linguaggio, la loro applicazione alla classificazione di serie temporali (TSC) rimane scarsamente esplorata. La letteratura esistente si concentra prevalentemente sulla previsione di serie temporali (forecasting), utilizzando spesso paradigmi di pre-addestramento (ad es. ricostruzione mascherata o modellazione autoregressiva) che sono intrinsecamente più adatti all'imputazione o alla predizione piuttosto che a compiti discriminativi. Inoltre, la classificazione delle serie temporali è un problema fondamentale in diversi domini come il riconoscimento dell'attività umana, l'assistenza sanitaria, la finanza e le neuroscienze, ma vi è una scarsità di modelli di fondazione progettati specificamente per questo compito. Inoltre, gli approcci esistenti spesso si affidano al fine-tuning, mentre esiste la necessità di capacità robuste di estrazione di feature zero-shot che possano generalizzare senza l'uso di dati etichettati estesi o aggiornamenti dei parametri.

Metodologia

Gli autori introducono Mantis, un modello di fondazione leggero, basato su Transformer, pre-addestrato esclusivamente su dati sintetici tramite apprendimento contrastivo auto-supervisionato. La metodologia si basa su tre pilastri tecnici fondamentali:

1. Tokenizzatore Multi-Vista per Serie Temporali

Per adattare efficacemente l'architettura Transformer alle serie temporali, Mantis impiega un Token Generator Unit dedicato che mappa le sequenze grezze in un numero fisso di token (32) per controllare i costi di attenzione. Questa unità elabora l'input attraverso tre rami paralleli:

• Ramo del Segnale (Signal Branch): Applica la normalizzazione dell'istanza, seguita da convoluzione e mean pooling per estrarre le feature a livello di patch.
• Ramo Differenziale (Differential Branch): Applica la stessa procedura di patching alla differenza temporale del primo ordine del segnale per incoraggiare la stazionarietà e ridurre l'influenza del trend a lungo termine.
• Ramo Statistico (Statistics Branch): Suddivide il segnale grezzo (non normalizzato) in patch non sovrapposte e codifica la media e la deviazione standard di ogni patch utilizzando un Multi-Scaled Scalar Encoder.
  Queste feature vengono concatenate e proiettate linearmente in embedding di token.

2. Pre-addestramento Contrastivo Sintetico

A differenza di molti modelli di fondazione pre-addestrati su dataset del mondo reale (che possono sovrapporsi ai benchmark di valutazione), Mantis è pre-addestrato esclusivamente su dati sintetici generati da CauKer.

• Obiettivo: Il modello è addestrato utilizzando una loss contrastiva InfoNCE auto-supervisionata. L'obiettivo è apprendere rappresentazioni in cui le aumentazioni della stessa serie temporale siano vicine (coppie positive) mentre le rappresentazioni di serie diverse siano lontane (coppie negative).
• Aumento (Augmentation): La principale strategia di aumento è il Random Crop Resize (RCR), che ritaglia casualmente un segmento della serie temporale e lo ridimensiona alla lunghezza originale. Ciò incoraggia l'invarianza rispetto allo stretching e alla compressione temporale, che è cruciale per la classificazione ma meno adatto alla previsione.
• Razionale: I dati sintetici forniscono un'alta diversità ed efficienza campionaria, garantendo che il modello apprenda rappresentazioni generalizzabili senza data leakage dai benchmark standard come UCR o UEA.

3. Metodologia Migliorata al Tempo di Test

Per colmare il divario di prestazioni tra i modelli di fondazione e gli approcci specializzati, gli autori propongono una pipeline di inferenza che sfrutta l'encoder congelato:

• Rappresentazioni per Livello (Layer-wise Representations): Invece di fare affidamento solo sull'ultimo livello del Transformer, il modello utilizza le rappresentazioni dei livelli intermedi. Gli esperimenti mostrano che i livelli intermedi codificano spesso feature più discriminanti per i compiti di classificazione, in particolare man mano che i dati di pre-addestramento scalano.
• Aggregazione dei Token di Output: Gli autori propongono di concatenare il token [CLS] con la media dei token non di classificazione, catturando informazioni complementari spesso scartate nei Transformer discriminativi standard.
• Self-Ensembling (SE): La serie temporale in input (e la sua differenza del primo ordine) viene interpolata a molteplici lunghezze di sequenza. Poiché il numero di token è fisso, variare la lunghezza di interpolazione cambia il campo recettivo e la sovrapposizione tra i token, generando embedding complementari che vengono concatenati.
• Fusione di Embedding Cross-Model: Gli embedding di Mantis vengono combinati con quelli di altri modelli di fondazione (ad es. modelli basati sulla visione come TiViT-H o TiConvNext) per sfruttare aspetti complementari dei dati delle serie temporali.

Contributi Chiave

1. Architettura Mantis: Un modello di fondazione basato su Transformer, leggero e specificamente adattato per la classificazione di serie temporali, caratterizzato da una nuova strategia di tokenizzazione multi-vista.
2. Pre-addestramento Sintetico: Dimostrare che il pre-addestramento esclusivamente su dati sintetici tramite apprendimento contrastivo produce una forte generalizzazione zero-shot, superando i modelli pre-addestrati su dati reali di dimensioni simili.
3. Ottimizzazione al Tempo di Test: Introduzione di una suite di tecniche di inferenza (selezione del livello intermedio, aggregazione dei token, self-ensembling e fusione cross-model) che migliorano significativamente le prestazioni zero-shot senza richiedere fine-tuning.
4. Prestazioni allo Stato dell'Arte: Stabilire nuovi risultati allo stato dell'arte attraverso molteplici benchmark (UCR, UEA, HAR, EEG).

Risultati Sperimentali

Sono stati condotti estesi esperimenti su quattro diverse collezioni di dataset:

• UCR Archive (128 dataset univariati): Mantis e le sue varianti (SE-Mantis, modelli fusi) hanno costantemente superato i modelli di fondazione esistenti (ad es. MOMENT, Chronos2, TiRex) e i baseline specializzati (ad es. TS2Vec, Catch22+). Mantis ha raggiunto un'accuratezza media di 0,8195 sul benchmark completo UCR, superando il secondo miglior modello di fondazione.
• UEA Archive (27 dataset multivariati): Mantis ha superato significativamente altri modelli di oltre il 2%, raggiungendo un'accuratezza di 0,7420.
• Human Activity Recognition (HAR) & EEG: Mantis ha dimostrato prestazioni elevate su benchmark specifici del dominio, inclusi dati di sensori inerziali e segnali di interfaccia cervello-computer, spesso superando le adattazioni basate sulla visione e altri TSFM.
• Efficienza: Mantis è altamente efficiente, con solo 2,2 milioni di parametri (dopo il pruning) e tempi di inferenza paragonabili ai baseline statistici come Catch22+, rendendolo adatto ad ambienti con risorse computazionali limitate.

Significato e Rivendicazioni

Il documento afferma che Mantis stabilisce un nuovo stato dell'arte per la classificazione zero-shot di serie temporali, dimostrando che:

• Il Pre-addestramento Specifico per il Compito è Importante: I modelli pre-addestrati con obiettivi allineati alla classificazione (loss contrastiva) e architetture adattate alla TSC superano i modelli di forecasting general-purpose.
• I Dati Sintetici sono Vitali: Il pre-addestramento su dati sintetici è una strategia altamente efficiente dal punto di vista campionario che evita il data leakage e impone una robusta generalizzazione out-of-distribution.
• I Livelli Intermedi sono Critici: Le "leggi di scala" del pre-addestramento nella classificazione delle serie temporali vengono sbloccate al tempo di test sfruttando le rappresentazioni dei livelli intermedi invece del solo livello finale.
• Deployment Leggero: È possibile ottenere alte prestazioni con modelli leggeri che non richiedono un pesante fine-tuning, facilitando il deployment in contesti con risorse limitate.

Gli autori sottolineano che il loro lavoro colma il divario tra il successo dei modelli di fondazione in altre modalità e le esigenze specifiche della classificazione delle serie temporali, fornendo una soluzione robusta, leggera e generalizzabile per diversi domini applicativi.