Sintesi Tecnica: LeNEPA – No-Augmentation Next-Latent Prediction per l'Apprendimento di Rappresentazioni di Serie Temporali

1. Definizione del Problema

L'apprendimento auto-supervisionato (SSL) per le serie temporali ha fatto progressi rapidi, tuttavia la distribuzione pratica rimane ostacolata da una forte dipendenza da strategie di vista e di aumento (augmentation) specifiche per il dominio. Sebbene metodi come Joint Embedding Predictive Architectures (JEPA) abbiano dimostrato successo (ad esempio, ECG_JEPA per PTB-XL), le loro prestazioni sono spesso fragili quando la "ricetta" (specificamente la strategia di augmentation e masking) viene trasferita a una famiglia di segnali strutturalmente diversa senza una nuova calibrazione.

Il documento inquadra una domanda pratica più specifica e ristretta: come si comporta una ricetta SSL quando la sua configurazione specifica per il metodo viene riutilizzata invariata dopo che la famiglia di segnali di pretraining è cambiata? Piuttosto che confrontarsi con benchmark ottimizzati, gli autori trattano questo come un "stress test a ricetta fissa" per misurare il costo del ricorso a invarianze specifiche del dominio (come la morfologia ECG) quando applicate a nuovi tipi di dati.

2. Metodologia: LeNEPA

Gli autori introducono LeNEPA (Latent Euclidean Next-Embedding Prediction Architecture), un'architettura SSL snella, priva di augmentation, progettata per produrre utili embedding di sequenze congelati senza richiedere l'ingegneria di viste per ogni dataset.

Architettura Core

• Backbone: Un Transformer causale elabora una sequenza di patch embedding generati da convoluzioni con stride (stile ViT).
• Obiettivo: Predizione autoregressiva del prossimo token latente (next-latent-token prediction). Ad ogni passo temporale $t$, il modello predice il token latente al tempo $t+1$ minimizzando l'Errore Quadratico Medio (MSE) in uno spazio proiettato.
• No Augmentation: A differenza delle varianti JEPA che si affidano a masking o cropping, LeNEPA opera direttamente sulla sequenza grezza senza data augmentation.

Meccanismi di Stabilizzazione

La tipica Next-Embedding Prediction (NEPA) si basa solitamente su una rete teacher aggiornata tramite Media Mobile Esponenziale (EMA) e stop-gradient per prevenire il collasso. LeNEPA sostituisce questi elementi con:

1. SIGReg (Sketched Isotropic Gaussian Regularization): Invece degli stop-gradient, LeNEPA utilizza SIGReg per regolarizzare la distribuzione dei token embedding verso una Gaussiana isotropa. Fondamentalmente, gli autori scoprono che la SIGReg temporale (regolarizzando l'insieme dei token all'interno di ogni campione lungo l'asse temporale) è il meccanatore di stabilizzazione più efficace, prevenendo il collasso lungo la dimensione temporale che la regolarizzazione globale non riesce a intercettare.
2. Guillotine Regularization: La perdita di predizione è calcolata in uno spazio proiettato leggero (utilizzando un proiettore $h_\psi$). Questo proiettore viene scartato al momento della valutazione, garantendo che le rappresentazioni apprese risiedano nel backbone e non nella testa di proiezione.

Funzione di Perdita

La perdita totale combina la perdita di predizione e il termine di regolarizzazione:
$$\mathcal{L} = \lambda_{pred}\mathcal{L}_{pred} + \lambda_T \mathcal{L}_{SIG}^{time}$$
Dove $\mathcal{L}_{pred}$ è l'MSE tra la predizione proiettata e il target proiettato (traslato di un passo), e $\mathcal{L}_{SIG}^{time}$ applica la regolarizzazione isotropa al set di token temporali.

3. Protocollo di Valutazione

Lo studio impiega due distinti protocolli di valutazione per separare la portabilità della ricetta dal trasferimento del checkpoint:

1. Riutilizzo della Ricetta di Pretraining Fissa (PTB-XL vs. Diag):

   • Dataset: PTB-XL (ECG reale a 12 derivazioni) e Diag (un corpus diagnostico sintetico generato tramite Aionoscope con diversi tipi di segnale).
   • Configurazione: Sia LeNEPA che un baseline JEPA sono addestrati indipendentemente su entrambi i dataset.
   • Vincolo: Le "ricette" sono fisse in base alla calibrazione su PTB-XL. La ricetta JEPA utilizza uno schema di masking ottimizzato per l'ECG; LeNEPA utilizza la sua configurazione fissa senza augmentation. Nessuna delle due viene ricalibrata per Diag.
   • Sonda (Probe): Linear probe congelati sono addestrati sui livelli intermedi del backbone (0–8) per misurare la qualità della rappresentazione.

2. Controllo dell'Encoder Congelato (CauKer a UCR-128):

   • Una variante di LeNEPA pre-addestrata sul dataset CauKer viene congelata e valutata sull'intero archivio UCR-128 utilizzando un Random Forest, seguendo il protocollo MantisV2. Questo testa se un singolo encoder senza augmentation può generalizzare su 128 compiti univariati diversi.

4. Risultati Chiave

Riutilizzo della Ricetta Fissa (PTB-XL vs. Diag)

• Fragilità di JEPA: La ricetta JEPA ottimizzata per l'ECG performa fortemente su PTB-XL (in-domain) ma degrada significativamente quando riutilizzata invariata sul dataset strutturalmente diverso Diag. Ciò evidenzia la dipendenza di JEPA dalle assunzioni di augmentation specifiche del dominio.
• Robustezza di LeNEPA: LeNEPA preserva i guadagni utili dei probe congelati su entrambi i dataset senza modifiche. Supera la ricetta fissa di JEPA su Diag sia in termini di performance finale che di dinamiche di addestramento.
• Dinamiche di Apprendimento: LeNEPA dimostra un'acquisizione precoce delle rappresentazioni più veloce. Raggiunge l'80% del guadagno finale di AUROC/AUPRC dopo 2–5k aggiornamenti, rispetto ai 5–10k aggiornamenti richiesti dalla readout di JEPA.

Controllo dell'Encoder Congelato (UCR-128)

• Una singola esecuzione (single-seed) del miglior checkpoint di LeNEPA-CauKer ottiene un'accuratezza media del 77,65% su UCR-128 utilizzando un Random Forest.
• Questo risultato è entro 1,16 punti di Mantis (78,81%) e entro 0,24 punti di MOMENT (77,89%), nonostante LeNEPA utilizzi un backbone causale, nessuna augmentation manuale e nessun ramo di prima differenza (svantaggi strutturali rispetto a Mantis per questo specifico benchmark).

Ablazioni e Diagnostica

• Sensibilità ai Livelli (Layer Sensitivity): A differenza di JEPA, che spesso raggiunge il picco nei livelli superiori, LeNEPA e NEPA ottengono punteggi di probe ottimali nei livelli intermedi (tipicamente $L_4$ o $L_5$). L'ultimo livello spesso performa peggio, suggerendo che i blocchi più profondi si specializzano nel compito di predizione mentre i livelli intermedi mantengono caratteristiche più generali.
• Asse SIGReg: La SIGReg temporale è stata l'unica collocazione di regolarizzazione a fornire guadagni sostenuti in entrambi i dataset.
• Proiettore: L'uso di un proiettore usa e getta (stile Guillotine) migliora le prestazioni rispetto al calcolo diretto della perdita sul backbone, validando la separazione dello spazio di perdita dallo spazio di rappresentazione.

5. Significato e Rivendicazioni

Il documento conclude che una ricetta di predizione latente senza augmentation è un candidato promettente per l'SSL di serie temporali quando il vincolo operativo è il riutilizzo di una ricetta SSL con il minimo sforzo di ingegneria delle viste per ogni dataset.

• Rivendicazioni Modeste: Gli autori dichiarano esplicitamente di non rivendicare un nuovo "modello fondazionale" che superi tutti i baseline ottimizzati. Inveve, dimostrano che rimuovere le dipendenze dall'augmentation riduce la fragilità delle ricette SSL quando cambiano le famiglie di segnali.
• Impatto Pratico: I risultati suggeriscono che per applicazioni che richiedono un pretraining portabile (ad esempio, telemetria industriale, finanza, fisiologia), un obiettivo senza augmentation come LeNEPA offre un'alternativa più robusta alle varianti JEPA che richiedono una meticolosa ingegneria delle viste specifica per il dominio.
• Limitazioni: Lo studio riconosce che il tokenizer convoluzionale richiede ancora un design specifico per il dataset (dimensione del kernel, stride) e che il corpus sintetico Diag serve come evidenza controllata piuttosto che come proxy diretto per tutto il trasferimento diagnostico reale. Il risultato su UCR-128 si basa su un singolo seed e sul miglior checkpoint, servendo come prova di esistenza piuttosto che come una definitiva affermazione di primato nelle classifiche.

Codice Sorgente: Disponibile su https://github.com/langotime/lenepa-milets-2026.