Riepilogo Tecnico: PIMSM – Mamba Multi-Scala Informata dalla Fisica per Rappresentazioni Neurali Stabili sotto Spostamento della Distribuzione

1. Enunciato del Problema

I modelli fondazionali scientifici mirano a imparare rappresentazioni riutilizzabili attraverso dataset, protocolli di acquisizione e domini di deployment variabili. Tuttavia, gli attuali backbones sequenziali trattano spesso le strutture temporali scientifiche come pattern non vincolati da adattare, ignorando la realtà fisica secondo cui i sistemi dinamici naturali (ad esempio, serie temporali neurali e atmosferiche) sono organizzati da processi interagenti su molteplici scale temporali fisiche.

Gli autori identificano una specifica modalità di fallimento denominata mismatch del kernel temporale. Ciò si verifica quando un modello adatta le dinamiche intra-distribuzione utilizzando una politica di memoria efficace che non è ancorata alle scale temporali fisiche del segnale. Di conseguenza, quando le condizioni di deployment cambiano (ad esempio, variazioni nella risoluzione temporale, nel tasso di campionamento, nello stato cerebrale o nel dominio geografico), la politica di memoria appresa dal modello non riesce a preservare le dinamiche rilevanti per il compito, portando a deriva delle rappresentazioni e a prestazioni di trasferimento degradate. La sfida fondamentale è progettare un'architettura che preservi la struttura multi-scala per garantire che le rappresentazioni rimangano riutilizzabili sotto spostamento, piuttosto che ottimizzare semplicemente l'adattamento delle correlazioni intra-distribuzione.

2. Metodologia: Mamba Multi-Scala Informata dalla Fisica (PIMSM)

PIMSM è un'architettura a spazio di stato progettata per allineare le scale temporali alle proprietà fisiche del segnale. Sostituisce una parametrizzazione temporale completamente non vincolata con una gerarchia guidata dallo spettro.

2.1 Meccanismo Principale: Mappatura dallo Spettro alla Discretizzazione

Il metodo sfrutta l'osservazione secondo cui i segnali neurali e atmosferici spesso esibiscono strutture spettrali a legge di potenza a tratti.

1. Analisi Spettrale (SpectralHyperNet): Il modello stima la Densità Spettrale di Potenza (PSD) della serie temporale di input e adatta una forma a legge di potenza a tratti: $P(f) \propto f^{-\beta_k}$ per regimi di frequenza separati da "frequenze di ginocchio" ($f_k$). Questi ginocchi rappresentano punti di transizione spettrale tra diversi regimi temporali.
2. Parametrizzazione Specifica per Scala: Le frequenze di ginocchio stimate definiscono $K$ bande di frequenza. Per ciascuna banda, viene calcolata una frequenza rappresentativa ponderata per l'energia ($f_{c,k}$).
3. Ancoraggio all'Unità di Acquisizione: Queste frequenze rappresentative sono mappate su parametri di discretizzazione specifici per scala ($\Delta_k$) per le teste del Modello a Spazio di Stato (SSM). Crucialmente, $\Delta_k$ è espresso in unità di tempo di acquisizione (ad esempio, TR per fMRI, ore per il meteo).
   • Le bande di frequenza più elevate mappano su $\Delta$ più grandi (aggiornamenti più rapidi).
   • Le bande di frequenza più basse mappano su $\Delta$ più piccoli (memoria più lunga).
   • Un vincolo gerarchico ($\Delta_1 \ge \Delta_2 \ge \dots$) impone l'ordinamento temporale.
4. Regolarizzazione della Compensazione: Per impedire che la matrice di stato a tempo continuo $A$ compensi il $\Delta$ fisso (il che renderebbe inefficace l'ancoraggio fisico), PIMSM applica un regolarizzatore di scala su $A$, mantenendo la sua scala di decadimento vicina a un'inizializzazione motivata fisicamente.

2.2 Architettura

PIMSM integra questi parametri in un backbone Mamba-2:

• Teste Multi-Scala: Il modello impiega multiple teste SSM raggruppate in $K$ gruppi di scala (predefinito $K=3$). Le teste nello stesso gruppo condividono il parametro di discretizzazione $\Delta_k$ ma mantengono transizioni di stato indipendenti.
• Attenzione Cross-Scala: Un modulo di attenzione cross-scala leggero fonde gli stati specifici per scala, modellando le interazioni tra diversi regimi temporali.
• Obiettivo di Addestramento: La perdita totale include la perdita del compito, la perdita di adattamento spettrale (per garantire una stima accurata dei ginocchi), la perdita di continuità delle giunzioni e termini di regolarizzazione per $\Delta$ (ancoraggio alle unità di acquisizione) e $A$ (prevenzione della deriva di scala).

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Allineamento della Scala Temporale come Requisito: Gli autori formulano il "mismatch del kernel temporale" come diagnosi del motivo per cui le rappresentazioni delle serie temporali scientifiche falliscono sotto spostamenti della distribuzione. Sostengono che preservare le scale temporali fisiche è un prerequisito per rappresentazioni riutilizzabili.
2. Parametrizzazione Multi-Scala Informata dalla Fisica: PIMSM è proposto come un'architettura strutturata che deriva kernel specifici per scala dalle frequenze di ginocchio stimate dallo spettro, esprime i passi di discretizzazione in unità di acquisizione e regolarizza la matrice di stato per garantire che queste scale rimangano interpretabili e trasferibili.
3. Valutazione della Robustezza Multi-Assiale: Il modello è stato valutato attraverso spostamenti strutturati diversificati sia nei domini neurali (fMRI) che meteorologici (Weather-5K), dimostrando una robustezza migliorata senza adattamento specifico alla modalità o supervisione specifica per lo spostamento.

4. Risultati Sperimentali

Gli autori hanno valutato PIMSM rispetto a baseline con parametri corrispondenti (Mamba2, Transformer, 1D-CNN) attraverso quattro assi di spostamento:

• Asse (i) Troncamento del Contesto Temporale (fMRI Motoria HCP):
  • Configurazione: Modelli addestrati su blocchi motori completi ma valutati su input severamente troncati (primi 2 o 3 TR).
  • Risultato: PIMSM ha ottenuto il divario di accuratezza più piccolo tra input a blocco completo e input troncati e la massima similarità delle rappresentazioni (CKA e dCor) tra le due condizioni. Le ablazioni hanno mostrato che l'inizializzazione derivata dallo spettro era critica; valori di $\Delta$ apprendibili o casuali hanno portato a una stabilità inferiore.
• Asse (ii) Generalizzazione a Risorse Limitate (fMRI Motoria HCP):
  • Configurazione: Addestramento con l'1% al 100% dei dati etichettati.
  • Risultato: PIMSM ha superato significativamente le baseline nel regime dell'1% di dati, indicando una superiore efficienza del campione quando i segnali supervisionati sono estremamente limitati.
• Asse (iii) Spostamento dello Stato Cerebrale (Riposo $\to$ Compito):
  • Configurazione: Modelli addestrati su fMRI a riposo e valutati su fMRI evocata da compiti senza adattamento.
  • Risultato: PIMSM ha raggiunto la massima accuratezza e una varianza sostanzialmente inferiore tra i semi rispetto alle baseline, suggerendo una ridotta sensibilità allo spostamento dello stato di acquisizione.
• Asse (iv) Spostamento Cross-Dominio (Weather-5K):
  • Configurazione: Previsione fuori distribuzione (OOD) spaziale su stazioni meteorologiche tenute da parte.
  • Risultato: PIMSM ha ottenuto il Minimo Errore Assoluto Medio (MAE) su tutti i 24 endpoint variabile-orizzonte. Ha ridotto il MAE in media del 15,2% rispetto alla migliore baseline non-PIMSM, con guadagni che aumentavano a orizzonti di previsione più lunghi (fino al 17,9% a 168h).

5. Significato e Affermazioni

Il documento afferma che PIMSM dimostra che l'allineamento della scala temporale funge da bias induttivo pratico per i modelli fondazionali scientifici. Ancorando la politica di memoria del modello all'organizzazione fisica del segnale (tramite ginocchi derivati dallo spettro e unità di acquisizione), l'architettura preserva la geometria delle rappresentazioni sotto spostamenti severi della distribuzione.

Gli autori sottolineano che questi guadagni non sono semplici miglioramenti di accuratezza, ma prove che il modello può mantenere dinamiche riutilizzabili attraverso contesti diversi (ad esempio, dagli stati di riposo a quelli di compito, o da una regione geografica a un'altra). Il lavoro suggerisce che per i segnali scientifici, preservare la struttura è importante quanto adattare le correlazioni, in particolare quando le condizioni di deployment (risoluzione temporale, etichette o dominio) cambiano.

Lo studio riconosce le limitazioni, notando che assume che un piccolo numero di ginocchi derivati dallo spettro sia sufficiente a riassumere l'organizzazione temporale e che gli esperimenti HCP testino il troncamento dell'input piuttosto che cambiamenti a livello di scanner TR. Tuttavia, i risultati supportano l'ipotesi che la parametrizzazione temporale informata dalla fisica possa servire come principio di progettazione riutilizzabile per modelli operanti sotto vincoli del mondo reale come registrazioni brevi, etichette scarse e scenari OOD spaziali.