Latent States in Neural Networks: Recovering the Temporal Structure of Drifting Data from Model Weights

Sintesi Tecnica: Stati Latenti nelle Reti Neurali

Definizione del Problema
La dinamica dell'addestramento nei sistemi di apprendimento manifesta spesso transizioni di fase piuttosto che un'evoluzione continua. Questo fenomeno rispecchia la percezione umana, dove l'esperienza continua viene scomposta in eventi discreti separati da confini. Sebbene lavori precedenti abbiano dimostrato che tali strutture di eventi possono essere recuperate dall'attività corticale umana utilizzando Modelli di Markov Nascosti (HMM) senza riferimento allo stimolo, rimane poco chiaro se esistano regimi discreti simili nelle reti neurali artificiali addestrate su flussi di dati con deriva temporale. Nello specifico, il documento indaga se la "struttura degli eventi" di un flusso di dati in deriva — caratterizzata da spostamenti tra regimi coerenti — possa essere recuperata esclusivamente dalla traiettoria dei pesi del modello, e se tali stati latenti recuperati predicano la performance di generalizzazione funzionale.

Metodologia
Lo studio valuta questo framework su due domini noti per esibire deriva temporale: il rilevamento della disinformazione multimodale (utilizzando il dataset Fakeddit) e l'analisi del sentiment (utilizzando il dataset Yelp). La metodologia procede attraverso i seguenti passaggi:

1. Finestratura Temporale: I dataset sono partizionati in finestre non sovrapposte e cronologicamente ordinate (finestre di 60 giorni per Fakeddit; 90 giorni per Yelp). Ogni finestra viene sottocampionata tramite campionamento stratificato per garantire l'equilibrio delle classi.
2. Addestramento Indipendente del Modello: Un classificatore viene addestrato indipendentemente sui dati di ogni finestra. Per Fakeddit, viene utilizzato un MLP multimodale a 6 vie che utilizza caratteristiche concatenate di RoBERTa e ResNet-50. Per Yelp, viene impiegato un MLP a 5 vie utilizzando le caratteristiche di RoBERTa. Ogni finestra viene addestrata con 10 diversi seed casuali per tenere conto della stocasticità.
3. Estrazione e Allineamento dei Pesi: I pesi di ciascun modello addestrato vengono estratti. Per affrontare la simmetria di permutazione nelle unità nascoste, i pesi vengono allineati tra i seed all'interno di ogni finestra utilizzando l'algoritmo di accoppiamento unario iterativo (Hungarian matching) basato su una "firma" di allineamento dei pesi in entrata e in uscita.
4. Riduzione della Dimensionalità: I vettori dei pesi allineati vengono appiattiti e proiettati in uno spazio a bassa dimensionalità tramite Analisi delle Componenti Principali (PCA). Le coordinate risultanti sono normalizzate tramite z-score.
5. Fitting dell'HMM: Un Modello di Markov Nascosto con una topologia left-to-right (che proibisce la ricorrenza degli stati) viene adattato alla sequenza cronologicamente ordinata dei centroidi delle finestre. Il numero di stati latenti ($K$) è selezionato tramite il Criterio di Informazione Bayesiana (BIC) e cross-validazione leave-one-seed-out.
6. Valutazione:
   • Test di Generalizzazione: Gli autori confrontano il macro F1 score del trasferimento di un modello addestrato nella finestra $i$ ai dati di test nella finestra $j$ quando $i$ e $j$ condividono lo stesso stato HMM, rispetto a quando attraversano un confine di stato.
   • Controlli: L'analisi controlla la prossimità temporale (lag) e la divergenza della distribuzione delle classi (misurata tramite la Divergenza di Jensen-Shannon, JSD).
   • Baseline: I risultati sono confrontati con una baseline ingenua che partiziona le finestre in blocchi contigui di dimensioni uguali.

Risultati Chiave

1. Traiettorie Coerenti: Dopo l'allineamento, i pesi del modello tracciano una traiettoria coerente attraverso lo spazio PCA, spostandosi nel tempo anziché raggrupparsi per seed casuali.
2. Recupero degli Stati Latenti: L'HMM recupera con successo stati latenti che partizionano la linea temporale (11 stati per Fakeddit; 16 per Yelp, di cui 15 visitati).
3. Vantaggio della Generalizzazione Intra-Stato: I modelli generalizzano significativamente meglio quando le finestre di addestramento e di test appartengono allo stesso stato latente rispetto alle finestre che attraversano i confini di stato.
   • Fakeddit: Un divario di +0.1092 nel macro F1 (intra vs. inter-stato).
   • Yelp: Un divario di +0.0184 nel macro F1.
   • Questo vantaggio persiste dopo aver controllato la prossimità temporale tramite test di permutazione condizionati per distanza.
4. Superiorità rispetto alle Baseline Ingenue: La segmentazione derivata dall'HMM produce un miglioramento statisticamente significativo dei gap di generalizzazione rispetto alle partizioni contigue di dimensioni uguali, sebbene la baseline di dimensioni uguali catturi gran parte dell'effetto, suggerendo che i dati siano dominati da alcuni grandi cambiamenti di regime.
5. Correlazione con la Distribuzione dei Dati: Gli stati recuperati correlano più fortemente con gli spostamenti nella distribuzione delle classi dei dati (JSD) che con le distanze euclidee nello spazio dei pesi utilizzate per stimarli.
   • Fakeddit: Forte correlazione tra la divergenza della distribuzione delle classi e la performance di trasferimento ($\rho = -0.878$).
   • Yelp: Correlazione più debole ma significativa ($\rho = -0.407$).
6. Analisi dei Residui: Anche dopo aver eliminato l'effetto della divergenza delle classi e del lag temporale tramite residualizzazione, l'indicatore intra-stato rimane un predittore significativo della performance di trasferimento, particolarmente su Fakeddit. Ciò indica che gli stati catturano una struttura rilevante per il trasferimento che va oltre i semplici spostamenti dei margini delle etichette.

Significatività e Rivendicazioni
Il documento sostiene di dimostrare che il framework di segmentazione degli eventi, precedentemente osservato nelle neuroscienze umane, si applica agli apprendisti artificiali esposti a dati in deriva. I principali contributi sono:

• Recupero dei Regimi: È possibile recuperare regimi temporali discreti da un flusso di dati in deriva analizzando esclusivamente la traiettoria dei pesi del modello, senza accesso alla distribuzione dei dati sottostante durante il processo di segmentazione.
• Rilevanza Funzionale: Questi stati latenti recuperati non sono meri artefatti geometrici; corrispondono a fasi in cui i modelli generalizzano in modo più affidabile. Questa coerenza "intra-stato" parallelizza le conseguenze comportamentali dei confini di evento nella memoria umana.
• Geometria dei Dati vs. Pesi: Sebbene gli stati siano stimati dalla geometria dello spazio dei pesi, essi si allineano più strettamente con la distribuzione delle classi sottostante dei dati. Tuttavia, il fatto che il vantaggio intra-stato sopravviva ai controlli per la divergenza delle classi suggerisce che i pesi codifichino una struttura rilevante per il trasferimento che non è interamente catturata dalle sole distribuzioni delle etichette.

Gli autori notano che gli effetti sono attenuati sul dataset Yelp, probabilmente a causa della sua distribuzione di etichette più stabile rispetto a Fakeddit. Concludono che, sebbene il metodo recuperi con successo la struttura rilevante per il trasferimento, il contributo specifico della segmentazione derivata dai pesi rispetto alla statistica diretta dei dati dipende dalla natura della deriva (ad esempio, shift delle etichette vs. shift delle covariate). Lo studio non pretende di spiegare i driver meccanicistici di questi confini, ma stabilisce la loro esistenza e utilità predittiva per la generalizzazione.