Riepilogo Tecnico: Il Campo di Propagazione: Una Teoria del Substrato Geometrico del Deep Learning

1. Enunciato del Problema

Il deep learning moderno tratta principalmente le reti neurali come funzioni terminali che mappano gli input sugli output, ottimizzate tramite funzioni di perdita specifiche per il compito (LeCun et al., 2015). Sebbene questo approccio abbia guidato successi significativi, i meccanismi interni della propagazione delle informazioni rimangono scarsamente compresi. L'addestramento standard vincola il comportamento al confine (mappatura input-output) ma lascia la geometria delle rappresentazioni strato per strato e le traiettorie dello stato interno sottodeterminate. Questo divario si manifesta in problematiche che vanno dalla robustezza agli attacchi avversariali (Szegedy et al., 2013) e dall'apprendimento in contesto (Brown et al., 2020) all'oblio catastrofico nell'apprendimento continuo (Kirkpatrick et al., 2017).

Il problema centrale affrontato è che la supervisione al terminale non identifica univocamente il campo di propagazione interno. Due modelli possono essere "equivalenti al terminale" (raggiungendo una perdita per il compito quasi identica) pur possedendo strutture geometriche interne profondamente diverse, incluse le traiettorie degli stati nascosti e gli operatori Jacobiani locali. Di conseguenza, le leggi di scalatura standard caratterizzano la scalatura della perdita al terminale ma non necessariamente la scalatura della qualità della propagazione interna.

2. Metodologia: Il Framework del Campo di Propagazione

Gli autori propongono una prospettiva di "Campo di Propagazione", ispirata dal passaggio dalla meccanica basata sulle forze alle teorie di campo geometriche in fisica (ad esempio, Relatività Generale e teoria di Yang-Mills). Invece di considerare i livelli come passaggi computazionali discreti, la rete è vista come un campo definito dalla raccolta delle traiettorie degli stati nascosti e degli operatori Jacobiani locali attraverso la profondità.

2.1 Definizioni Fondamentali

• Campo di Propagazione ($\Phi_\theta$): Definito come l'insieme degli stati nascosti $\{h_0, \dots, h_L\}$ e degli operatori Jacobiani locali $\{J_0, \dots, J_{L-1}\}$, dove $J_\ell = \partial h_{\ell+1} / \partial h_\ell$. Per i modelli a flusso continuo, questo include la traiettoria $h(t)$ e il campo vettoriale $f_\theta(h, t)$.
• Equivalenza al Terminale: Due modelli sono equivalenti al terminale se le loro perdite per il compito differiscono per meno di una tolleranza $\epsilon$. Il documento dimostra (Proposizione 2.3) che l'equivalenza al terminale non implica l'equivalenza del campo; i modelli possono avere una precisione identica ma differire di ordini di grandezza nella struttura delle traiettorie e degli Jacobiani.
• Distanza di Campo: Una metrica $d_{field}$ quantifica la discrepanza tra le traiettorie degli stati nascosti e le strutture Jacobiane di due modelli.

2.2 Metriche Osservabili

Per rendere misurabile il campo di propagazione, gli autori introducono metriche di geometria discreta calcolabili nelle reti standard:

• Lunghezza del Percorso: Spostamento totale della rappresentazione attraverso la profondità.
• Curvatura Discreta: Un proxy per la curvatura della traiettoria nascosta.
• Allineamento della Velocità: La coerenza della direzione di propagazione attraverso i livelli.
• Sensibilità del Percorso: La varianza negli stati nascosti o negli output quando lo stesso input viene presentato tramite percorsi di osservazione diversi (ad esempio, diversi ordini di patch o finestre temporali).
• Coerenza del Risolutore: La stabilità degli stati terminali quando lo stesso campo sottostante è discretizzato con diversi passi temporali o risolutori numerici.
• Punteggi di Ritenzione (FRS/JRS): Nell'apprendimento continuo, metriche che misurano la deriva delle traiettorie nascoste (FRS) e degli Jacobiani locali (JRS) tra modelli vecchi e nuovi.

2.3 Obiettivi di Ottimizzazione

Il documento introduce Obiettivi Consapevoli del Campo per regolarizzare la geometria interna:

• Coerenza Multi-percorso ($L_{reveal}$): Minimizza le differenze negli stati nascosti/logit attraverso diversi percorsi di osservazione.
• Coerenza del Risolutore ($L_{solver}$): Garantisce che gli stati terminali rimangano coerenti sotto diverse discretizzazioni numeriche.
• Lisciatura Jacobiana ($L_{jac}$): Regolarizza la lisciatura degli operatori di propagazione locali.
• Regolarizzazione di Preservazione del Campo (FPR): Nell'apprendimento continuo, l'FPR aggiunge vincoli per preservare le traiettorie nascoste e i campi Jacobiani dei compiti precedenti, complementando il replay standard o la distillazione.

3. Contributi Chiave e Risultati Sperimentali

Il documento fornisce evidenze empiriche attraverso sistemi controllati, compiti del mondo reale e impostazioni di apprendimento continuo.

3.1 Sistemi Controllati (Teacher-Flow & PDE)

• Sottodeterminazione: Negli esperimenti di teacher-flow, modelli con una precisione al terminale identica (0.9975) hanno mostrato errori di recupero della traiettoria che differivano per un fattore di 58.7x (3.52 vs. 0.06) quando è stata applicata la supervisione del campo.
• Recupero della Legge: Nei compiti di estrapolazione delle PDE, il fitting standard al terminale non è riuscito a recuperare la legge di propagazione sottostante (MSE = 1.217 a $T=2.0$), mentre i modelli di campo di tipo generatore hanno raggiunto un errore significativamente inferiore (MSE = 0.195) e hanno preservato l'evoluzione dell'energia.
• Conclusione: Il fitting al terminale identifica una classe di equivalenza comportamentale ma non riesce a recuperare la legge di propagazione sottostante.

3.2 Compiti Reali Multi-percorso

• Allineamento del Compito: Gli obiettivi consapevoli del campo migliorano la generalizzazione (precisione OOD, precisione su percorsi non visti) e la calibrazione solo se allineati con la struttura del compito.
  • Successo: Su Tiny-ImageNet, l'obiettivo completo consapevole del campo ha migliorato la precisione (da 0.097 a 0.118), la precisione OOD e la calibrazione, riducendo al contempo la sensibilità al percorso.
  • Fallimento (Collasso): Su CIFAR-100, imporre la coerenza del campo ha ridotto la sensibilità al percorso ma ha causato un collasso del campo, degradando la precisione da 0.0405 a 0.0093. Ciò dimostra che una bassa sensibilità al percorso non è sufficiente per le prestazioni discriminative; il campo deve mantenere una sufficiente ricchezza direzionale.
• Trade-off di Ottimizzazione: L'analisi del gradiente rivela conflitti tra obiettivi di compito e di campo (fino al 36% di frazioni di gradiente negative). La retropropagazione standard non trova automaticamente il compromesso ottimale compito-campo; sono necessari algoritmi specializzati (ad esempio, LocalFieldMatch) per navigare il fronte di Pareto.

3.3 Apprendimento Continuo

• Ritenzione del Campo vs. Ritenzione della Funzione: In Split CIFAR-100, la sola Regolarizzazione di Preservazione del Campo (FPR) ha preservato con successo le metriche interne del campo (JRS = 0.033) ma non è riuscita a mantenere la precisione al terminale (AA = 0.037). Al contrario, i metodi di replay standard (DER++) hanno preservato la precisione (AA = 0.135) ma hanno permesso la deriva del campo (JRS = 0.177).
• Complementarità: Combinare FPR con DER++ (DER++ + FPR-Full) ha migliorato entrambe le dimensioni simultaneamente, aumentando la Precisione Media (da 0.125 a 0.136) e il Transfer Inverso, riducendo al contempo la deriva del campo. Ciò suggerisce che la ritenzione del campo e la ritenzione della funzione sono obiettivi complementari, non ridondanti.

4. Significato e Affermazioni

Il documento afferma di stabilire la qualità del campo di propagazione come una proprietà misurabile e addestrabile delle reti neurali che esiste oltre le prestazioni al terminale.

• Cambiamento Teorico: Riformula il deep learning dall'ottimizzazione di una mappa statica input-output alla gestione di un substrato geometrico interno dinamico.
• Identificabilità: Dimostra che la supervisione al terminale è insufficiente per determinare univocamente il campo di propagazione interno, rendendo necessari obiettivi espliciti consapevoli del campo per compiti che coinvolgono dipendenza dal percorso o processi a lungo termine.
• Utilità Pratica: Gli obiettivi consapevoli del campo possono migliorare la robustezza e la generalizzazione in regimi specifici (ad esempio, compiti multi-percorso) ma richiedono un attento bilanciamento per evitare il "collasso del campo", in cui la rete ottimizza per la coerenza geometrica a scapito del potere discriminativo.
• Apprendimento Continuo: Propone che l'oblio si verifica a livello di campo (riscrittura delle leggi di propagazione interne) e che preservare questa geometria complementa le strategie tradizionali di ritenzione a livello di funzione.

Gli autori concludono con un "principio direzionale simile a Kakeya": i campi di propagazione utili devono ridurre la sensibilità spuria al percorso preservando al contempo una sufficiente ricchezza direzionale per la discriminazione. Questo lavoro suggerisce che la futura ricerca sul deep learning dovrebbe misurare e ottimizzare esplicitamente la geometria della propagazione interna, non solo l'output finale.