=== RIASSUNTO TECNICO ===

Riassunto Tecnico: SJEPA – Apprendimento di Dinamiche Latenti Eleganti con Predittori Ibridi Simbolico-Neurali

1. Formulazione del Problema

Le architetture predittive a embedding congiunto (JEPA) apprendono stati astratti prevedendo gli embedding target dai contesti, separando la semantica predittiva dalla variabilità a livello di pixel. Tuttavia, le JEPA standard impiegano tipicamente modelli di transizione neurali opachi. Sebbene accurati, questi modelli non rivelano quali variabili interagiscono, come le azioni alterino il futuro o se le coordinate apprese supportino una descrizione dinamica concisa.

Il documento affronta un divario specifico: Una JEPA può apprendere non solo stati predittivi, ma anche dinamiche "eleganti" su tali stati? Qui, "elegante" è definito operativamente come una legge compatta e parsimoniosa che rimanga adeguata alla predizione. La sfida consiste nel trovare la legge governante più semplice e adeguata per uno stato predittivo informativo senza far collassare la rappresentazione (cancellando informazioni per rendere la transizione banale) o sottostimare le dinamiche.

2. Metodologia: Framework SJEPA

L'autore introduce lo Symbolic JEPA (SJEPA), un framework privo di ricostruzione che decompone l'operatore di transizione latente in un ibrido composto da una legge governante simbolica e una correzione neurale regolarizzata.

2.1 Architettura del Predittore Ibrido

Dato un embedding di contesto $Z_C$ e un'informazione laterale $\epsilon$ (ad esempio, azione, offset temporale), l'embedding target $\hat{Z}_T$ è predetto da:
$$\hat{Z}_T = F_{E,\alpha}(Z_C, \epsilon) + c_\phi(Z_C, \epsilon)$$

• Legge Simbolica ($F_{E,\alpha}$): Un'espressione compatta con struttura $E$ (derivata da una grammatica di primitivi aritmetici, polinomiali, trascendenti o specifici del dominio) e coefficienti $\alpha$. Questa cattura le dinamiche dominanti e riutilizzabili.
• Correzione Neurale ($c_\phi$): Una rete neurale che corregge gli effetti che la grammatica simbolica selezionata non riesce a esprimere adeguatamente (ad esempio, attrito, interazioni non risolte, errori di approssimazione).

2.2 Compressione dell'Operatore Vincolata

Il principio cardine è la compressione dell'operatore vincolata. L'obiettivo è minimizzare la complessità dell'operatore di transizione garantendo al contempo che la rappresentazione rimanga informativa e non collassi.

Il problema di ottimizzazione è formulato come:
$$\min_{\theta, \bar{\theta}, E, \alpha, \phi} \Omega(E) + \lambda_c R_{corr}(\phi)$$
$$\text{soggetto a } L_{pred}(\theta, \bar{\theta}, E, \alpha, \phi) \le \delta_{pred}, \quad (\theta, \bar{\theta}) \in \Theta_{repr}$$

• Obiettivo: Minimizzare la complessità simbolica $\Omega(E)$ e la dipendenza dalla correzione $R_{corr}(\phi)$.
• Vincolo Predittivo ($L_{pred} \le \delta_{pred}$): Impedisce il sottostima (underfitting); il modello deve essere sufficientemente accurato.
• Vincolo di Rappresentazione ($\Theta_{repr}$): Impedisce all'encoder di far collassare lo stato in un vettore costante per rendere banale la transizione. Ciò è implementato tramite regolarizzatori (ad esempio, preservazione della varianza in stile VICReg) per garantire che lo stato rimanga informativo e non collassato.

2.3 Strategie di Apprendimento

Il framework supporta due modalità:

1. Apprendimento Alternato End-to-End: Ottimizza congiuntamente l'encoder (rappresentazione) e le dinamiche simboliche/neurali. Il processo alterna tra:
   • Ricerca delle Dinamiche: Fissare gli encoder per trovare la legge simbolica più semplice per le coordinate attuali.
   • Ricerca dello Spazio: Fissare la struttura simbolica per aggiornare gli encoder in modo che la rappresentazione supporti una transizione più semplice.
2. Apprendimento con Encoder Congelato: Utilizza un encoder pre-addestrato (ad esempio, ViT, DINO, I-JEPA) e apprende solo la legge simbolica e la correzione, fungendo da diagnostica per verificare se le rappresentazioni esistenti espongono dinamiche compatte.

2.4 Estensione Bayesiana

Il documento propone una formulazione bayesiana in cui l'incertezza è posta sulla struttura simbolica, sui coefficienti e su una correzione basata su Processi Gaussiani (GP). Ciò consente al modello di mantenere molteplici spiegazioni concorrenti quando i dati sono insufficienti per identificare in modo decisivo una singola legge.

3. Approfondimenti Teorici Chiave

• Non-Identificabilità delle Coordinate Predittive: Le coordinate predittive non sono uniche; qualsiasi trasformazione invertibile dello spazio latente preserva l'accuratezza della predizione. Tuttavia, la complessità simbolica della legge di transizione varia tra diversi sistemi di coordinate. La compressione dell'operatore agisce come un bias induttivo per selezionare le coordinate in cui la transizione è più semplice.
• La Scorciatoia del Collasso: Senza vincoli espliciti sulla rappresentazione, la minimizzazione della complessità dell'operatore crea una scorciatoia diretta verso il collasso della rappresentazione. L'encoder può mappare tutte le osservazioni in un vettore costante $z_0$, permettendo a un predittore identità di raggiungere un errore nullo con complessità nulla. I vincoli di rappresentazione sono essenziali per prevenire questo fenomeno.
• Controllo dell'Allocazione: La decomposizione tra componenti simboliche e neurali non è identificabile solo tramite la perdita di predizione. È necessaria una regolarizzazione sul termine di correzione ($R_{corr}$) per evitare che la componente neurale assorba dinamiche che la grammatica simbolica potrebbe rappresentare, garantendo che la legge simbolica mantenga il meccanismo dominante.

4. Risultati Sperimentali

L'autore valida il framework utilizzando esperimenti controllati su un pendolo.

Esperimento 1: Apprendimento Congiunto di Coordinate ed Equazioni

• Configurazione: Un sistema a pendolo con osservazioni ad alta dimensionalità e rumorose. Confrontate la Neural JEPA, la regressione simbolica post-hoc (adatta i simboli alle coordinate della Neural JEPA congelata) e SJEPA (apprendimento congiunto).
• Risultati:
  • Semplicità: SJEPA congiunta ha ridotto la complessità simbolica media di un fattore di ~5.6 rispetto al fitting post-hoc (da 26.0 a 4.67).
  • Accuratezza: SJEPA ha ottenuto un errore di rollout dello stato fisico e una divergenza Out-of-Distribution (OOD) significativamente inferiori rispetto alla regressione simbolica post-hoc, sebbene la flessibile Neural JEPA rimanesse la più accurata nella predizione grezza.
  • Verifica del Collasso: Una diagnostica a singolo step non vincolata (rimuovendo i vincoli di rappresentazione) ha prodotto embedding quasi costanti e un campo vettoriale nullo, confermando la scorciatoia del collasso teorica.

Esperimento 2: Dinamiche Ibride sotto Misspecification della Grammatica

• Configurazione: Le dinamiche reali includevano un trascinamento quadratico ($p|p|$), ma la grammatica simbolica era intenzionalmente limitata per escludere tale termine.
• Risultati:
  • Effetto della Regolarizzazione: Con la regolarizzazione della correzione, la componente simbolica ha mantenuto i termini rappresentabili (ad esempio, $\sin(q)$), e la correzione neurale si è concentrata sul trascinamento residuo. Il rapporto di energia della correzione normalizzata era basso (0.06).
  • Senza Regolarizzazione: L'ibrido non regolarizzato ha permesso alla correzione neurale di assorbire le dinamiche rappresentabili, riducendo i coefficienti simbolici e aumentando il rapporto di energia della correzione a 0.55.
  • Conclusione: La regolarizzazione controlla con successo l'allocazione, preservando il meccanismo simbolico per le dinamiche rappresentabili e utilizzando la componente neurale per i residui.

5. Significato e Rivendicazioni

Il documento sostiene che SJEPA fornisca una direzione complementare all'interno della famiglia JEPA, distinta dai predittori neurali standard o dal fitting simbolico post-hoc.

• Compromesso Controllabile: SJEPA non rivendica una superiorità universale in termini di pura accuratezza predittiva rispetto alle reti neurali flessibili. Al contrario, offre un compromesso controllabile tra fedeltà predittiva, qualità della rappresentazione, parsimonia simbolica e allocazione simbolico-neurale.
• Dinamiche Eleganti: Dimostra che la compressione dell'operatore può selezionare coordinate predittive le cui dinamiche indotte sono semplici ma adeguate, a patto che i vincoli di rappresentazione prevengano il collasso.
• Interpretabilità: I modelli risultanti offrono leggi governanti compatte e ispezionabili (ad esempio, accoppiamenti incrociati di tipo oscillatorio) che possono essere differenziate, linearizzate e utilizzate per la pianificazione, a differenza dei predittori neurali opachi.
• Modularità: Il framework è modulare, supportando l'apprendimento alternato, gli encoder congelati, l'incertezza bayesiana e il controllo condizionato dall'azione.

L'autore mantiene un tono modesto, osservando che gli esperimenti sono diagnostiche controllate su un sistema specifico (pendolo) e che la generalizzazione a dati visivi ad alta dimensionalità, dataset scientifici reali e compiti di controllo complessi rimane un lavoro futuro. Il contributo primario è la formalizzazione dell'apprendimento della "legge più semplice e adeguata" come un problema di ottimizzazione vincolata che bilancia la compressione dell'operatore e l'integrità della rappresentazione.