Riepilogo Tecnico: Regressione Simbolica con Inferenza Variazionale Profonda (DVISR)

Enunciato del Problema

La Regressione Simbolica (SR) mira a scoprire relazioni matematiche esplicite e interpretabili tra variabili indipendenti e dipendenti, senza assumere a priori una forma funzionale. Sebbene i metodi tradizionali come la Programmazione Genetica (GP) e la Regressione Simbolica Profonda (DSR) identifichino con successo singole espressioni che meglio si adattano ai dati, essi non possiedono la capacità di inferire una distribuzione di probabilità sui modelli candidati. Questa limitazione impedisce la quantificazione dell'incertezza, aspetto critico quando si affrontano dati reali rumorosi o limitati.

Gli approcci bayesiani esistenti, come il Monte Carlo a catena di Markov (MCMC), possono campionare accuratamente dalla distribuzione a posteriori ma faticano a scalare negli spazi ad alta dimensionalità e sono computazionalmente più lenti rispetto ai metodi variazionali. Al contrario, l'Inferenza Variazionale (VI) offre alternative più veloci e scalabili, ma ha visto un'applicazione limitata nella SR. I tentativi precedenti di SR variazionale sono stati limitati a reti neurali polinomiali o a sottoinsiemi dello spazio delle espressioni a causa dell'intrattabilità computazionale. Esiste la necessità di un approccio bayesiano variazionale scalabile che inferisca le posteriori sia sugli alberi delle espressioni che sui loro costanti associati.

Metodologia

Gli autori propongono la Regressione Simbolica con Inferenza Variazionale Profonda (DVISR), un'estensione bayesiana variazionale dell'algoritmo di Regressione Simbolica Profonda (DSR). DVISR utilizza una Rete Neurale Ricorrente (RNN) per generare espressioni simboliche e impiega il metodo del gradiente della politica REINFORCE per l'ottimizzazione.

Modifiche Chiave Architetturali e Algoritmiche

1. Distribuzione sui Costanti: A differenza di DSR, che ottimizza i costanti a valle tramite procedure separate, DVISR estende l'output della RNN per includere parametri (media e varianza) per distribuzioni normali sui valori costanti. Quando viene campionato un token costante, il suo valore è estratto da questa distribuzione appresa.
2. Contesto di Input Potenziato: Per assistere la RNN nel campionamento, la rete riceve in input il token precedente, il genitore e i token fratelli (se esistenti), insieme ai valori dei costanti precedentemente campionati. Questo affronta le limitazioni di DSR in cui la rete potrebbe non "vedere" tutti i token precedenti.
3. Funzione di Ricompensa e Obiettivo:
   • DSR: Massimizza una ricompensa basata sull'Errore Quadratico Medio Normalizzato (NRMSE) delimitato da una funzione di saturazione per trovare un singolo modello migliore.
   • DVISR: Sostituisce la ricompensa NRMSE con l'integrando del Limite Inferiore dell'Evidenza (ELBO). La funzione di ricompensa è definita come:
     $$R(f) = \log \mathcal{L}_\theta(f|X, y) + \log p(f) - \log q_\phi(f)$$
     Dove $\mathcal{L}_\theta$ è la verosimiglianza, $p(f)$ è la prior e $q_\phi(f)$ è la distribuzione variazionale.
   • Massimizzando questa ricompensa tramite REINFORCE, DVISR minimizza indirettamente la divergenza di Kullback-Leibler (KL) tra la distribuzione variazionale $q_\phi(f)$ e la vera posterior $p(f|X, y)$.
4. Calcolo della Verosimiglianza: La verosimiglianza di un'espressione $f$ è calcolata come il prodotto delle verosimiglianze dei suoi token e costanti, condizionato a tutti i token e costanti precedentemente campionati.

Contributi Chiave

1. Nuovo Algoritmo: Introduzione di DVISR, il primo algoritmo a eseguire inferenza variazionale sull'intero spazio della regressione simbolica, inclusi sia gli alberi delle espressioni che i parametri costanti continui.
2. Recupero della Posterior: Dimostrazione che DVISR può convergere correttamente alla vera posterior in contesti semplici, sia con che senza token costanti.
3. Analisi di Scalabilità: Un esame di come le prestazioni di DVISR degradano all'aumentare della dimensione dello spazio delle espressioni, identificando i limiti dell'architettura corrente.

Risultati Sperimentali

Gli autori hanno condotto esperimenti per validare la convergenza e la scalabilità di DVISR.

1. Convergenza alla Vera Posterior (Senza Costanti)

In esperimenti semplici utilizzando dati generati da $y=x_0^2$, $y=x_0$ e $y=0.5$ con una libreria di token ristretta, lo spazio dei modelli era piccolo e finito.

• Risultati: L'ELBO è convergente al logaritmo dell'evidenza e la divergenza KL si è avvicinata a zero.
• Validazione: La Tabella 1 mostra che le probabilità mediane variazionali corrispondevano ai valori della vera posterior fino a otto cifre decimali su 10 esecuzioni.

2. Convergenza con Costanti

Gli esperimenti includevano un token costante ($c$) nella libreria, permettendo espressioni come $x_0 \cdot c$.

• Metodo: La vera posterior è stata calcolata marginalizzando i costanti utilizzando un integratore numerico.
• Risultati: La Tabella 2 dimostra che la distribuzione variazionale sugli alberi delle espressioni è convergente alla vera posterior esatta (marginalizzata sui costanti) fino a otto cifre decimali.

3. Scalabilità

Gli autori hanno variato la dimensione massima dell'espressione da 1 a 12 token per testare la scalabilità.

• Risultati: All'aumentare della dimensione massima dell'espressione, la divergenza KL stimata tra la vera posterior e la distribuzione variazionale è aumentata.
• Limitazione: Non sono stati eseguiti esperimenti oltre la dimensione 12 a causa della difficoltà computazionale nel calcolare l'evidenza a quella scala. Ciò indica che, sebbene DVISR funzioni per spazi piccoli, le prestazioni degradano all'espandersi dello spazio di ricerca.

Significato e Affermazioni

Il documento posiziona DVISR come un passo significativo verso la regressione simbolica bayesiana scalabile che fornisce una quantificazione dell'incertezza su modelli simbolici completi.

• Interpretabilità e Incertezza: Inferendo una distribuzione a posteriori anziché una singola stima puntuale, DVISR affronta la natura "scatola nera" di alcuni modelli di regressione e tiene conto del rumore e delle limitazioni dei dati.
• Avanzamento rispetto a MCMC: Offre un'alternativa più veloce a MCMC per la SR bayesiana, che è tipicamente lenta e fatica con le alte dimensioni.
• Portata Modesta: Gli autori riconoscono le limitazioni attuali, incluse piccole dimensioni delle espressioni, bassi numeri di variabili indipendenti e l'assenza di dataset del mondo reale. Non affermano una superiorità immediata su problemi complessi del mondo reale, ma sostengono che DVISR stabilisca un quadro fondamentale.
• Direzioni Future: Il documento suggerisce che il lavoro futuro potrebbe migliorare la scalabilità attraverso ricerche di iperparametri, architetture avanzate (ad esempio, Transformer) o algoritmi di apprendimento per rinforzo più sofisticati (ad esempio, PPO).