🤖 machine learning

Are you sure? A Comprehensive and Comprehensible Survey of Uncertainty Quantification in Symbolic Regression

Questa survey affronta la lacuna critica nella quantificazione dell'incertezza (UQ) per la regressione simbolica introducendo concetti essenziali, esaminando la letteratura esistente attraverso gli approcci frequentista, bayesiano e di selezione del modello, e sottolineando la necessità di ulteriori ricerche per consentire un processo decisionale affidabile nel mondo reale.

Autori originali: Julia Reuter, Fabricio Olivetti de Franca

Pubblicato 2026-06-08

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Julia Reuter, Fabricio Olivetti de Franca

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero usando un insieme di indizi (dati). Il tuo obiettivo è trovare la "regola" o la "formula" perfetta che spieghi come questi indizi si incastrano tra loro. È ciò che fa la Regressione Simbolica (SR): essa cerca attraverso una gigantesca libreria di funzioni matematiche quella che meglio descrive i tuoi dati.

Tuttavia, nel mondo reale, gli indizi sono raramente perfetti. Potrebbero essere sfuocati, misurati con mano tremante o semplicemente intrinsecamente casuali. È qui che entra in gioco l'Uncertainty Quantification (UQ) (Quantificazione dell'Incertezza). Pensa all'UQ come al "misuratore di fiducia" del detective. Invece di dire solo: "La regola è $y = 2x$ ", un buon detective con l'UQ dice: "La regola è probabilmente $y = 2x$ , ma ne sono sicuro solo al 95%, e la risposta reale potrebbe trovarsi ovunque tra $1.8x$ e $2.2x$ ".

Questo articolo è una survey completa (una grande revisione) su come i ricercatori stiano cercando di costruire questi "misuratori di fiducia" per la Regressione Simbolica. Gli autori sostengono che, sebbene la SR stia migliorando nel trovare le regole, sia ancora terribile nel dirci quanto dovremmo fidarci di esse.

Ecco una suddivisione delle idee principali dell'articolo utilizzando analogie semplici:

1. I due tipi di "dubbio"

L'articolo spiega che ci sono due ragioni principali per cui un detective potrebbe essere incerto:

Gli "Indizi Disordinati" (Incertezza Aleatoria): Immagina di cercare di misurare l'altezza di una pallina che rimbalza. Non importa quante volte la misuri, rimbalzerà diversamente ogni volta. Questo è rumore che non puoi eliminare, anche con più dati. L'UQ ti aiuta a capire: "Ehi, la pallina è solo caotica; non posso prevedere il rimbalzo esatto, solo la media".
La "Conoscenza Mancante" (Incertezza Epistemica): Immagina di cercare di indovinare un codice segreto, ma hai solo tre indizi. Non conosci la regola perché non hai visto abbastanza esempi. Questa è una mancanza di conoscenza. Se ottieni più indizi, puoi ridurre questo dubbio. L'UQ ti aiuta a capire: "Sto tirando a indovinare perché non ho visto abbastanza dati".

2. I tre modi per misurare la fiducia

L'articolo organizza gli attuali metodi in tre "scuole di pensiero" su come calcolare quel misuratore di fiducia:

A. L'Approccio Frequentista (Il club del "Ripeti l'esperimento")

L'analogia: Immagina di cuocere una torta e che sia perfetta. Per sapere se è davvero perfetta o solo fortunata, la cuoci 100 volte. Se ha un ottimo sapore 95 volte, sei fiducioso.
Come funziona: Questi metodi assumono che esista una regola "vera" là fuori, ma che i nostri dati siano rumorosi. Utilizzano la matematica (come l'Informazione di Fisher) per osservare la forma della "collina" dove si trova la risposta migliore.
- Picco Acuto: Se la collina è un picco affilato, sai esattamente dove si trova la cima (alta fiducia).
- Altopiano Piatto: Se la collina è un tavolo piatto, potresti trovarti ovunque su di esso e comunque essere "corretto" (bassa fiducia).
Strumenti: Utilizzano Intervalli di Confidenza (un intervallo per i numeri della regola) e Intervalli di Predizione (un intervallo per le previsioni future). Usano anche la Predizione Conforme, che è come una rete di sicurezza che garantisce che la tua ipotesi sarà corretta una certa percentuale di volte, senza dover assumere che i dati seguano un modello specifico.

B. L'Approccio Bayesiano (Il club dell' "Aggiornamento delle Credenze")

L'analogia: Immagina di iniziare con un'intuizione (una credenza a priori) su quale possa essere la regola. Man mano che ricevi nuovi indizi, aggiorni la tua intuizione. Non cerchi solo una regola migliore; mantieni un'intera "nuvola" di possibili regole nella tua testa, ognuna con una probabilità di essere vera.
Come funziona: Invece di trovare una singola risposta, questi metodi cercano di mappare l'intera "nuvola" di possibilità.
- Intervalli di Credibilità: Questa è la versione bayesiana dell'intervallo di confidenza. Dice: "C'è una probabilità del 90% che la vera regola sia all'interno di questa scatola".
- La Sfida: Calcolare questa "nuvola" è difficile. L'articolo discute metodi come MCMC (Markov Chain Monte Carlo), che è come il cammino di un ubriaco che alla fine mappa l'intero territorio, e SMC (Sequential Monte Carlo), che usa uno sciame di particelle per esplorare il territorio in modo più efficiente.
Innovazione: Alcuni ricercatori stanno cercando di usare questi metodi non solo per trovare i numeri in una formula, ma per trovare la forma della regola stessa (ad esempio, è una linea, una curva, un albero?).

C. Selezione del Modello (Il club del "Scegliere il miglior detective")

L'analogia: Hai 10 diverse teorie sul mistero. Alcune sono semplici (un solo sospettato), altre sono complesse (una cospirazione che coinvolge 50 persone). Come scegli quella giusta senza cadere in una teoria del complotto che si adatta troppo bene ai dati (overfitting)?
Come funziona: Questa sezione esamina metodi come MDL (Minimum Description Length). Pensalo come a un gioco di "compressione". La migliore regola è quella che spiega i dati usando il minor numero di parole (bit). Se una regola è troppo complessa, è come cercare di comprimere un libro in una singola frase: perde significato. Questi metodi penalizzano le regole eccessivamente complesse per garantire che il detective non venga ingannato dal rumore casuale.

3. Cosa ha scoperto la Survey

Gli autori hanno esaminato molti articoli di ricerca e hanno trovato alcune cose chiave:

È una nuova frontiera: Solo un manipolo di articoli (principalmente degli ultimi anni) sta effettivamente facendo questo. La maggior parte della ricerca sulla Regressione Simbolica si concentra solo nel trovare la risposta "migliore", ignorando quanto dovremmo essere incerti su di essa.
Il Bayesiano è popolare: Poiché la Regressione Simbolica è così flessibile, è difficile usare la matematica "Frequentista" (che assume regole semplici e stabili). Pertanto, la maggior parte della nuova ricerca utilizza metodi Bayesiani per gestire la complessità.
Il problema della "Struttura": È facile calcolare l'incertezza per i numeri in una formula (come il "2" in $2x$ ). È molto, molto più difficile calcolare l'incertezza per la forma della formula (è $x^2$ o $x^3$ ?). L'articolo evidenzia che, sebbene alcuni ricercatori stiano cercando di risolvere questo problema, rimane una sfida importante.
Il problema del "Rumore": A volte i dati stessi sono disordinati (l'asse x ha errori, non solo l'asse y). La maggior parte dei metodi standard ignora questo aspetto, ma alcuni articoli avanzati stanno iniziando a risolverlo.

In sintesi

L'articolo conclude che la Regressione Simbolica è attualmente "cieca" rispetto alla propria incertezza. È come un GPS che ti dice di svoltare a sinistra ma non ti dice se la strada è chiusa o se la mappa è obsoleta.

Gli autori invitano la comunità scientifica a smettere di cercare solo la "migliore" regola matematica e a iniziare a costruire strumenti che ci dicano quanto possiamo fidarci di quella regola. Credono che senza questo "misuratore di fiducia", non possiamo usare in sicurezza questi potenti strumenti di IA per decisioni del mondo reale dove gli errori sono costosi.

Sintesi Tecnica: Un'analisi esaustiva e comprensibile della Quantificazione dell'Incertezza nella Regressione Simbolica

Definizione del Problema

La Regressione Simbolica (SR) è una classe di algoritmi di ricerca progettati per scoprire funzioni matematiche che catturino accuratamente le relazioni sottostanti nei dataset. Nonostante i recenti progressi, l'adozione della SR nei processi decisionali del mondo reale è limitata dalla mancanza di supporto per la Quantificazione dell'Incertezza (UQ). Nella regressione, la UQ è fondamentale per valutare l'affidabilità del modello, prevenire l'overfitting tenendo conto del rumore dei dati (incertezza aleatoria) e fornire spunti per il processo decisionale.

La SR affronta due fonti primarie di incertezza:

Incertezza Aleatoria: Casualità intrinseca o imprecisione di misurazione nel processo di generazione dei dati. È riducibile ma può essere quantificata per stimare il limite inferiore di errore indotto dal rumore.
Incertezza Epistemica: Una mancanza di conoscenza riguardo al vero modello. Questa include:
- Incertezza del Modello: Il rischio che il vero modello $h^*$ non sia presente nello spazio delle ipotesi $\mathcal{H}$ .
- Incertezza di Approssimazione: L'incertezza sul fatto che un'ipotesi specifica $h$ sia la migliore all'interno di $\mathcal{H}$ , spesso decomposta in incertezza dei parametri (incertezza nei parametri regolabili $\theta$ ) e incertezza strutturale.

Mentre la letteratura tradizionale sulla SR si concentra sulla traversata efficiente dello spazio di ricerca multimodale, le incertezze sono spesso non affrontate esplicitamente. Questa survey mira a introdurre i concetti essenziali della UQ e a revisionare la letteratura attuale per aumentare la consapevolezza e promuovere l'avanzamento di metodi di UQ affidabili per la SR.

Metodologia e Fondamenti Teorici

Il documento struttura la revisione attorno a tre direzioni di ricerca: Frequentista, Bayesiana e Selezione del Modello. Stabilisce una base teorica utilizzando funzioni di verosimiglianza e informazione di Fisher.

1. Fondamenti Statistici

Verosimiglianza e Informazione di Fisher: La survey definisce la funzione di verosimiglianza $L_N(\theta)$ e la sua trasformazione logaritmica. Utilizza la matrice Hessiana del log-verosimiglianza per stimare la certezza del parametro. L'Hessiana negativa corrisponde all'informazione di Fisher osservata, dove piccoli valori di informazione indicano superfici di verosimiglianza piatte (alta incertezza) e picchi acuti indicano una stima precisa.
Approcci Frequentisti: Considerano i parametri come fissi ma ignoti. La UQ viene ottenuta tramite Intervalli di Confidenza (CI) per i parametri e Intervalli di Predizione (PI) per gli output. Il documento dettaglia il calcolo degli errori standard utilizzando l'inversa dell'Hessiana e discute la Conformal Prediction (CP) come metodo privo di distribuzione che garantisce la copertura per dati scambiabili, contrapponendola ai PI tradizionali che si basano su assunzioni gaussiane.
Metodi Bayesiani: Considerano i parametri come variabili casuali dotate di distribuzioni. La UQ viene ottenuta tramite Intervalli di Credibilità (CrI) derivati dalla distribuzione a posteriori $p(h|D) \propto p(h)p(D|h)$ . Il documento discute Markov Chain Monte Carlo (MCMC) e Sequential Monte Carlo (SMC) come metodi per approssimare le posteriori intrattabili. Copre anche la Bayesian Model Averaging (BMA) per gestire l'incertezza di approssimazione.
Selezione del Modello: La survey rivede principi come il Bayes Factor, il Fractional Bayes Factor (FBF) (per gestire i priori impropri) e il principio della Minimum Description Length (MDL), che bilancia la complessità del modello e l'adattamento ai dati minimizzando la lunghezza del codice.

2. Survey della Letteratura UQ specifica per la SR

Gli autori hanno esaminato 18 articoli rilevanti (11 Bayesiani, 4 non-Bayesiani, 3 di selezione del modello) provenienti da riviste peer-reviewed, conferenze e preprint.

Approcci Bayesiani nella SR

Sequential Monte Carlo (SMC): Una serie di lavori (Bomarito et al., Leser et al.) integra la SMC nella Programmazione Genetica (GP) per la SR. Propongono una riformulazione probabilistica dell'ottimizzazione locale e della selezione. Il metodo stima la Normalized Marginal Log Likelihood (NMLL) per confrontare i modelli. Utilizza la SMC per approssimare gli integrali sui parametri, gestendo le posteriori multimodali meglio delle approssimazioni di Laplace. Un lavoro recente estende questo concetto alla marginalizzazione diretta delle strutture di modelli discreti, trattando la popolazione di modelli simbolici come una posterior pesata.
Prior Strutturali: Guimera et al. e Bartlett et al. introducono prior informativi sulle strutture dei modelli. Guimera et al. utilizzano le frequenze degli operatori da un corpus (Wikipedia) per definire i prior, mentre Bartlett et al. utilizzano modelli linguistici (n-grammi) per modellare le probabilità dei nodi condizionate dagli antenati, con l'obiettivo di catturare il contesto negli alberi di espressione.
Incertezza dell'asse X: Bartlett e Desmond formulano verosimiglianze che incorporano errori di misurazione nelle variabili indipendenti ( $x$ ), marginalizzando i valori reali per derivare una funzione di verosimiglianza modificata.
Metodi Ensemble: Agapitos et al. propongono la Bayesian Model Averaging su una popolazione di modelli diversificati per tenere conto dell'incertezza di approssimazione.
Foreste Bayesiane Lineari: Roy et al. propongono HierBOSSS (una foresta di alberi simbolici combinati linearmente) e VaSST (utilizzando l'inferenza variazionale con alberi simbolici "soft"). Questi approcci sfruttano la coniugazione per i coefficienti lineari ma si affidano ad approssimazioni mean-field per le strutture degli alberi. Gli autori segnalano limitazioni riguardanti l'assunzione di linearità e potenziali inconsistenze nella replicazione sperimentale.
MCMC Post-hoc: Zhao e Zhao applicano l'MCMC al modello finale trovato dalla SR per calcolare intervalli di credibilità per i coefficienti e le predizioni.

Approcci Non-Bayesiani

Regressione Quantilica: Hoekstra e Heng sostituiscono la funzione di fitness della SR con una perdita pinball per stimare i quantili condizionali, generando efficacemente intervalli di predizione.
Profile Likelihood: de Franca e Kronberger utilizzano la profile likelihood per calcolare intervalli di confidenza asimmetrici per parametri e predizioni, catturando le dipendenze tra i parametri che le approssimazioni del metodo delta trascurano.
Bootstrapping: Manzi e Vasile applicano il bootstrapping per generare molteplici campioni, adattare modelli SR e visualizzare le distribuzioni dei parametri tramite istogrammi per valutare l'incertezza strutturale e parametrica.
Simboli Terminali per il Rumore: Schmidt e Lipson introducono un simbolo terminale casuale per modellare direttamente le relazioni di rumore non lineari all'interno dell'espressione, ottimizzando l'intervallo delle predizioni.
Conformal Prediction nella SR: Thuong et al. integrano la CP sia post-hoc sul miglior modello, sia incorporando la larghezza dell'intervallo nella funzione di fitness, riscontrando che l'applicazione post-hoc produce risultati migliori.

Selezione del Modello

MDL nella SR: Iba et al. e Nikolaev applicano l'MDL a modelli polinomiali (STROGANOFF) e ricerche esaustive, usando la lunghezza del codice per penalizzare la complessità. Bartlett et al. propongono una metrica DL dettagliata per le espressioni enumerate che tiene conto della complessità funzionale e della precisione dei parametri tramite discretizzazione.

Risultati Chiave e Conclusioni

Recenza: Solo 3 dei 18 articoli esaminati sono stati pubblicati prima del 2020, indicando che la UQ nella SR è un campo in rapida ascesa.
Diversità Metodologica: Sebbene esistano metodi UQ tradizionali (come i CI), la loro applicazione diretta alla SR è rara. La maggior parte dei lavori esaminati (circa il 60%) utilizza approcci bayesiani, sfruttando i metodi di campionamento (MCMC, SMC) per fornire intrinsecamente la UQ.
SMC vs. Laplace: I metodi basati su SMC per la SR (Bomarito et al.) dimostrano una capacità superiore di catturare le posteriori multimodali rispetto alle approssimazioni di Laplace, sebbene con un costo computazionale maggiore.
Prior Strutturali: L'incorporazione di prior strutturali (ad esempio, basati su modelli linguistici o frequenze di operatori) aiuta nella selezione del modello e riduce l'overfitting, sebbene possa limitare l'esplorazione di espressioni innovative non presenti nel corpus di addestramento.
Limitazioni degli Attuali Metodi:
- Molti metodi di SR bayesiana (ad esempio, VaSST) si affidano ad approssimazioni mean-field che ignorano le dipendenze tra i nodi, portando potenzialmente a strutture globali subottimali.
- Le foreste bayesiane lineari sono limitate a modelli lineari nei loro parametri.
  ze alcuni metodi proposti (ad esempio, HierBOSSS, VaSST) affrontano sfide nella replicazione sperimentale e nella coerenza del codice.
- Gli approcci frequentisti faticano con la SR perché i modelli SR flessibili possono facilmente causare overfitting, rendendoli inadatti come stimatori non distorti richiesti per determinati calcoli di varianza.

Significato e Rivendicazioni

Il documento sostiene di essere la prima survey ad affrontare chiaramente il problema della UQ nella Regressione Simbolica. Il suo significato primario risiede in:

Colmare il Divario: Collega i concetti stabiliti di UQ statistica (frequentista e bayesiana) con le sfide specifiche della SR, come la natura discreta delle strutture dei modelli e gli spazi di ricerca multimodali.
Categorizzazione: Organizza la letteratura frammentata in tre direzioni di ricerca coerenti: frequentista, bayesiana e selezione del modello.
Evidenziare Aree Sottoutilizzate: Gli autori concludono che la UQ nella SR è ancora largamente sottoutilizzata e la sua importanza è sistematicamente sottovalutata.
Direzione Futura: Il documento sostiene che il lavoro futuro deve adottare metodi di UQ stabiliti per la SR, uniti a un'analisi attenta dei dati e del rumore, per sviluppare modelli affidabili per il decision-making nel mondo reale. Enfatizza che, sebbene la UQ possa arrivare "gratuitamente" negli approcci basati sul campionamento, le attuali implementazioni presentano limitazioni significative riguardanti il costo computazionale, i prior strutturali e la gestione della multimodalità.