💬 NLP

In Context Learning and Reasoning for Symbolic Regression with Large Language Models

Questo studio dimostra che l'uso strategico del prompting con contesto scientifico e tecniche di ragionamento a catena, combinato con strumenti esterni per l'ottimizzazione, permette ai modelli di linguaggio come GPT-4 e GPT-4o di riscoprire con successo equazioni di regressione simbolica e iterare verso soluzioni migliori integrando teoria e dati.

Autori originali: Samiha Sharlin, Tyler R. Josephson

Pubblicato 2026-04-17

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Samiha Sharlin, Tyler R. Josephson

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective scientifico. Hai davanti a te una montagna di dati: numeri, grafici, misurazioni di pressione, temperatura o velocità. Il tuo obiettivo è trovare la formula magica, quella semplice equazione matematica che spiega perché quei numeri si comportano in quel modo.

Fino a poco tempo fa, per trovare questa formula, dovevi usare software complessi che provavano milioni di combinazioni a caso, come se qualcuno stesse lanciando dadi per indovinare la combinazione di una cassaforte.

Questo articolo racconta una storia diversa: come abbiamo insegnato a un'intelligenza artificiale (un "cervello" digitale chiamato LLM) a fare da detective, usando il ragionamento invece del puro caso.

Ecco come funziona, spiegato con parole semplici e qualche metafora creativa:

1. Il Problema: L'AI che "Sogna a occhi aperti"

All'inizio, gli scienziati hanno chiesto a un'intelligenza artificiale (come GPT-4) di guardare i dati e scrivere la formula.
Cosa è successo? L'AI ha fatto un errore tipico: ha "sognato a occhi aperti" (in gergo tecnico, hallucination).

L'analogia: Immagina di chiedere a un pittore di talento di dipingere un ritratto basandosi su una foto. Lui disegna il viso perfetto, ma quando deve scrivere il nome del soggetto sul quadro, inventa un nome che non esiste.
L'AI scriveva formule che sembravano belle, ma i numeri dentro non corrispondevano alla realtà. Era bravo a scrivere la struttura, ma pessimo a calcolare i numeri precisi.

2. La Soluzione: Il Team di Detective

Gli autori hanno capito che non potevano far fare tutto all'AI. Hanno creato un team di lavoro con due membri:

L'Architetto Creativo (L'AI): È bravo a immaginare forme, strutture e idee. Il suo compito è dire: "Ehi, forse la formula è una frazione con un logaritmo!". Non si preoccupa dei numeri esatti.
Il Calcolatore Preciso (Python/SciPy): È un robot matematico noioso ma infallibile. Prende l'idea dell'Architetto e dice: "Ok, proviamo a inserire i numeri. Ecco che la formula è sbagliata, ma se cambiamo questo numero, funziona!".

Il processo:
L'Architetto propone un'idea -> Il Calcolatore la testa e corregge i numeri -> Il Calcolatore dice all'Architetto: "Non è andata bene, prova a cambiare la forma". E si ripete all'infinito finché non trovano la formula perfetta.

3. Il Segreto: Il "Quaderno degli Appunti" (Scratchpad)

C'è stato un momento cruciale. Hanno notato che l'AI faceva errori se doveva saltare direttamente alla risposta.
L'analogia: Pensa a quando devi risolvere un problema di matematica a scuola. Se provi a fare tutto a mente, ti sbagli. Se invece prendi un foglio di brutta e scrivi i passaggi ("Ok, prima guardo i dati, vedo che quando X sale, Y scende..."), il risultato è molto migliore.
Hanno insegnato all'AI a usare un "Quaderno degli Appunti" (chiamato scratchpad). Prima di dare la formula finale, l'AI è stata costretta a scrivere: "Ho guardato i dati, sembrano seguire una curva a S, quindi proviamo con questa struttura...".
Questo semplice passaggio ha fatto saltare la qualità delle soluzioni da "disastro" a "geniale".

4. Il Contesto: Non solo numeri, ma una Storia

Spesso l'AI non sapeva cosa stava guardando. I dati erano solo numeri.
Gli autori hanno aggiunto un tocco umano: hanno dato all'AI il contesto scientifico.

Invece di dire solo: "Ecco i numeri 10, 20, 30...", hanno detto: "Questi numeri rappresentano l'aria che viene schiacciata in un contenitore. Quando la pressione sale, l'aria entra, ma c'è un limite".
L'analogia: È come se al detective dessi non solo le impronte digitali, ma anche la storia del crimine. L'AI ha capito che stava cercando una legge fisica e ha iniziato a proporre formule che avevano senso nel mondo reale, non solo formule matematiche strane.

5. I Risultati: Cosa hanno scoperto?

Hanno messo alla prova questo sistema su tre casi:

Un classico noto (Adsorbimento di Langmuir): L'AI ha riesaminato una legge vecchia di un secolo e l'ha riscoperta da sola.
Un caso difficile (Adsorbimento su due siti): Qui i dati erano confusi. L'AI, grazie al "quaderno degli appunti" e al contesto, è riuscita a trovare la formula corretta che altri software faticavano a vedere.
Il mistero senza soluzione (Nikuradse): Un dataset sul flusso dell'acqua in tubi ruvidi, dove nessuno sapeva la formula esatta. L'AI ha proposto nuove formule che funzionavano bene, anche se non perfette come quelle di super-computer dedicati, ma con molta più "intelligenza" nel ragionamento.

In sintesi

Questo studio ci dice che le Intelligenze Artificiali non devono essere solo calcolatrici veloci. Se le trattiamo come ragionatori che usano un quaderno per pensare, che ascoltano la storia dietro i dati e che lavorano in team con strumenti matematici precisi, possono diventare strumenti potenti per scoprire nuove leggi della natura.

Non è magia, è un modo più intelligente di collaborare con la tecnologia: l'AI fa il lavoro creativo di immaginare le idee, e noi (o i nostri computer) verifichiamo che i numeri tornino.

1. Il Problema

La Regressione Simbolica (SR) è una tecnica di apprendimento automatico che mira a scoprire equazioni matematiche interpretabili e concise che descrivono i dati, bilanciando accuratezza e semplicità. A differenza della regressione convenzionale, che ottimizza solo i parametri di una struttura predefinita, la SR deve cercare nello "spazio delle equazioni" per trovare sia la struttura funzionale che i coefficienti ottimali.

I metodi tradizionali (algoritmi genetici, MCMC, programmazione intera mista) spesso faticano a integrare il ragionamento scientifico e il contesto teorico durante la ricerca, richiedendo modifiche software complesse per vincolare lo spazio di ricerca. Inoltre, l'uso di modelli di linguaggio (LLM) per la SR ha finora mostrato limiti: tendono a "allucinare" coefficienti numerici errati quando tentano di ottimizzare direttamente i dati e faticano a generare strutture funzionali coerenti senza un addestramento specifico su coppie dati-espressione.

2. Metodologia

Gli autori propongono un flusso di lavoro ibrido che combina la capacità di ragionamento e generazione di testo dei Large Language Models (LLM) (nello specifico GPT-4 e GPT-4o) con strumenti di ottimizzazione numerica esterni (Python/SciPy).

Architettura del Flusso di Lavoro

Ruolo dell'LLM: Il modello non ottimizza i coefficienti numerici. Il suo compito è suggerire strutture funzionali (espressioni simboliche) basandosi sui dati e sul contesto.
Ottimizzazione Esterna: Le espressioni generate dall'LLM vengono inviate a un modulo Python che utilizza SciPy (metodo Nelder-Mead con basin-hopping) per ottimizzare i coefficienti numerici e calcolare l'errore quadratico medio (MSE) e la complessità.
Feedback Loop: I risultati (MSE, complessità, parametri ottimizzati) vengono restituiti all'LLM in un prompt iterativo, chiedendogli di proporre espressioni migliori che bilancino accuratezza e parsimonia.

Strategie di Prompt Engineering Chiave

Per superare le limitazioni degli LLM, gli autori hanno implementato diverse tecniche avanzate:

Scratchpad (Quaderno di appunti): Prima di generare l'equazione, l'LLM è istruito a scrivere un'analisi dei dati e delle osservazioni nel "quaderno". Questo approccio Chain-of-Thought (pensiero a catena) migliora significativamente la qualità delle espressioni suggerite, permettendo al modello di ragionare sui pattern dei dati.
Contesto Scientifico in Linguaggio Naturale: Invece di limitarsi ai dati numerici, vengono forniti all'LLM descrizioni testuali del contesto scientifico (es. "i dati riguardano l'adsorbimento di azoto su mica"). Questo guida la ricerca verso equazioni fisicamente plausibili.
Vincoli Simbolici tramite Prompt: I vincoli teorici (es. "l'equazione deve passare per l'origine", "la pendenza iniziale deve essere finita e positiva") sono espressi in linguaggio naturale nel prompt, evitando la necessità di modificare il codice del software di SR.
Gestione dell'Input Dati: Per dataset molto grandi (come quello di Nikuradse), viene inviata solo una porzione dei dati all'LLM per rispettare i limiti di token, mentre l'ottimizzazione e la valutazione finale avvengono sull'intero dataset.

3. Risultati Principali

Lo studio è stato valutato su tre dataset principali:

Modello di Langmuir (Adsorbimento):
- L'LLM ha riscoperto con successo l'equazione target ( $q = c_1 p / (c_2 + p)$ ) in quasi tutti i casi.
- L'uso dello scratchpad e del contesto scientifico ha migliorato drasticamente le prestazioni rispetto all'uso dei soli dati.
- Senza contesto, il modello tendeva a proporre modelli generici (Freundlich, BET) invece di quello specifico.
Modello di Langmuir a Doppio Sito:
- Questo caso è più complesso perché l'equazione target non è significativamente più accurata di espressioni più corte (ma fisicamente inconsistenti).
- L'LLM ha inizialmente preferito espressioni più corte. Tuttavia, l'uso del contesto e l'estensione delle iterazioni hanno permesso di identificare la struttura corretta, evidenziando come l'LLM possa ragionare su comportamenti di saturazione complessi.
Dataset di Nikuradse (Flusso in tubi ruvidi):
- Dataset multivariato senza un'equazione target nota nella letteratura.
- GPT-4o ha generato espressioni con complessità inferiore e accuratezza superiore rispetto a GPT-4.
- Sebbene le prestazioni in termini di errore assoluto (MAE) siano state inferiori rispetto agli algoritmi SR specializzati (come BMS o Eureqa) che esplorano milioni di combinazioni, l'LLM ha raggiunto risultati decenti esplorando un numero di espressioni molto più piccolo (circa 153 contro 18.000+).
- L'approccio ha dimostrato di non soffrire di "test set leakage" (memorizzazione dei dati) in questo caso, poiché l'LLM ha generalizzato i pattern senza aver visto i dati specifici nel suo training set.

4. Contributi Chiave

Integrazione Contesto-Dati: Dimostrazione che fornire contesto scientifico in linguaggio naturale agli LLM restringe efficacemente lo spazio di ricerca, portando a equazioni più "significative" e fisicamente coerenti.
Interfaccia Naturale per Vincoli: Sostituzione della complessa codifica di vincoli matematici simbolici con prompt in linguaggio naturale, rendendo la SR accessibile a ricercatori non esperti in programmazione.
Ragionamento Ibrido: Validazione dell'uso dello scratchpad per trasformare la generazione di equazioni in un problema di ragionamento, migliorando la capacità dell'LLM di analizzare i dati prima di proporre soluzioni.
Architettura Ibrida LLM-Ottimizzatore: Separazione chiara tra la generazione della struttura (compito dell'LLM) e l'ottimizzazione dei parametri (compito di strumenti numerici), risolvendo il problema dell'allucinazione dei coefficienti.

5. Significato e Conclusioni

Il lavoro dimostra che gli LLM, se guidati strategicamente, possono essere strumenti potenti per la scoperta scientifica, offrendo un'alternativa o un complemento ai metodi di regressione simbolica tradizionali.

Vantaggi: L'approccio semplifica l'integrazione della teoria con i dati, riduce la barriera all'ingresso per l'uso di algoritmi SR complessi e permette di esplorare spazi di soluzioni in modo più "intelligente" grazie al ragionamento contestuale.
Limiti: Gli LLM attuali non superano ancora gli algoritmi SR dedicati (come quelli basati su algoritmi genetici avanzati o MCMC) in termini di efficienza computazionale e capacità di trovare soluzioni ottimali in spazi di ricerca estremamente complessi e vasti. Inoltre, il controllo della lunghezza dell'espressione tramite prompt è meno preciso rispetto ai metodi deterministici.
Prospettive Future: L'uso di interfacce in linguaggio naturale per la scoperta scientifica apre la strada a sistemi ibridi dove il ricercatore può guidare la ricerca attraverso il dialogo, integrando intuizioni di dominio che i software tradizionali faticano a codificare.

In sintesi, il paper stabilisce un nuovo paradigma per la regressione simbolica, spostando l'enfasi dalla pura forza bruta computazionale a un approccio guidato dal ragionamento e dal contesto, rendendo la scoperta di equazioni più accessibile e interpretabile.