🤖 machine learning

InsightSR: Refining Symbolic Regression Search Spaces via Parallel Semantic and Structural LLM Guidance

InsightSR è un nuovo framework di regressione simbolica che potenzia il motore di programmazione genetica PySR sfruttando i Large Language Models per raffinare iterativamente lo spazio di ricerca attraverso una guida semantica e strutturale, raggiungendo un'accuratezza e una generalizzazione allo stato dell'arte trasformando la costruzione di alberi di espressione profondi nell'assemblaggio di alberi superficiali su caratteristiche semanticamente informate.

Autori originali: Yating Ling, Wenjing Cun, Zhitang Chen

Pubblicato 2026-08-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yating Ling, Wenjing Cun, Zhitang Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La scienza si è sempre basata su un'idea semplice e potente: che il comportamento complesso del mondo naturale possa essere descritto da leggi matematiche concise. Quando un fisico osserva una mela che cade o l'orbita di un pianeta, non vede solo un movimento; sta cercando l'equazione nascosta che lo governa. Questa ricerca della formula sottostante è chiamata regressione simbolica. A differenza dei modelli informatici standard che apprendono i pattern regolando milioni di manopole interne per adattarsi ai dati, la regressione simbolica tenta di scrivere l'equazione vera e propria, utilizzando blocchi costruttivi matematici familiari come l'addizione, la moltiplicazione e le funzioni trigonometriche. L'obiettivo è trovare una regola che sia non solo accurata, ma anche abbastanza semplice da essere letta e compresa da un essere umano. Tuttavia, trovare queste regole è incredibilmente difficile. Il numero di possibili combinazioni matematiche cresce così velocemente da diventare un oceano vasto e caotico di possibilità. La maggior parte delle ricerche informatiche si perde in questo oceano, producendo formule che si adattano perfettamente ai dati ma che non hanno alcun senso fisico, oppure semplicemente falliscono nel trovare la vera legge perché lo spazio di ricerca è troppo vasto per essere esplorato completamente.

Un team di ricercatori ha sviluppato un nuovo approccio per navigare in questo caos, combinando la forza di ricerca bruta degli algoritmi evolutivi con la capacità di ragionamento dei modelli linguistici di grandi dimensioni. Il loro sistema, chiamato InsightSR, non chiede al computer di indovinare direttamente la risposta finale. Inveve, utilizza il modello linguistico come una guida per rimodellare la ricerca stessa. Immaginate una squadra di esploratori che cerca di trovare un sentiero specifico attraverso una foresta densa e inesplorata. Nel vecchio metodo, gli esploratori vagherebbero casualmente, sperando di imbattersi nel sentiero giusto. In questo nuovo metodo, il modello linguistico agisce come una guida esperta che conosce il terreno generale. Non percorre il sentolo al posto loro, ma dice loro quali direzioni sono fisicamente impossibili da prendere e suggerisce quali strumenti potrebbero essere utili per il viaggio.

Il sistema funziona dividendo la guida in due flussi complementari. Il primo flusso si concentra sullo "scheletro" dell'equazione. Il modello linguistico osserva le unità fisiche dei dati — come se una variabile rappresenti il tempo, la distanza o la massa — e propone strutture di base che debbano essere dimensionalmente coerenti. Ciò significa che esclude qualsiasi combinazione matematica che violerebbe le leggi della fisica, come aggiungere una misura di tempo a una distanza. Seminando la ricerca con questi punti di partenza fisicamente plausibili, il sistema evita di sprecare tempo in miliardi di formule impossibili. Il secondo flusso si concentra sugli ingredienti stessi. Il modello linguistico suggerisce nuovi modi per trasformare i dati grezzi, come elevare al quadrato una variabile o calcolarne il seno, basandosi sui pattern visti in tentativi precedenti. Questi nuovi elementi vengono aggiunti al pool di ingredienti disponibili per il motore di ricerca. Col tempo, il pool di ingredienti si arricchisce, permettendo al sistema di costruire relazioni complesse utilizzando combinazioni semplici e superficiali piuttosto che tentare di costruire alberi profondi e intricati di dati grezzi.

Questo processo non è un tentativo unico, ma un ciclo continuo di raffinamento. Dopo che il computer genera un insieme di equazioni candidate, il modello linguistico le valuta. Controlla non solo quanto bene si adattino ai numeri, ma anche quanto siano stati utili i nuovi elementi e se la struttura abbia senso. Questo feedback viene memorizzato in una base di conoscenza dinamica che informa il round successivo di ricerca. Il sistema impara dai propri successi e fallimenti, restringendo gradualmente la ricerca verso le soluzioni più promettenti. Si crea così un ciclo di autocorrezione in cui la ricerca diventa più focalizzata ed efficiente a ogni iterazione.

I ricercatori hanno testato questo metodo su tre distinte serie di sfide. Per prima cosa, hanno utilizzato un benchmark di 100 famose equazioni fisiche, che spaziano dalla meccanica classica alla teoria quantistica. In questo test, il sistema ha recuperato con successo l'esatta formula originale il 95% delle volte, un miglioramento significativo rispetto ai metodi precedenti. Ha inoltre performato eccezionalmente bene su un set più ampio di problemi scientifici che spaziano dalla chimica alla biologia e alla scienza dei materiali, raggiungendo un'accuratezza superiore all'80% in compiti che coinvolgono trasformazioni complesse. Infine, il team ha testato il sistema su dati del mondo reale, come le vibrazioni di un oscillatore e i modelli di crescita dei batteri. In questi scenari, il sistema non solo ha trovato formule accurate, ma ha mantenuto le sue prestazioni quando testato su dati che non aveva mai visto prima, dimostrando una forte capacità di generalizzazione.

I risultati suggeriscono che, inserendo un modello linguistico come uno strato di guida attorno a un tradizionale motore di ricerca, è possibile superare le doppie sfide dello vasto spazio di ricerca e della coerenza fisica. Il sistema non sostituisce la ricerca evolutiva; la raffina, trasformando un'esplorazione cieca e casuale in una scoperta mirata e guidata. Spostando l'onere dalla costruzione di alberi profondi e complessi di variabili grezze all'assemblaggio di combinazioni semplici da un set di elementi ricco e pre-arricchito, il metodo rende la scoperta delle leggi scientifiche più efficiente e affidabile. Questo approccio offre una via pratica per la scoperta scientifica automatizzata, mostrando come la combinazione del ragionamento umano e della ricerca basata sulle macchine possa rivelare le leggi matematiche nascoste che governano il nostro mondo.

Riepilogo Tecnico: InsightSR

Problematica

La Regressione Simbolica (SR) mira a scoprire leggi matematiche parsimoniose e interpretabili direttamente dai dati osservativi. Tuttavia, il campo affronta due sfide primarie:

Esplosione Combinatoria: Lo spazio di ricerca delle espressioni candidate cresce esponenzialmente con la complessità, rendendo il problema di ottimizzazione intrinsecamente NP-hard.
Consistenza Fisica: I metodi puramente basati sui dati spesso producono espressioni con un'elevata accuratezza numerica che però violano i principi fisici fondamentali (ad esempio, la consistenza dimensionale) o mancano della parsimonia necessaria per l'interpretazione scientifica.

Gli approcci esistenti, inclusi la Programmazione Genetica (GP), la Ricerca su Albero Monte Carlo (MCTS) e i metodi neuro-simbolici (ad esempio, Deep Reinforcement Learning, Transformer), faticano a causa della bassa efficienza campionaria, dell'overfitting sotto rumore e della mancanza di un ragionamento dinamico riguardo ai vincoli fisici. Sebbene tentativi recenti abbiano integrato i Large Language Models (LLM) per sfruttare i priori scientifici, essi sono spesso limitati da un elevato overhead di inferenza e dall'uso della guida dell'LLM lungo una singola dimensione (ovvero la generazione strutturale o la trasformazione delle feature), fallendo nel cogliere la sinergia tra le due.

Metodologia: Framework InsightSR

InsightSR affronta queste limitazioni integrando gli LLM come uno strato di guida attorno al motore di programmazione genetica PySR. Invece di affidarsi all'LLM per generare direttamente le espressioni finali, InsightSR utilizza l'LLM per trasformare progressivamente lo spazio di ricerca stesso attraverso un ciclo iterativo a quattro fasi:

1. Inizializzazione Contestuale e Sintesi delle Unità

Il framework risolve innanzitutto le dimensioni fisiche delle variabili. Estrae le informazioni dimensionali dai metadati e dalle descrizioni del problema. Per le variabili ambigue, l'LLM inferisce le probabili dimensioni basandosi sul contesto semantico. Queste assegnazioni di unità persistono come vincoli rigidi durante l'intero ciclo di scoperta, garantendo l'omogeneità dimensionale e potando precocemente i candidati fisicamente inconsistenti.

2. Strategia di Guida Parallela

L'innovazione principale è un approccio a doppia via in cui l'LLM guida simultaneamente la ricerca in due dimensioni complementari:

Percorso dei Semi Semantici (Top-Down): L'LLM propone scheletri funzionali dimensionalmente coerenti basati sul contesto del problema e sui vincoli delle unità. Questi scheletri fungono da "semi informati dalla fisica" per la ricerca evolutiva. L'LLM esamina le topologie dei candidati per la consistenza dimensionale prima che entrino nella popolazione e fornisce bias di complessità per operatore per indirizzare il motore GP verso combinazioni di operatori fisicamente plausibili.
Percorso delle Feature Strutturali (Bottom-Up): L'LLM raccomanda trasformazioni non lineari delle feature (ad esempio, termini di legge di potenza, mappature trascendentali) basate sul contesto del problema e sulla cronologia delle prestazioni delle generazioni precedenti. Queste trasformazioni vengono aggiunte alla matrice di input ( $X_{aug}$ ) e si accumulano attraverso le generazioni. Ciò sposta l'onere della ricerca dalla costruzione di alberi di espressione profondi su variabili grezze all'assemblaggio di combinazioni superficiali su un set di feature ricco e semanticamente informato.

3. Ricerca con PySR

La guida sintetizzata (semi, bias degli operatori e feature aumentate) guida un motore PySR modificato. Un meccanismo di bias della complessità regola la penalità strutturale degli alberi di espressione: gli operatori raccomandati dall'LLM ricevono un bias negativo (sconto di complessità), mentre gli operatori fisicamente implausibili vengono penalizzati. Un meccanismo di warm-start mantiene il miglior candidato della generazione precedente come membro d'élite della nuova popolazione.

4. Valutazione Multidimensionale e Feedback Strategico

Dopo ogni generazione, l'LLM agisce come critico post-generazione. Valuta i candidati Pareto-ottimali in base all'accuratezza numerica, all'interpretabilità fisica e all'utilità delle feature. Queste valutazioni vengono memorizzate in una base di conoscenza dinamica, che informa l'iterazione successiva raffinando le espressioni seed, regolando i bias degli operatori e dando priorità alle trasformazioni delle feature. Ciò crea un processo di raffinamento a ciclo chiuso e autocorrettivo.

Contributi Chiave

Percorso dei Semi Semantici: Un meccanismo che sfrutta LLM dotati di conoscenza del dominio per proporre scheletri funzionali dimensionalmente coerenti. Questo potenzia la potatura dello spazio di ricerca di espressioni fisicamente inconsistenti prima che inizi l'adattamento numerico e indirizza la ricerca verso combinazioni di operatori plausibili.
Percorso delle Feature Strutturali: Un percorso complementare in cui l'LLM raccomanda trasformazioni non lineari delle feature che si accumulano attraverso le iterazioni. Ciò riduce la profondità strutturale richiesta dal motore simbolico, spostando la ricerca dalla costruzione di alberi profondi all'assemblaggio superficiale su una base arricchita.
Raffinamento Iterativo a Ciclo Chiuso: Un meccanismo di apprendimento dai risultati dove l'LLM valuta i candidati attraverso molteplici dimensioni e aggiorna una base di conoscenza. Ciò trasforma la scoperta simbolica da una generazione aperta a un processo iterativo e autocorrettivo che converge verso forme simboliche ottimali.

Risultati Sperimentali

InsightSR è stato valutato su tre benchmark:

Feynman Benchmark (100 equazioni fisiche): Ha raggiunto un tasso di recupero esatto del 95% e un $R^2$ medio di 0,9999, superando sostanzialmente i metodi GP e neuro-simbolici allo stato dell'arte. Ha dimostrato robustezza rispetto al rumore moderato, mantenendo un'alta accuratezza anche con livelli di rumore di 0,001.
LLM-SRBench (Compiti cross-domain): Ha raggiunto un'accuratezza dell'80,18% ( $Acc_{0.1}$ ) nel compito LSR-Transform, un miglioramento significativo rispetto al precedente migliore (LaSR al 50,45%). Il metodo ha mostrato prestazioni costanti attraverso i domini della Chimica, Biologia, Fisica e Scienza dei Materiali.
Dataset del Mondo Reale: Su dataset tra cui Oscillator 1/2, E. coli e Stress-Strain, InsightSR ha ottenuto il NMSE (Normalized Mean Squared Error) più basso nella maggior parte dei casi di test, spesso migliorando i precedenti migliori di diversi ordini di grandezza. Fondamentalmente, ha mantenuto una forte generalizzazione fuori distribuzione (OOD), evitando l'overfitting comune nei metodi puramente neurali.

Significato e Rivendicazioni

L'articolo sostiene che InsightSR offre una via pratica ed efficace verso la scoperta scientifica automatizzata, integrando strategicamente il ragionamento degli LLM con i consolidati motori di ricerca evolutiva. La sua importanza risiede in:

Guida Sinergica: Combinazione con successo della guida semantica top-down con l'ingegneria delle feature bottom-up per affrontare sia l'esplosione combinatoria dello spazio di ricerca, sia la difficoltà di mantenere la consistenza fisica.
Efficienza e Parsimonia: Spostando la ricerca da alberi profondi su variabili grezze a combinazioni superficiali su feature arricchite, il framework riduce significativamente la complessità struttale che il motore deve risolvere.
Scoperta Autocorrettiva: Il meccanismo di feedback a ciclo chiuso permette al sistema di imparare sia dai pattern di successo che dai modi di fallimento, restringendo progressivamente la ricerca verso espressioni fisicamente significative senza dipendere da vincoli hard-coded che limitano l'adattabilità.

Gli autori osservano che, sebbene il framework migliori l'efficienza della ricerca, la sua dipendenza dai metadati iniziali suggerisce una potenziale sensibilità alle descrizioni del problema, particolarmente quando la semantica delle variabili è ambigua. Il lavoro futuro potrebbe esplorare i priori multimodali per raffinare l'inizializzazione e migliorare la robustezza in assenza di metadati testuali espliciti.