Learned variable-support priors accelerate symbolic regression of physical laws

Sintesi Tecnica: Learned Variable-Support Priors per la Regressione Simbolica

Problematica
La regressione simbolica (SR) mira a scoprire leggi fisiche interpretabili ricercando nello spazio delle espressioni matematiche una formula compatta che si adatti ai dati osservati. Sebbene la SR offra vantaggi rispetto ai predittori black-box — come la coerenza dimensionale e la capacità di estrapolazione — essa affronta un ostacolo combinatorio fondamentale. Il numero di alberi di espressione candidati cresce esponenzialmente con il numero di variabili di input e di operatori disponibili. Nelle applicazioni fisiche, le leggi governanti utilizzano tipicamente solo un piccolo sottoinsieme di variabili misurate e un set limitato di operatori, eppure i solver standard devono esplorare un vasto spazio di ricerca contenente molti rami irrilevanti. Questa inefficienza porta a una scarsa scalabilità, specialmente quando i dataset contengono numerosi "distrattori" (colonne irrilevanti), causando ai solver di fallire nel trovare la vera legge o di convergere su espressioni spurie e in overfitting.

Metodologia: DenoisedSR
Gli autori propongono DenoisedSR, un front-end appreso e agnostico rispetto al solver, progettato per accelerare la SR prevedendo un "prior di supporto" (support prior) — ovvero un sottoinsieme di variabili di input (e opzionalmente di operatori) che probabilmente partecipano alla legge governante. Invece di tentare di decodificare direttamente l'equazione completa (il che spesso porta a errori strutturali), DenoisedSR restringe lo spazio di ricerca prima che il backend del solver inizi.

L'architettura del sistema consiste in:

1. Predictor Ensemble: Una combinazione di una Graph-Attention Network (GAT) e di un modello Random Forest (RF).
   • La GAT opera su un grafo dove i nodi rappresentano le colonne di input. Le caratteristiche dei nodi includono momenti statistici, correlazione con il target, monotonicità e descrittori dimensionali. Gli archi codificano un prior di co-occorrenza appreso da un grafo della conoscenza di leggi fisiche, permettendo al modello di ragionare su quali variabili supportino congiuntamente una legge plausibile.
   • La RF valuta le colonne in base alle statistiche per singola colonna.
   • Il punteggio finale è una somma pesata: $s(col) = RF(col) + \sigma(GAT(col))$.
2. Soglia (Thresholding): Le variabili vengono mantenute se il loro punteggio supera una soglia bassa ($\tau = 0.10$), dando priorità all'alta recall per garantire che la vera legge rimanga raggiungibile.
3. Prior degli Operatori (Opzionale): Un modello GAT analogo prevede un sottoinsieme di operatori rilevanti basandosi sui nomi delle variabili fisiche (ad esempio, associando $\theta$ alle funzioni trigonometriche).
4. Integrazione: Il set di supporto previsto viene passato a un backend di SR convenzionale (ad esempio, PySR, gplearn o enumerazione basata su GPU), che esegue la ricerca finale sul set ridotto di variabili e operatori.

Contributi Chiave

• Accelerazione Agnostica rispetto al Solver: Il metodo agisce come uno strato di pre-processing che migliora qualsiasi backend di ricerca ad albero o enumerazione senza modificare la logica interna del solver.
• Filtraggio ad Alta Recall: Il modello raggiunge una recall $\ge 0.96$ su benchmark fisici esterni, garantendo efficacementamente che le vere variabili siano raramente scartate, pur riducendo significativamente il numero di colonne candidate.
• Distinzione dalla Riduzione della Dimensionalità: Gli autori dimostrano che il guadagno di prestazioni deriva da una guida della ricerca appresa piuttosto che dalla mera riduzione della dimensionalità, validato tramite controlli utilizzando set di supporto casuali della stessa dimensione.

Risultati
Il paper valuta DenoisedSR attraverso quattro benchmark esterni (AI-Feynman, Strogatz, Nguyen e SRSD-Feynman) e tre backend strutturalmente distinti (PySR, gplearn e PSE).

• Recupero delle Variabili: Sul benchmark AI-Feynman (118 equazioni), l'ensemble raggiunge una recall perfetta (1.000), recuperando tutte le variabili reali. Supera cinque selettori di feature classici (correlazione di Pearson/Spearman, Informazione Mutua, Importanza di Random Forest, Lasso), che mancano le variabili reali nel 30–80% dei casi anche con conoscenza oracle del numero di variabili. Il modello rimane robusto al rumore delle etichette fino a un rumore Gaussiano relativo del 30%.
• Performance del Backend (PySR): Sotto un budget fisso di 10 secondi, fornire il prior delle variabili a PySR aumenta il tasso di recupero della legge esatta dal $42 \pm 13\%$ a un valore stabile rispetto al seed di $60 \pm 0\%$. Il valore medio di $R^2$ tenuto fuori (held-out) migliora da $0.906$a$0.980$. Il set di colonne candidate è ridotto dell'85% (da ~23 a ~3.4 colonne) e il vocabolario di ricerca è dimezzato.
• Scalabilità con i Distrattori: Il divario di performance tra la ricerca guidata e quella non guidata aumenta monotonicamente all'aumentare delle colonne distrattore (da 5 a 30). Mentre il recupero completo di PySR cala significativamente con più distrattori, DenoisedSR mantiene un tasso di recupero stabile di circa il 61–62%.
• Tempo-alla-Soluzione: Pruning dei rami irrilevanti, DenoisedSR accelera il tempo-alla-soluzione fino a 6 volte per formule non banali, con un'accelerazione mediana di circa 1.5×. L'inferenza del front-end aggiunge solo circa 40 ms per task.
• Generalizzazione ad altri Backend:
  • gplearn (GP Classica): Il recupero esatto migliora dal 3.3% al 17.8%.
  • PSE (Enumerazione Parallela su GPU): Il recupero esatto balza dallo 0% al 40%, poiché il prior assicura che il campionatore estragga sottoinsiemi informativi di variabili.
• Dati Black-Box: Su 24 task black-box PMLB/SRBench, DenoisedSR migliora significativamente la media dell' $R^2$ tenuto fuori rispetto alla ricerca completa, mentre un controllo con supporto casuale degrada le prestazioni, confermando il valore della guida condizionata dalle osservazioni.
• Limitazioni in Regimi Specifici: Sul benchmark SRSD-Feynman, che contiene poche variabili dummy fisicamente plausibili, il prior è largamente neutro. Ciò conferma che il metodo è più efficace quando il rapporto tra distrattori e variabili reali è elevato.

Significato e Rivendicazioni
Il paper sostiene che i prior di supporto appresi rappresentino un "intervento ad alto leva e basso rischio" per la regressione simbolica. Decoupling (decomponendo) il compito difficile della selezione delle variabili dal processo di scoperta dell'equazione, DenoledSR permette ai solver esistenti di operare in modo più efficiente e affidabile. Gli autori sottolineano che, sebbene il front-end neurale non possa ancora assegnare con affidabilità le variabili a posizioni specifiche in un'espressione (il cosiddetto "gap di assegnazione"), esso identifica con successo quali quantità sono importanti. Questo approccio integra i mevcut prior basati sulla fisica e l'analisi dimensionale, offrendo una via pratica per una scoperta più rapida e robusta delle leggi fisiche senza richiedere la generazione di equazioni neurali end-to-end. Il metodo è presentato come immediatamente utile per potenziare gli attuali solver, con un modo di fallimento empiricamente sicuro (l'alta recall garantisce che la vera legge non venga esclusa).