Riepilogo Tecnico: GESR – Un Metodo di Regressione Simbolica Basato sulla Programmazione Genetica con Editing Genico

1. Enunciato del Problema

La regressione simbolica mira a scoprire automaticamente espressioni matematiche da dati osservazionali che raggiungano sia un'alta accuratezza predittiva sia una forte interpretabilità. Sebbene la Programmazione Genetica (GP) sia un approccio classico e ampiamente adottato per questo compito, si affida pesantemente a operatori genetici casuali (mutazione e crossover) per evolvere le strutture delle espressioni. Gli autori sostengono che questa casualità, pur mimando l'evoluzione naturale, genera inevitabilmente un gran numero di variazioni inefficaci o dannose. Questa mancanza di controllabilità riduce l'efficienza della ricerca, rallenta la convergenza e aumenta i costi computazionali. I metodi esistenti che tentano di guidare la GP (ad esempio, utilizzando LSTM per l'inizializzazione o calcoli inversi per la previsione di sottoalberi) spesso soffrono di un elevato sovraccarico computazionale o falliscono nel guidare efficacemente i processi di mutazione e crossover durante la ricerca evolutiva.

2. Metodologia

Il documento propone GESR (Gene Editing Symbolic Regression), un framework che integra modelli BERT multimodali nel ciclo evolutivo della GP per eseguire "editing genico". Questo approccio sostituisce gli operatori genetici puramente casuali con operazioni guidate e condizionate dai dati. Il framework è composto da due componenti principali, descritte metaforicamente come le "Mani di Dio":

2.1 Mutazione Guidata tramite Modellazione Linguistica Mascherata

• Rappresentazione: Le espressioni simboliche sono rappresentate come alberi binari e linearizzate in sequenze di attraversamento in pre-ordine.
• Meccanismo: Un modello BERT multimodale viene addestrato per guidare la mutazione. Durante la fase di mutazione, specifici token di operatore o operando in una sequenza di espressione vengono mascherati casualmente.
• Input: La sequenza mascherata viene immessa nel modello BERT insieme al dataset di regressione $(X, Y)$. I dati sono codificati utilizzando un SetTransformer per garantire l'invarianza alla permutazione e fusi con gli embedding dei token simbolici.
• Output: Il modello prevede il simbolo di sostituzione più adatto per la posizione mascherata basandosi sulla distribuzione di probabilità condizionata derivata dalla distribuzione dei dati. Ciò trasforma la mutazione da una perturbazione casuale in una modifica mirata volta a migliorare l'adattamento alla regressione (ad esempio, $R^2$).

2.2 Crossover Guidato tramite Previsione di Sottoalberi

• Meccanismo: Un secondo modello BERT multimodale guida l'operazione di crossover.
• Input: Due sequenze di espressioni candidate vengono concatenate utilizzando un token speciale [SEP], insieme al dataset $(X, Y)$.
• Output: Il modello prevede i nodi radice dei sottoalberi in entrambe le espressioni genitoriali che sono più adatti allo scambio.
• Strategia: Invece di selezionare casualmente i punti di crossover, il modello identifica frammenti strutturali che, quando scambiati, sono probabili nel migliorare l'adattamento della prole sotto i vincoli dati forniti.

2.3 Costruzione dei Dati di Addestramento

Gli autori hanno progettato pipeline specifiche per costruire dati di addestramento di alta qualità per i modelli BERT:

• Per la Mutazione: La pipeline genera coppie di espressioni in cui una è una versione "migliore" dell'altra. Coinvolge la generazione di un'espressione target, il campionamento dei dati, la creazione di un'espressione iniziale casuale, l'applicazione di funzioni di mutazione differenziabili, l'ottimizzazione dei parametri tramite BFGS e la discretizzazione del risultato. Se l'espressione mutata migliora l'adattamento ($R^2$), l'espressione originale viene mascherata e i simboli migliorati servono come target.
• Per il Crossover: I dati di addestramento vengono raccolti online durante il processo di evoluzione GP. Coppie di espressioni genitoriali vengono incrociate (utilizzando la GP standard o la mutazione guidata prima), e la prole viene valutata. Se la prole supera i genitori, la coppia genitoriale e i specifici nodi di crossover utilizzati vengono registrati come campione di addestramento. Ciò garantisce che il modello apprenda i punti di crossover che portano a miglioramenti dell'adattamento.

2.4 Ciclo Evolutivo

Il framework GESR itera attraverso le generazioni:

1. Mutazione: La popolazione subisce una mutazione guidata utilizzando il mutation-BERT.
2. Crossover: Viene eseguito un crossover guidato utilizzando il crossover-BERT.
3. Ottimizzazione: Le costanti nelle espressioni risultanti vengono raffinate utilizzando BFGS.
4. Selezione: Gli individui vengono valutati in base a $R^2$, e i migliori $N$ sono selezionati per la generazione successiva.

3. Contributi Chiave

Il documento delinea quattro contributi principali:

1. Un Framework di Editing Genico: Propone un framework di regressione simbolica che consente una guida mirata delle mutazioni e dei crossover genetici, migliorando sostanzialmente l'efficienza evolutiva.
2. Modelli Duali "Mani di Dio": Addestra due modelli BERT multimodali per eseguire l'editing genico, che possono servire come modulo plug-and-play per altri algoritmi di regressione simbolica basati su GP.
3. Metodo di Costruzione dei Dati: Progetta una funzione di mutazione e un metodo per costruire dati di addestramento per l'editing genico di alta qualità basati sul miglioramento dell'adattamento.
4. Integrazione Concettuale: Introduce il concetto di "editing genico" nel campo del calcolo evolutivo, sfruttando modelli linguistici profondi per guidare la ricerca.

4. Risultati Sperimentali

Gli autori hanno valutato GESR su 13 dataset, inclusi benchmark standard (Nguyen, Keijzer, Korns, ecc.) e la suite SRBench (Feynman, Strogatz, Black-box).

• Prestazioni di Adattamento: GESR ha ottenuto punteggi $R^2$ superiori o comparabili rispetto alle baseline all'avanguardia (PySR, NGGP, SNIP, GPlearn). In media, GESR ha raggiunto un $R^2$ di 0,9903, superando PySR (0,9876) e NGGP (0,9784).
• Complessità (Interpretabilità): GESR ha prodotto espressioni più compatte. Il conteggio medio dei nodi per GESR è stato di 22,0, significativamente inferiore a PySR (26,9), NGGP (28,1) e GPlearn (35,8).
• Efficienza: GESR ha dimostrato tempi di inferenza significativamente più rapidi. Il tempo medio per raggiungere $R^2 > 0,999$ è stato di 117,2 secondi per GESR, rispetto a 176,1 secondi per la baseline GP non guidata e 124,4 secondi per una variante con sola guida di mutazione.
• Studi di Ablazione: La rimozione di qualsiasi modulo di guida per mutazione o crossover ha comportato prestazioni degradate in termini di accuratezza, complessità e tempo di ricerca, confermando che entrambi i componenti contribuiscono al successo del metodo.
• Sistemi Caotici: Nei test su 16 sistemi dinamici caotici (ad esempio, Lorenz, Duffing), GESR ha mostrato una maggiore accuratezza di adattamento del campo vettoriale e una migliore coerenza nel rollout a breve termine rispetto alle baseline.
• Trasferibilità: Quando integrato nel framework NGGP, la strategia di editing genico guidata da BERT ha migliorato le prestazioni di NGGP, dimostrando che l'approccio non è limitato all'architettura specifica di GESR.

5. Significato e Affermazioni

Il documento afferma che l'integrazione di modelli linguistici profondi per l'editing genico intelligente fornisce una direzione di ricerca nuova ed efficiente per la regressione simbolica. Sostituendo l'esplorazione casuale non guidata con un'ottimizzazione diretta e basata sui dati, GESR:

• Riduce la Ricerca Inefficace: Riduce significativamente il numero di mutazioni e crossover dannosi.
• Migliora la Convergenza: Raggiunge velocità di convergenza più elevate e una maggiore stabilità della ricerca.
• Migliora l'Interpretabilità: Genera formule matematiche più compatte e interpretabili dall'uomo.

Gli autori riconoscono le limitazioni, notando che il metodo dipende dalla qualità dei modelli BERT pre-addestrati e affronta sfide di scalabilità quando la dimensionalità dei dati di test supera l'intervallo supportato durante il pre-addestramento. Suggeriscono che il lavoro futuro dovrebbe concentrarsi sullo sviluppo di modelli più leggeri e trasferibili e di framework scalabili per input ad alta dimensionalità.

In sintesi, il documento sostiene che la "metaforica Divinità" dell'editing genico – realizzata attraverso modelli BERT multimodali – può migliorare sostanzialmente l'efficienza della regressione simbolica evolutiva imparando a prevedere cambiamenti strutturali benefici basati sulla distribuzione dei dati, trasformando così il processo di ricerca da un'esplorazione cieca a un'ottimizzazione guidata.