An Agentic AI Scientific Community for Automated Neural Operator Discovery

Sintesi Tecnica: Una Comunità Scientifica di IA Agente per la Scoperta Automatica di Operatori Neurali

Definizione del Problema

L'apprendimento di operatori mira a costruire surrogati veloci per i risolutori di Equazioni alle Derivate Parziali (PDE). Tuttavia, le famiglie esistenti di operatori neurali (ad es. Fourier Neural Operators, DeepONets, operatori wavelet) codificano bias induttivi fissi adatti a regimi specifici. Inoltre, la selezione degli iperparametri dell'architettura (profondità, larghezza, composizione dei blocchi) per nuove PDE rimane un processo manuale. La questione centrale affrontata è se una simulazione agente e automatizzata di una comunità di ricerca possa scoprire l'architettura dell'operatore neurale ottimale per un dato problema senza la conoscenza pregressa o l'intervento umano.

Metodologia

Il Framework della Comunità Scientifica di IA

Gli autori propongono uno sciame decentralizzato di $N=16$ laboratori virtuali che esplorano lo spazio di ricerca delle architetture su $T=20$ iterazioni. Il sistema opera sotto un "economia di influenza basata sulle citazioni":

1. Dinamiche dello Sciame: I laboratori ben citati (quelli con alta fitness) guadagnano influenza e priorità di riproduzione, mentre i laboratori non citati vengono sostituiti. Ciò imita le comunità di ricerca del mondo reale, dove direzioni di ricerca di successo attirano seguaci.
2. Struttura del Laboratorio Virtuale: Ogni laboratorio contiene tre agenti distinti:
   • LLM Planner: Propone il prossimo genoma dell'architettura basandosi sulla sua storia, sul migliore globale e su un riepilogo dei laboratori pari.
   • Numerical Worker: Un componente non LLM, basato sul gradiente, che compila l'architettura proposta, la addestra a "fedeltà di screening" (dati/epoche ridotti per velocità) e misura l'errore relativo $L_2$.
   • LLM Reviewer: Partecipa alla revisione paritaria tra i laboratori, esprimendo voti "soft" basati sulle prestazioni del candidato e sulla novità architettonica.
3. Spazio di Ricerca (Genoma): Le architetture sono definite come sequenze di blocchi ($L \in [2, 8]$) tratti da un vocabolario: $\{ \text{BRANCH\_TRUNK, FOURIER, ATTENTION, WAVELET, RESIDUAL\_CONV} \}$. Il genoma include anche iperparametri come la larghezza nascosta, i modi spettrali e i tassi di apprendimento.
4. Funzione di Fitness: Un punteggio composito $F_i$ combina accuratezza ($A_i$), robustezza al rumore ($G_i$), efficienza dei parametri ($E_i$) e novità architettonica ($\nu_i$). L'accuratezza è pesata fortemente ($w_a=0.70$), ma la novità e l'efficienza impediscono il collasso verso soluzioni banali.

Studio di Ablazione LLM

Per isolare il contributo dell'agenzia LLM, gli autori hanno condotto uno studio di ablazione controllato. Nella condizione "rule-based" (basata su regole), l'LLM planner e il reviewer sono stati sostituiti da algoritmi deterministici:

• Rule-based Planner: Utilizza aggiornamenti standard di ottimizzazione a sciame di particelle (esplora/sfrutta).
• Rule-based Reviewer: Utilizza un voto proporzionale all'accuratezza.
  Entrambe le condizioni condividono dimensioni dello sciame, conteggi di iterazione, budget di addestramento e seed casuali identici.

Audit degli Agenti

Per garantire che il sistema non si degradasse silenziosamente verso fallback basati su regole (un rischio noto nei sistemi agentici), ogni chiamata LLM (prompt, risposta, stato di parsing) è stata registrata e auditata. Il sistema utilizza un modello gemma3:12b locale tramite Ollama per garantire la riproducibilità senza API a pagamento.

Risultati Chiave

1. Scoperta di Ibridi Multi-Famiglia

La comunità guidata da LLM ha scoperto costantemente architetture ibride multi-famiglia.

• Tasso di Ibridazione: Nel 99,8% delle decisioni del planner, l'LLM ha scelto di "IBRIDARE" (innestare blocchi di diverse famiglie) piuttosto che esplorare o sfruttare puramente una singola famiglia.
• Appropriatezza del Regime: Le architetture scoperte si sono adattate alla fisica del problema. Per problemi favorevoli allo spettro (Advezione, Burgers, Navier-Stokes), i blocchi Fourier hanno guidato gli stack. Per la regressione a tratti e il flusso di Darcy, i blocchi tipo Wavelet o DeepONet sono stati prominenti.
• Performance:
  • Navier-Stokes (2D): L'ibrido scoperto ha raggiunto un errore relativo $L_2$ di $0.0005 \pm 0.0000$, eguagliando lo stato dell'arte di FNO ($0.0002$) ma con meno parametri (1.1M vs 1.2M per FNO).
  • Flusso di Darcy (2D): L'ibrido ha raggiunto un errore di $0.0631 \pm 0.0083$, statisticamente in linea con DeepONet ($0.0649$) e significativamente superiore a FNO ($0.3070$).

2. Il Teorema "No-Free-Lunch" per gli Operatori Neurali

I risultati confermano che nessun'unica architettura di operatore domina tutti i problemi.

• L'ibrido Navier-Stokes è stato inefficiente sul flusso di Darcy (errore $\approx 0.71$), e l'ibrido di Darcy è stato inefficiente su Navier-Stokes.
• Ciò valida l'ipotesi che diversi regimi di PDE richiedano bias induttivi distinti.

3. Il Ruolo dell'Agenzia LLM (Risultati dell'Ablazione)

Sebbene l'accuratezza della comunità LLM e di quella rule-based fosse statisticamente indistinguibile nella fedeltà di screening, gli esiti architettonici differivano significativamente:

• Comunità LLM: Ha mantenuto la diversità, producendo costantemente ibridi multi-famiglia con parametri contenuti.
• Comunità Rule-Based: Tendeva a "collassare" in stack a singola famiglia canonica (ad es. puro Fourier per Navier-Stokes, puro Wavelet per Darcy).
• Efficienza: Su Navier-Stokes, gli ibridi LLM hanno raggiunto un'accuratezza comparabile agli stack pure-Fourier della comunità rule-based, ma con 2,5 volte meno parametri (2.2M vs 5.6M).
• Conclusione: L'agenzia LLM è necessaria per preservare la diversità architettonica e scoprire soluzioni ibride efficienti, mentre gli agenti basati su regole convergono prematuramente verso le famiglie standard.

4. Costo Computazionale

L'approccio guidato da LLM comporta un overhead di circa 2–4× nel tempo di esecuzione rispetto alla coordinazione rule-based (ad es. ~271 minuti vs ~103 minuti per Navier-Stokes). Questo costo è attribuito alle chiamate di pianificazione e revisione LLM (due chiamate per laboratorio per iterazione). Tuttavia, l'uso della "fedeltà di screening" (addestramento in secondi anziché ore) rende l'approccio a sciame fattibile su una singola GPU.

Significato e Rivendicazioni

Il documento rivendica tre contributi primari:

1. Un Nuovo Framework: Una comunità scientifica di IA agente che automatizza con successo la scoperta di operatori neurali utilizzando uno sciame di laboratori virtuali con planner e reviewer LLM.
2. Evidenza della Necessità dell'LLM: Uno studio di ablazione che dimostra come l'agenzia LLM sia critica per mantenere la diversità architettonica e scoprire modelli ibridi efficienti, prevenendo il collasso verso soluzioni a singola famiglia osservato nei sistemi basati su regole.
3. Validazione Empirica del "No-Free-Lunch": Una simulazione su larga scala che conferma che non esiste un operatore neurale universale; la "migliore" architettura dipende dal problema e le comunità automatizzate possono scoprire questi ibridi specifici per il problema.

Gli autori dichiarano esplicitamente che il sistema non pretende di superare i baseline progettati dagli umani in termini di accuratezza pura (poiché i baseline rule-based e LLM erano comparabili nella screening), quanto piuttosto nella scoperta architettonica e nell'efficienza dei parametri. Il lavoro sottolinea che l'LLM agisce come una policy per il processo decisionale, non come un esecutore autonomo di strumenti. Tutto il codice, le configurazioni e i trascrizioni complete degli LLM (9.623 chiamate) sono rilasciati per la riproducibilità.