BootLoops: an LLM-driven toolkit for exact quantitative science

Per la maggior parte della storia dell'informatica scientifica, un essere umano scriveva un programma, sapendo esattamente cosa facesse, e poi un computer lo eseguiva. Successivamente, il paradigma è cambiato: un essere umano specifica l'architettura, un computer adatta una rete neurale ai dati e l'essere umano interpreta i risultati. Ora, è in corso un nuovo cambiamento. Un modello linguistico di grandi dimensioni, agendo come un agente semi-autonomo, può progettare e scrivere il programma, eseguirlo e poi rivedere e interpretare se stesso il risultato. Il potenziale di tali sistemi sembra illimitato, eppure una domanda chiave rimane: come possono gli esseri umani essere massimamente produttivi utilizzando questi agenti? La risposta risiede nel connettere campi distanti. Metodi sviluppati per la fisica delle particelle potrebbero risolvere problemi in ecologia, o strumenti provenienti dall'analisi numerica potrebbero chiarire le soglie regolatorie nella sanità pubblica, ma poche persone conoscono bene entrambi i lati per rendere la connessione. Un modello linguistico di grandi dimensioni, avendo letto tutto, conosce entrambi.

Questo articolo introduce BootLoops, un toolkit progettato per sfruttare tale ampiezza di conoscenza. È una collezione di programmi informatici specializzati che un modello linguistico può operare ed estendere per eseguire una scienza esatta e quantitativa. Il toolkit riunisce metodi dalla fisica dei collider, dalla matematica sperimentale e dall'algebra computazionale per risolvere problemi che di solito vengono stimati con approssimazioni o calcolati con numeri in virgola mobile che nascondono errori di arrotondamento. Invece di indovinare o stimare, BootLoops consente al modello di calcolare risposte come numeri razionali esatti, provare che una soluzione esiste o non esiste e portare avanti i calcoli con limiti di errore garantiti. L'obiettivo non è sostituire gli scienziati umani, ma dare loro un modo per usare strumenti di un campo per risolvere problemi in un altro, trasformando connessioni difficili da rendere per gli umani in operazioni di routine.

Il nucleo del lavoro consiste in un modello linguistico di grandi dimensioni che opera in un ciclo, emettendo comandi per eseguire programmi e leggere il loro output. Di fronte a un calcolo difficile, il modello pianifica i passaggi, seleziona gli strumenti giusti dal toolkit ed esegue i calcoli. Se uno strumento manca, il modello scrive una nuova routine, la testa e la aggiunge alla collezione. I programmi stessi calcolano ogni numero e simbolo; il modello non indovina mai una cifra. Il toolkit persiste attraverso diversi problemi, crescendo man mano che vengono aggiunti nuovi metodi. Include programmi che riducono integrali complessi a una base finita, risolvono equazioni differenziali e adattano costanti esatte a numeri ad alta precisione. Alcuni di questi programmi sono codici pubblici adottati dalla fisica e dalla matematica, mentre altri sono stati scritti da zero specificamente per questo progetto. In totale, sono stati scritti circa cento nuovi programmi solo per gestire i calcoli descritti nel saggio.

La prima grande applicazione di BootLoops è il calcolo degli integrali di Feynman, che descrivono come le particelle si diffondono e interagiscono. Per decenni, i fisici li hanno calcolati tramite integrazione diretta o stimandoli punto per punto. BootLoops adotta un approccio diverso, utilizzando un metodo chiamato "bootstrap". Il modello identifica prima la forma geometrica definita dal problema, che potrebbe essere una semplice sfera, una curva ellittica o una forma complessa nota come varietà di Calabi-Yau. Questa geometria detta il tipo di funzioni che possono descrivere la risposta. Il modello costruisce quindi una formula generale con coefficienti ignoti e utilizza campioni numerici ad alta precisione per adattare tali coefficienti. Il risultato è una risposta in forma chiusa, un'espressione matematica precisa, piuttosto che un elenco di numeri. L'autore ha calcolato trenta di tali integrali, che vanno da diagrammi semplici a un loop fino a strutture complesse a quattro loop. Quindici di questi erano noti in letteratura, e gli altri quindici erano nuovi, senza calcoli precedenti trovati. Ogni risultato è stato verificato contro una valutazione numerica indipendente a trenta o più cifre di precisione, garantendo che la risposta fosse corretta senza fare affidamento sull'intuizione del modello.

La seconda applicazione mostra come questi strumenti della fisica risolvano problemi in biologia e statistica. In campi come la biologia evolutiva, gli scienziati confrontano diversi alberi genealogici di specie per vedere quale spieghi meglio i dati del DNA. Ciò richiede il calcolo di un' "evidenza Bayesiana", un numero che rappresenta la probabilità dei dati sotto un particolare albero. Tradizionalmente, questo viene stimato utilizzando metodi Monte Carlo, che sono lenti e comportano i propri errori stimati. BootLoops riconosce che la matematica per questi integrali di evidenza biologica è identica alla matematica per gli integrali di Feynman. Applicando le stesse tecniche di riduzione e adattamento, il toolkit calcola queste evidenze come numeri razionali esatti. Per casi semplici, la risposta è una frazione precisa. Per casi più complessi, fornisce un intervallo garantito che contiene il valore reale. Ciò consente agli scienziati di confrontare gli alberi con assoluta certezza, qualcosa che era precedentemente impossibile con le stime in virgola mobile. Lo stesso approccio è applicato ai modelli di miscela in statistica, alla genetica di popolazione e alla biologia delle singole cellule, dove fornisce risposte esatte per problemi che di solito si basano su simulazioni rumorose.

La terza capacità è l'abilità di eseguire una ricerca esaustiva con una prova di completezza. In molti quesiti scientifici, la risposta dipende dal controllo di ogni possibile caso, o dalla prova che nessun caso di un certo tipo esista. BootLoops può enumerare ogni configurazione in uno spazio finito, come le possibili disposizioni del flusso nella teoria delle stringhe o i modi ottimali per raggruppare i dati per le valutazioni di qualità. Lo fa con una prova rigorosa che nulla è stato tralasciato. Se la ricerca trova una soluzione, restituisce l'elenco completo. Se non trova alcuna soluzione, fornisce un teorema che prova che un tale oggetto non esiste. Ad esempio, il toolkit è stato utilizzato per analizzare l'integrale di Watson, un famoso problema matematico riguardante i cammini casuali. Esaurendo la classe di tutte le possibili soluzioni in forma chiusa, il modello ha dimostrato che non esiste tale forma chiusa per il caso generale, un risultato che era rimasto un problema aperto per decenni. Questo trasforma una ricerca che potrebbe essere stata euristica o incompleta in una certezza matematica.

Infine, il toolkit affronta il problema degli errori di arrotondamento nei calcoli standard. Quando i computer utilizzano l'aritmetica in virgola mobile, piccoli errori si accumulano e possono portare a risposte errate, specialmente in lunghe catene di calcolo. BootLoops utilizza l' "aritmetica a palline" (ball arithmetic), dove ogni numero è trattato come un punto medio con un raggio di errore garantito. Questo raggio cresce o diminuisce man mano che i calcoli procedono, assicurando che il valore reale sia sempre contenuto entro i limiti. Se l'errore diventa troppo grande per essere utile, il sistema rifiuta di fornire una risposta piuttosto che fornire una risposta errata. Questo metodo è stato utilizzato per sottoporre ad audit numeri pubblicati, come le soglie regolatorie per la qualità dell'aria e le valutazioni mediche. In un caso, il toolkit ha riprodotto il calcolo per uno standard statunitense sull'ozono utilizzando l'aritmetica esatta e ha scoperto che il risultato pubblicato dipendeva da come i numeri venivano troncati, un dettaglio che l'aritmetica in virgola mobile aveva oscurato. In un altro caso, ha verificato i valori esatti per le valutazioni Medicare, provando che i punti di taglio pubblicati erano effettivamente ottimali.

L'articolo conclude che il vero potere dell'intelligenza artificiale agente risiede nella sua capacità di combinare la conoscenza di diversi campi. BootLoops è un primo tentativo di riunire questi metodi in un unico toolkit estendibile che un modello linguistico possa operare. Non spinge i confini della conoscenza umana in una singola direzione, ma piuttosto colma le lacune tra i campi esistenti. Il toolkit è open source ed è progettato per crescere, con l'aspettativa che gli scienziati aggiungano nuovi metodi man mano che vengono scoperti. L'autore sottolinea che, sebbene il modello scriva il codice e utilizzi gli strumenti, i risultati non si basano sul giudizio del modello ma sull'esecuzione deterministica dei programmi. Il lavoro dimostra che portando insieme gli algoritmi di riduzione della fisica dei collider, gli integrali di evidenza della statistica e i rigorosi limiti dell'analisi numerica, possiamo risolvere problemi di lunga data con un livello di precisione e certezza che era precedentemente fuori portata. Il toolkit e la sua documentazione sono disponibili per chiunque voglia usarli ed estenderli, segnando un passo verso un futuro in cui l'inviluppo convesso della conoscenza scientifica umana sia pienamente esplorato.