LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory

L'universo alla sua scala più piccola non è una collezione di piccole sfere solide, ma un complesso arazzo di campi che si estendono attraverso tutto lo spazio e il tempo. Per comprendere come particelle come elettroni o quark interagiscano, i fisici utilizzano un quadro chiamato teoria quantistica dei campi. È il linguaggio matematico che descrive il Modello Standard, la nostra migliore mappa attuale dei costituenti fondamentali della natura. Tuttavia, lavorare con questo linguaggio è notoriamente difficile. Richiede di navigare in lunghe catene logiche dove un singolo piccolo errore nel calcolo può cambiare completamente il risultato finale. Per decenni, risolvere questi problemi è stato l'esclusiva di esperti umani altamente addestrati, che trascorrono anni a padroneggiare le intricate regole del gioco.

Recentemente, è emerso un nuovo tipo di strumento: i grandi modelli linguistici. Si tratta di sistemi di intelligenza artificiale addestrati su vaste quantità di testo, capaci di leggere, scrivere e ragionare. Hanno già dimostrato di poter risolvere problemi matematici complessi e scrivere codice informatico, spesso con una velocità e una precisione che rivaleggiano con gli esperti umani. Ciò solleva una domanda affascinante: questi modelli possono fare lo stesso per il ragionamento profondo e astratto richiesto dalla fisica teorica? Possono navigare nelle acque insidiose della teoria quantistica dei campi, o semplicemente imitano l'aspetto della comprensione senza averne la sostanza?

Per trovare la risposta, un team di ricercatori da istituzioni in Europa e Asia ha creato un nuovo test progettato specificamente per questo scopo. Hanno costruito una collezione di settantacinque problemi impegnativi, che spaziano dai corsi avanzati di livello specialistico a temi di ricerca iniziale. Queste domande coprono le aree centrali del campo, dal comportamento della luce e della materia alle teorie esotiche che tentano di unificare tutte le forze. Fondamentalmente, ogni domanda in questo test ha un'unica risposta corretta che può essere verificata con precisione matematica. I ricercatori hanno poi chiesto a trentanove diversi modelli di intelligenza artificiale di risolvere questi problemi. Questi modelli includevano i sistemi più potenti disponibili presso le principali aziende tecnologiche, così come diverse alternative open-source sviluppate dalla comunità di ricerca.

I risultati rivelano un panorama di straordinaria capacità e persistente limitazione. I modelli più forti, i sistemi più avanzati attualmente esistenti, hanno dimostrato un livello di abilità sorprendente. Hanno risolto la stragrande maggioranza dei problemi correttamente, con i migliori performer che hanno raggiunto tassi di accuratezza superiori al novantacinque per cento. Ciò suggerisce che questi sistemi abbiano effettivamente imparato a navigare le complesse regole della teoria quantistica dei campi e possano eseguire il pesante lavoro di derivazione che un tempo richiedeva anni di studio umano. Tuttavia, il divario tra i migliori e gli altri è significativo. I modelli più vecchi, e molti dei sistemi open-source, hanno faticato considerevolmente, fallendo spesso a livello di concetti fisici di base o perdendosi nei dettagli della derivazione.

Ma ottenere la risposta corretta è solo metà della storia. I ricercatori hanno anche esaminato attentamente il modo in cui i modelli sono giunti alle loro conclusioni, analizzando il ragionamento passo dopo passo che hanno fornito. Hanno scoperto un difetto sottile ma importante: anche quando un modello produceva la risposta finale corretta, il percorso che descriveva per arrivarci era talvolta errato. In alcuni casi, il modello commetteva un errore in un passaggio intermedio, ma in qualche modo giungeva comunque al risultato corretto, come se avesse ricordato la risposta dai suoi dati di addestramento piuttosto che calcolarla da zero. Questa "infedeltà" significa che la spiegazione del modello non supporta realmente la risposta fornita. Sebbene i modelli più capaci mostrassero la minore quantità di questo comportamento, esso era comunque presente, indicando che questi sistemi non sono ancora del tutto affidabili nel loro ragionamento.

Lo studio ha inoltre evidenziato modi specifici in cui questi modelli falliscono. A volte confondono le regole del gioco, applicando una formula standard quando il problema richiedeva una variazione specifica e insolita. Altre volte, commettono semplicemente errori aritmetici o non seguono le istruzioni specifiche date nel prompt. Questi errori suggeriscono che, sebbene i modelli abbiano appreso la forma generale dell'argomento, non hanno ancora padroneggiato la disciplina rigorosa necessaria per evitare piccoli ma fatali errori. La ricerca conferma che l'intelligenza artificiale sta iniziando ad affrontare problemi che un tempo erano l'esclusiva dei fisici teorici, ma mostra anche che non siamo ancora al punto in cui questi strumenti possono essere affidati a lavorare interamente da soli. Il viaggio verso un'intelligenza artificiale capace di scoprire davvero la nuova fisica è in corso, ma ci sono ancora chiari divari da colmare prima che questi sistemi possano essere considerati veri partner nella scoperta scientifica.