OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora

La fisica è lo studio di come funziona l'universo, dal modo in cui una palla rotola giù da una collina alle forze invisibili che guidano l'elettricità attraverso un filo. Per secoli, gli esseri umani hanno appreso queste regole leggendo parole, osservando diagrammi e risolvendo problemi che richiedono di connettere il testo con le immagini. Oggi, i computer sono diventati incredibilmente bravi a leggere testi e guardare immagini, venendo spesso chiamati modelli multimodali perché possono gestire entrambi i tipi di informazioni contemporaneamente. Queste macchine possono scrivere storie, rispondere a domande e persino descrivere ciò che accade in una fotografia. Tuttavia, quando si tratta del mondo rigoroso e logico della fisica, riconoscere semplicemente un'immagine o leggere una frase non è sufficiente. La vera comprensione richiede che il computer veda come un diagramma e una descrizione si incastrino insieme per formare un'unica, incrollabile catena logica. Se una macchina non è in grado di fare questo, sta solo tirando a indovinare, non sta ragionando.

Un team di ricercatori della East China Normal University ha costruito un nuovo strumento per testare esattamente quanto bene questi computer possano pensare come fisici. Hanno creato una vasta collezione di problemi chiamata OmniPhys, tratti da veri libri di testo ed esami cinesi che spaziano dalla scuola media all'università. Questa non è solo una lista di domande; è un test rigoroso che costringe i computer a fare di più che scegliere semplicemente la risposta corretta da un elenco. La collezione include oltre 15.000 domande e quasi 20.000 immagini, coprendo meccanica, elettricità, luce, calore e suono. I ricercatori l'hanno progettata per essere difficile, assicurandosi che i problemi richiedano al computer di interpretare simultaneamente disegni complessi e testo. Fondamentalmente, il test chiede ai computer di fare qualcosa che raramente fanno: disegnare i propri diagrammi. Invece di selezionare solo un'immagine, il computer deve generare una nuova immagine che mostri correttamente come la luce si rifletta o come agiscano le forze, aderendo alle rigide leggi della fisica.

Quando i ricercatori hanno eseguito i loro test, hanno scoperto che anche i computer più avanzati, inclusi i più potenti disponibili al pubblico, faticavano significativamente. I migliori modelli riuscivano a risolvere circa il 70 percento dei problemi correttamente, ma quando i ricercatori hanno esaminato più da vicino il modo in cui i modelli arrivavano a quelle risposte, il quadro è cambiato. Molti modelli ottenevano la risposta giusta per caso o memorizzando schemi, piuttosto che comprendendo veramente la logica. Spesso perdevano passaggi chiave nel loro ragionamento o non riuscivano a collegare gli indizi visivi nel diagramma con il testo. La situazione era ancora peggiore per il compito del disegno. Quando venivano richiesti di generare un diagramma fisico, i computer producevano spesso immagini che sembravano plausibili a prima vista ma contenevano errori fondamentali. Potevano disegnare un raggio di luce che si piega nella direzione sbagliata o una forza che punta nella direzione opposta, violando le stesse leggi della natura che avrebbero dovuto dimostrare.

Lo studio ha anche rivelato che questi computer peggiorano progressivamente man mano che i problemi diventano più difficili. Si sono comportati ragionevolmente bene con le domande delle medie, ma la loro precisione è scesa drasticamente quando i problemi si sono spostati verso i livelli della scuola superiore e dell'università. Questo declino suggerisce che, sebbene queste macchine siano brave a gestire compiti semplici, non hanno ancora padroneggiato il ragionamento profondo e stratificato richiesto per il pensiero scientifico complesso. I ricercatori hanno anche scoperto che dare al computer un'immagine del problema lo aiutava a performare meglio rispetto al fatto di avere solo il testo, provando che l'informazione visiva è essenziale per risolvere questi enigmi. Tuttavia, hanno scoperto che alcuni modelli performavano peggio quando ricevevano un'immagine, suggerendo che il computer a volte tratti l'immagine come rumore confondente piuttosto che come informazione utile.

Forse la scoperta più sorprendente è stata che i computer usati per valutare il lavoro erano spesso troppo indulgenti. Quando i ricercatori hanno chiesto a un'intelligenza artificiale di valutare i diagrammi disegnati da altri computer, il valutatore assegnava punteggi alti a immagini che gli esperti umani consideravano errate. Il valutatore automatizzato perdeva errori fisici sottili che un essere umano avrebbe colto immediatamente. Ciò significa che affidarsi alle macchine per valutare la qualità del ragionamento scientifico è attualmente inaffidabile. Gli esperti umani, che hanno revisionato il lavoro con cura, hanno trovato che i computer non riuscivano a comprendere i concetti fondamentali della fisica, anche quando la risposta finale era corretta.

Questo lavoro non sostiene che i computer siano inutili per la scienza, ma mostra che hanno molta strada da fare prima di poter comprendere veramente il mondo fisico. I ricercatori hanno reso la loro collezione di problemi e immagini disponibile al pubblico affinché altri scienziati possano usarla per costruire modelli migliori. Identificando esattamente dove queste macchine falliscono — che sia nel disegnare un diagramma corretto, nel seguire una catena logica o nel comprendere una scena visiva complessa — lo studio fornisce una mappa chiara per i miglioramenti futuri. L'obiettivo non è solo quello di creare computer che superino un test, ma di creare sistemi che possano ragionare attraverso le leggi della natura con la stessa rigore e precisione di un fisico umano. Fino ad allora, il divario tra ciò che questi modelli possono dire e ciò che realmente comprendono rimane ampio.