🤖 AI

MaD Physics: Evaluating information seeking under constraints in physical environments

Il documento introduce MaD Physics, un nuovo benchmark progettato per valutare la capacità degli agenti AI di inferire leggi fisiche e pianificare misurazioni sotto vincoli di risorse, testandoli in ambienti con leggi fisiche alterate, rivelando così i limiti delle attuali capacità di ragionamento scientifico e di esplorazione strutturata dei modelli Gemini.

Autori originali: Moksh Jain, Mehdi Bennani, Johannes Bausch, Yuri Chervonyi, Bogdan Georgiev, Simon Osindero, Nenad Tomašev

Pubblicato 2026-05-12

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Moksh Jain, Mehdi Bennani, Johannes Bausch, Yuri Chervonyi, Bogdan Georgiev, Simon Osindero, Nenad Tomašev

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero, ma hai una regola molto rigida: hai solo una quantità limitata di denaro da spendere per gli indizi.

Questo è il concetto fondamentale alla base di un nuovo progetto di ricerca chiamato MaD Physics (Misurare e Scoprire la Fisica). I ricercatori di Google DeepMind e Mila hanno creato un test simile a un videogioco per valutare quanto bene gli "scienziati" AI riescano a capire come funziona il mondo quando non possono semplicemente cercare le risposte in un libro di testo e non possono permettersi di controllare tutto.

Ecco una semplice spiegazione di come funziona e di cosa hanno scoperto:

1. Il Gioco: "La Scatola del Mistero"

In questo test, l'AI viene inserita in un mondo virtuale dove gli oggetti si muovono. Ma c'è un trucco: le regole della fisica in questo mondo sono leggermente rotte o "alterate".

Forse la gravità non attira gli oggetti verso il basso come fa di solito.
Forse l'acqua si muove in un pattern che sfida la dinamica dei fluidi normale.
Forse le particelle si comportano come se fossero collegate da fili invisibili che non esistono nel nostro mondo reale.

L'AI non conosce queste regole. Deve scoprirle osservando il movimento degli oggetti.

2. La Sfida: Il "Budget degli Indizi"

È qui che entra in gioco la parte "MaD". L'AI ha un budget (come un portafoglio con un numero fisso di monete).

Osservare un oggetto costa denaro.
Osservare da vicino (alta precisione) costa molto.
Osservare da lontano (bassa precisione) costa poco.
Attendere più a lungo per osservare costa più tempo.

L'AI deve prendere decisioni intelligenti: "Dovrei spendere tutto il mio budget per controllare un solo oggetto molto da vicino, o dovrei spendere un po' per controllare dieci oggetti diversi per avere un'idea approssimativa?"

Se l'AI spreca i suoi soldi su ipotesi sbagliate, finisce le monete prima di poter risolvere il mistero. Una volta esaurito il denaro, il gioco si ferma e l'AI deve prevedere dove saranno gli oggetti in futuro basandosi solo sugli indizi che è riuscita a comprare.

3. I Tre Mondi

Per assicurarsi che l'AI non stia semplicemente memorizzando fatti del mondo reale, l'hanno testata in tre diversi "universi":

Il Mondo della Palla Rimbalzante (Meccanica Classica): Oggetti che rimbalzano e si scontrano, ma con una "memoria" invisibile e strana che li rende più difficili da spingere in certe direzioni.
Il Mondo dell'Acqua che Gira (Meccanica dei Fluidi): Un liquido che scorre, ma con una "forza aliena" invisibile che lo spinge in pattern strani e rotanti.
Il Mondo delle Partelle Spettrali (Meccanica Quantistica): Piccole particelle che si comportano come onde, ma con un twist: le regole su come appaiono quando le si osserva sono diverse dalla vita reale.

4. I Soggetti del Test

I ricercatori hanno testato quattro diverse versioni dei modelli Gemini AI di Google (da uno più piccolo e veloce a uno più grande e intelligente) per vedere quanto fossero bravi in questo gioco.

5. I Risultati: Cosa l'AI ha sbagliato

I risultati sono stati un po' umilianti per l'AI:

Faticavano a essere "strategici": L'AI spesso spendeva il suo budget in modo inefficiente. A volte guardava le cose sbagliate o osservava troppo da vicino cose che non importavano, finendo i soldi prima di capire il pattern.
Non potevano "inventare" nuove leggi: Quando la fisica era alterata, l'AI spesso cercava di forzare le regole del mondo reale sul nuovo mondo. Era come cercare di risolvere un Sudoku usando le regole degli Scacchi.
I modelli migliori facevano meglio, ma non perfettamente: I modelli AI più intelligenti (come Gemini 3) commettevano meno errori e erano migliori nel prevedere il futuro, ma non riuscivano comunque a capire perfettamente il "codice segreto" della fisica alterata.
Le immagini rendevano tutto più difficile: Quando l'AI doveva guardare immagini degli oggetti in movimento invece di semplici numeri, si confondeva ancora di più.

La Conclusione

Il documento conclude che, sebbene l'AI stia diventando molto brava a rispondere a domande per cui conosce già le risposte, sta ancora faticando con la vera scoperta scientifica: la capacità di uscire, spendere risorse limitate con saggezza, raccogliere nuovi dati e scoprire regole che non esistono ancora.

Pensala così: l'AI è ottima nell'essere una bibliotecaria (trovare libri esistenti), ma sta ancora imparando a essere un esploratore (disegnare una mappa di un territorio che nessuno ha mai visto prima). MaD Physics è una nuova mappa per i ricercatori per vedere esattamente dove l'AI si perde, così da poterla aiutare a imparare a esplorare meglio.

Sintesi Tecnica: MaD Physics – Valutazione della Ricerca di Informazioni sotto Vincoli in Ambienti Fisici

Enunciato del Problema
La scoperta scientifica è intrinsecamente un processo vincolato dalle risorse, che richiede agli agenti di navigare i compromessi tra qualità e quantità delle misurazioni a causa di limitazioni fisiche, temporali e finanziarie. Mentre gli attuali benchmark per la scoperta scientifica si concentrano sul ragionamento basato su conoscenze statiche (ad esempio, domande e risposte basate su fatti memorizzati) o sulla progettazione sperimentale senza vincoli, non riescono a valutare la capacità di un agente di effettuare misurazioni strategiche e pianificare sotto vincoli rigorosi. Inoltre, i benchmark standard spesso si basano su leggi fisiche ben note, permettendo agli agenti di avere successo tramite il recupero di conoscenze piuttosto che attraverso la scoperta empirica. Esiste un divario critico nella valutazione di agenti che devono raccogliere attivamente informazioni, gestire un budget finito e inferire dinamiche sottostanti da dati rumorosi e sparsi in ambienti dove le leggi governanti potrebbero essere sconosciute o alterate.

Metodologia: Il Benchmark MaD Physics
Per colmare questo divario, gli autori propongono MaD Physics (Misurare e Scoprire la Fisica), un benchmark progettato per valutare la capacità degli agenti di effettuare misurazioni informative e trarre conclusioni soggette a vincoli sulla qualità e sulla quantità delle misurazioni.

Progettazione dell'Ambiente: Il benchmark è composto da tre ambienti parametrici distinti basati sulla Meccanica Classica, la Meccanica dei Fluidi e la Meccanica Quantistica. Per impedire agli agenti di affidarsi a conoscenze pre-addestrate sulla fisica standard, ogni ambiente include leggi fisiche "alterate" (ad esempio, massa inerziale anisotropa, leggi di gravità modificate come $1/R$ o effetti di increspatura, inizializzazione non lineare dell'entanglement e regole di Born generalizzate con norme $L_p$ ).
Protocollo di Valutazione: La valutazione avviene in due fasi:
1. Fase di Misurazione: L'agente opera sotto un budget fisso $B$ . Deve scegliere sequenzialmente cosa misurare (ad esempio, particelle o coordinate specifiche), quando misurare (passo temporale) e con quale fedeltà (livello di rumore). Ogni osservazione comporta un costo $C(o_k, \sigma_k)$ , che aumenta con la fedeltà (rumore inferiore). L'agente deve massimizzare il guadagno informativo entro il budget.
2. Fase di Previsione: Una volta esaurito il budget o raggiunto un tempo massimo $T_{max}$ , l'agente deve inferire la legge fisica sottostante e prevedere lo stato del sistema a un tempo di query futuro $T_{query} > T_{max}$ .
Implementazione dell'Agente: Gli autori valutano quattro modelli Gemini (2.5 Flash Lite, 2.5 Flash, 2.5 Pro e 3 Flash) utilizzando un'impalcatura minima per agenti con capacità di esecuzione del codice. Vengono testate due strategie di prompting: un prompt "Base" che fornisce un contesto generale e un prompt "Strategia" ispirato alla progettazione sperimentale bayesiana, che istruisce l'agente a massimizzare il Guadagno Informativo Atteso (EIG) per unità di costo.

Contributi Chiave

Metodologia di Benchmarking Innovativa: Il documento introduce un quadro per valutare agenti alla ricerca di informazioni in domini fisici che enfatizza esplicitamente il compromesso costo-fedeltà nella progettazione sperimentale, andando oltre i compiti di ragionamento statico.
Ambienti Parametrici con Leggi Alterate: La suite di tre ambienti (Classico, Fluidodinamico, Quantistico) include alterazioni specifiche e documentate delle leggi fisiche standard. Questo garantisce che gli agenti debbano impegnarsi in una scoperta attiva piuttosto che recuperare conoscenze memorizzate.
Benchmarking Completo dei Modelli all'Avanguardia: Gli autori sottopongono a benchmarking diversi modelli Gemini su MaD Physics, analizzando le prestazioni attraverso diversi gradi di alterazione delle leggi e dimostrando l'impatto del prompting strategico sulla navigazione dell'incertezza scientifica.

Risultati Empirici

Prestazioni del Modello: In generale, le prestazioni migliorano con la capacità del modello (da Flash Lite a Pro fino a 3 Flash). Tuttavia, anche i modelli più capaci faticano con configurazioni alterate.
Accuratezza delle Previsioni: Gli agenti spesso producono previsioni fuori dai limiti o inaccurate, anche nelle configurazioni di fisica normale. Sebbene il prompt "Strategia" migliori generalmente le prestazioni imponendo una raccolta sistematica dei dati, errori significativi persistono.
Accuratezza Simbolica vs. Predittiva: Una scoperta chiave è la disconnessione tra accuratezza predittiva e recupero simbolico. Gli agenti spesso falliscono nell'identificare la forma simbolica corretta della legge fisica sottostante (ad esempio, non riescono a distinguere tra gravità $1/r^2$ e $1/r$ ), anche quando riescono a fare previsioni ragionevoli.
Multimodalità e Apprendimento in Contesto:
- Osservazioni Visive: Quando agli agenti vengono fornite rappresentazioni visive invece di dati numerici, gli errori di previsione aumentano significativamente, sebbene le tendenze relative alla capacità del modello rimangano coerenti.
- Apprendimento in Contesto: Su più prove, Gemini 3 Flash dimostra la capacità di ridurre l'errore di previsione, mentre Gemini 2.5 Pro fallisce nell'apprendere in configurazioni alterate.
Inferenza dei Parametri: In una variante in cui la forma strutturale è nota e l'obiettivo è inferire un singolo parametro ( $\kappa$ ), gli agenti tendono a sottostimare il parametro, mostrando un pregiudizio verso la fisica standard.

Significato e Affermazioni
Il documento posiziona MaD Physics come un trampolino di lancio verso benchmark che catturano la natura esplorativa e non strutturata della scoperta scientifica. Gli autori affermano che MaD Physics identifica efficacemente le carenze nei modelli di livello all'avanguardia riguardo ai compiti dinamici di ricerca di informazioni. Nello specifico, il benchmark evidenzia:

Scarse prestazioni predittive a valle quando gli agenti non possono affidarsi a leggi memorizzate.
Difficoltà nel recuperare espressioni simboliche accurate per le leggi fisiche, anche quando i dati sono disponibili.
La necessità di una pianificazione strategica sotto vincoli, una capacità in cui i modelli attuali mostrano un ampio margine di miglioramento.

Gli autori concludono che, sebbene i modelli attuali mostrino promesse nel ragionamento, faticano con le realtà pratiche dell'indagine scientifica: allocare risorse limitate per massimizzare il guadagno informativo e inferire dinamiche nuove da dati vincolati e rumorosi. Viene suggerito un lavoro futuro per esplorare impalcature per agenti più sofisticate, prompting ottimizzato ed estensioni a sistemi fisici più complessi.