Beyond Executable Models: The Pufibara Agent Harness and the Modelica Agent Workflow Benchmark for Physical System Modeling

Nel mondo dell'ingegneria, costruire un ponte, una rete elettrica o un sistema di riscaldamento richiede molto più che scrivere del codice che il computer possa leggere. Richiede che il modello digitale si comporti esattamente come l'oggetto fisico reale che rappresenta. Per decenni, gli ingegneri hanno utilizzato un linguaggio specializzato chiamato Modelica per descrivere questi sistemi complessi. A differenza della programmazione standard, dove un computer segue una rigorosa lista di istruzioni dall'alto verso il basso, Modelica lavora enunciando relazioni tra quantità, come il modo in cui la pressione si relaziona alla portata o come la tensione si relaziona alla corrente. Il computer determina quindi l'ordine delle operazioni per risolvere queste relazioni. Questa flessibilità è potente, ma crea un problema unico per l'intelligenza artificiale. Un'IA può facilmente scrivere codice Modelica che sembri corretto e che persino funzioni senza errori, pur descrivendo un sistema fisico che viola le leggi della fisica o che non soddisfa le esigenze specifiche del progetto. La macchina ha seguito le regole della sintassi, ma ha mancato il punto dell'ingegneria.

Questo divario tra un modello che semplicemente funziona e un modello che è veramente corretto è la sfida centrale affrontata da un nuovo studio di ricercatori della TU Dresden. Il team, guidato da Wang Zizhe, si è posto l'obiettivo di vedere se gli agenti IA — programmi in grado di pensare, agire e utilizzare strumenti — potessero essere affidati per correggere, costruire e sintonizzare questi modelli di sistemi fisici in autonomia. Hanno scoperto che, sebbene gli attuali strumenti di IA siano in grado di generare codice, spesso perdono traccia degli obiettivi ingegneristici originali mentre apportano modifiche, oppure si affidano a risultati di test di vecchie versioni del modello che non sono più applicabili. Per risolvere questo problema, i ricercatori hanno costruito un nuovo sistema chiamato Pufibara. Questo sistema agisce come un supervisore rigoroso che mantiene un registro permanente di ciò che il progetto richiede, assicurando che ogni volta che l'IA modifica il modello, ricalcoli la nuova versione rispetto agli obiettivi originali. Hanno testato questo sistema contro uno dei principali strumenti commerciali di codifica IA utilizzando una vasta collezione di 232 diversi compiti di ingegneria. I risultati hanno mostrato che il nuovo sistema non solo risolveva più problemi, ma lo faceva utilizzando significativamente meno risorse computazionali, dimostrando che il modo in cui un'IA viene guidata è importante quanto l'intelligenza che utilizza.

I ricercatori hanno affrontato questo problema riconoscendo che l'ingegneria fisica è diversa dalla scrittura di un normale programma informatico. In un tipico progetto software, se un programma viene eseguito senza errori, è spesso considerato un successo. Nella modellazione fisica, un modello può funzionare perfettamente eppure essere sbagliato. Ad esempio, un'IA potrebbe generare un modello di una pompa d'acqua che si compila e si simula senza problemi, ma se il modello prevede che l'acqua scorra verso l'alto senza una pompa, ha fallito il test ingegneristico. La difficoltà principale risiede nella natura iterativa del lavoro. Mentre un agente IA cerca di correggere un modello, potrebbe cambiare un parametro, eseguire una simulazione, vedere un risultato e poi cambiare un altro parametro. Senza un sistema di memoria accurato, l'agente potrebbe dimenticare che la prima modifica era necessaria, o potrebbe erroneamente credere che un risultato di simulazione della vecchia versione del modello sia ancora applicabile alla nuova. Questa confusione può portare l'agente a sottomettere un modello finale che appare buono in superficie, ma che non soddisfa i requisiti fisici specifici del compito.

Per prevenire ciò, il team ha progettato Pufibara con un'architettura specifica che tratta i requisiti ingegneristici come obblighi persistenti. Immaginate un project manager che tiene una checklist di ogni regola che l'edificio deve seguire, dalla resistenza dell'acciaio al flusso dell'aria. Ogni volta che l'architetto apporta una modifica, il manager controlla il nuovo progetto rispetto a quella stessa checklist, ignorando i vecchi risultati dei test che non corrispondono più al design attuale. Pufibara fa esattamente questo per gli agenti IA. Mantiene un "registro" dei requisiti ingegneristici che rimane attivo durante l'intero processo. Collega ogni risultato di simulazione direttamente alla specifica versione del modello che l'ha prodotto. Se il modello cambia, il sistema sa che i vecchi risultati non sono più validi e costringe l'agente a rivalutare la nuova versione. Fondamentalmente, il sistema richiede all'agente di prendere una decisione esplicita per sottomettere una risposta finale. L'IA non può semplicemente fermarsi perché è finito il tempo o perché il codice è stato compilato; deve dichiarare attivamente di aver raccolto prove sufficienti per dimostrare che il modello soddisfa tutte le regole ingegneristiche.

Per testare se questo approccio funzioni davvero, i ricercatori avevano bisogno di un modo equo e realistico per misurare le prestazioni. Non potevano semplicemente usare i modelli pubblici esistenti, perché un'IA potrebbe averli già visti durante il suo addestramento e aver semplicemente memorizzato le risposte. Invece, hanno creato un nuovo benchmark chiamato Modelica Agent Workflow Benchmark. Sono partiti da modelli ingegneristici reali e funzionanti e poi hanno introdotto guasti specifici, nuovi requisiti di progettazione o obiettivi di sintonizzazione per creare 232 sfide uniche. Questi compiti variavano dal correggere modelli guasti al costruire nuovi modelli da zero e regolare i parametri per soddisfare specifici obiettivi di prestazione. Il benchmark includeva un "valutatore" nascosto che agiva come un giudice indipendente. Questo giudice non vedeva il processo di pensiero interno dell'IA o i suoi passaggi intermedi; guardava solo il modello finale sottoposto dall'agente e controllava se superava un rigoroso insieme di test fisici e comportamentali. Ciò ha garantito che l'IA fosse testata sulla sua capacità di risolvere il problema, non sulla sua capacità di indovinare com'era fatto il test.

Lo studio ha confrontato il nuovo sistema Pufibara con Claude Code, un noto assistente di codifica IA commerciale, utilizzando due diversi modelli linguistici di grandi dimensioni come "cervello" dietro l'agente. I risultati sono stati chiari e coerenti. In tutti i 232 compiti, Pufibara ha completato con successo più problemi rispetto allo strumento commerciale. Utilizzando un particolare "cervello" IA, Pufibara ha risolto 202 compiti mentre l'altro strumento ne ha risolti 185. Con un diverso "cervello" IA, Pufibara ha risolto nuovamente 202 compiti rispetto ai 187 del concorrente. La differenza è stata più pronunciata nei compiti che richiedevano la costruzione di un modello da zero, dove Pufibara ha risolto significativamente più problemi rispetto all'altro sistema. Oltre a risolvere più problemi, Pufibara era anche molto più efficiente. Ha utilizzato circa il 76% - 82% in meno di token computazionali — le unità base di informazione che l'IA elabora — e ha completato i compiti in molto meno tempo, con alcune esecuzioni che hanno richiesto fino al 58% di tempo in meno rispetto al concorrente.

Forse il risultato più importante non è stato solo che Pufibara risolvesse più problemi, ma che risolvesse i problemi giusti. I ricercatori hanno scoperto che lo strumento concorrente spesso produceva modelli eseguibili e che superavano i controlli di base, ma che fallivano i requisiti fisici più profondi. In un set di compiti difficili, lo strumento commerciale ha sottoposto modelli che giravano senza errori ma che non si comportavano correttamente secondo le regole ingegneristiche in 21 casi su 38. Pufibara ha commesso questo errore solo quattro volte. Ciò suggerisce che lo strumento commerciale fosse spesso soddisfatto di un modello che semplicemente funzionava, mentre l'obbligo di Pufibara di legare le prove alla versione corrente del modello e di verificare esplicitamente tutti gli obblighi ingegneristici ha impedito di sottomettere soluzioni difettose. Lo studio dimostra che la struttura del workflow dell'IA — come ricorda, controlla e decide — è importante quanto l'intelligenza del modello linguistico stesso.

Le implicazioni di questo lavoro si estendono oltre un solo tipo di linguaggio ingegneristico. La ricerca dimostra che, affinché l'IA sia veramente utile in campi complessi e reali come la fisica e l'ingegneria, non può essere solo un generatore di codice. Deve essere un agente che comprende la differenza tra un programma che gira e un sistema che è fisicamente corretto. Mantenendo un registro persistente dei requisiti e costringendo l'IA a rivedere il proprio lavoro rispetto a tali requisiti ogni volta che apporta una modifica, il sistema assicura che l'output finale sia affidabile. I ricercatori osservano che, sebbene i loro risultati siano solidi, sono specifici per i compiti e le condizioni testate. Non pretendono di aver risolto per sempre il problema dell'IA nell'ingegneria, ma hanno fornito un chiaro schema su come costruire sistemi IA che siano meno inclini a commettere errori pericolosi. Mentre il campo avanza, l'attenzione si sposterà probabilmente sul testare questi metodi su problemi industriali ancora più complessi ed esplorare come funzionano con diversi tipi di modelli IA, assicurando che gli strumenti del futuro siano affidabili quanto i sistemi che sono progettati per costruire.