Gates Instead of Prompts: Development and Methods of a Large-Language-Model Expert System for Root- Cause Analysis in a Steel Foundry

Nell'industria pesante della colata d'acciaio, dove il metallo fuso viene versato in stampi di sabbia per creare componenti massicci, la differenza tra un pezzo perfetto e uno difettoso spesso risiede in una fisica invisibile. Quando una colata fallisce, gli ingegneri devono eseguire un'analisi della causa radice, un'indagine rigorosa che mette insieme indizi provenienti dai registri delle macchine, test di laboratorio e complesse simulazioni al computer di come il metallo si raffredda e si solidifica. Per decenni, questo lavoro si è basato su esperti umani in grado di leggere migliaia di pagine di manuali e interpretare sottili schemi nei dati. Recentemente, un nuovo strumento è entrato nella conversazione: i modelli linguistici di grandi dimensioni (LLM). Questi sono potenti programmi informatici capaci di leggere enormi quantità di testo e rispondere a domande con una straordinaria fluidità. Tuttavia, portano con sé un difetto significativo: parlano con assoluta fiducia anche quando sbagliano. In un ambiente ad alto rischio come una fonderia d'acciaio, una risposta sicura ma errata potrebbe portare a errori pericolosi o a costosi errori di produzione. La sfida, quindi, non è solo usare questi computer intelligenti, ma costruire un sistema che li costringa a essere onesti, radicati e verificabili.

Questo articolo descrive la creazione di tale sistema, sviluppato da un ricercatore indipendente per una fonderia d'acciaio nella Repubblica Ceca. Il progetto, denominato Digital Foundry PRO, non è stato progettato per sostituire gli ingegneri umani, ma per agire come un assistente forense che lavora offline su dati storici. La scoperta centrale del lavoro è che non si può semplicemente dire a un modello linguistico di grandi dimensioni di "fare attenzione" o "controllare i fatti". Invece, i ricercatori hanno dovuto costruire una rigida struttura di cancelli digitali che impediscono fisicamente al computer di fare affermazioni non supportate. Il sistema è stato testato su dati reali di una fonderia che produce colate d'acciaio utilizzando stampi in sabbia verde. In sei mesi, il sistema si è evoluto da un semplice prototipo a uno strumento sofisticato capace di analizzare i difetti di colata e i guasti alle apparecchiature. Il risultato più importante è stato che la capacità del sistema di trovare la vera causa di un problema non è derivata dal dare al computer più strumenti o più dati, ma dal cambiare le istruzioni specifiche che gli venivano date. Obbligando il computer a guardare l'esatto momento e il luogo in cui si forma un difetto, invece di scansionare l'intera simulazione alla ricerca di qualsiasi cosa insolita, l'accuratezza del sistema è migliorata drasticamente.

Il processo di sviluppo è iniziato con una cruda consapevolezza riguardo ai limiti dell'attuale tecnologia. In un primo test, un chatbot standard è stato interrogato sul motivo per cui un'unità di colata stava interrompendo il suo ciclo. La macchina ha esaminato i dati sulla temperatura, ha assunto che il metallo fosse alluminio e ha dichiarato che le temperature registrate di oltre 1.300 gradi Celsius erano fisicamente impossibili. Ha poi raccomandato di sostituire il sensore e di abbassare le impostazioni dell'allarme. Il consiglio era sicuro e suonava ragionevole, ma era completamente sbagliato perché la fonderia stava colando acciaio, non alluminio. Questo errore ha evidenziato il pericolo di un sistema che suona autorevole ma manca di un meccanismo per verificare i propri fatti. Per risolvere il problema, il ricercatore ha costruito una serie di "cancelli" nel software. Questi non sono suggerimenti da seguire per il computer; sono regole codificate che interrompono il processo se certe condizioni non vengono soddisfatte. Ad esempio, il sistema non avvierà un'analisi a meno che il tipo specifico di metallo non sia confermato da un documento presente nella sua libreria. Se il computer prova a citare una pagina di un manuale, il software controlla il testo effettivo di quella pagina per assicurarsi che la citazione sia presente parola per parola. Se il computer prova a fare riferimento all'immagine di una simulazione, il software verifica che il file dell'immagine esista effettivamente e corrisponda alla descrizione. Questi cancelli agiscono come una rete di sicurezza, garantendo che il computer non possa inventare fatti o allucinare prove.

Il sistema ha anche introdotto un nuovo modo di leggere le simulazioni al computer del processo di raffreddamento. Di solito, un computer potrebbe scansionare l'intero video della simulazione alla ricerca di qualsiasi segno di problemi, come un punto caldo o un flusso veloce di metallo. Questo approccio porta spesso a falsi allarmi, poiché temperature elevate o flussi rapidi sono talvolta parti normali del processo. Il nuovo sistema ha cambiato le regole: guarda i dati della simulazione solo nell'esatta posizione, nell'esatto momento e sopra l'esatta soglia in cui è noto che si forma un determinato difetto. Ad esempio, se un difetto è un tipo di ritiro che avviene vicino al nucleo della colata, il sistema ignora il resto dello stampo e si concentra solo su quell'area specifica durante il tempo specifico in cui il metallo si sta solidificando. Questo metodo impedisce al computer di distrarsi con dati irrilevanti. Inoltre, il sistema tratta i manuali dei macchinari con estrema cautela. Un manuale per un pezzo di equipaggiamento spesso descrive ogni possibile caratteristica che la macchina potrebbe avere, non solo le caratteristiche che la macchina specifica in fabbrica possiede realmente. Il sistema è stato programmato per assegnare un "livello di fiducia" a ogni affermazione sull'attrezzatura. Solo le affermazioni verificate rispetto ai dati operativi della macchina reale potevano essere utilizzate nelle procedure ufficiali. Le affermazioni basate esclusivamente sul manuale venivano contrassegnate come non verificate, impedendo al sistema di raccomandare azioni che la macchina specifica non poteva eseguire.

La svolta più significativa è avvenuta quando i ricercatori hanno testato come far pensare più a fondo il sistema. Inizialmente, il computer poteva leggere i dati e produrre un rapporto, ma i rapporti erano superficiali e spesso mancavano il problema reale. I ricercatori hanno provato ad aggiungere più strumenti e più dati, ma i risultati non sono migliorati. Hanno poi cambiato il compito stesso. Hanno dato al computer cinque istruzioni specifiche, o "mandati", che lo costringevano a guardare il problema in modo diverso. Queste istruzioni dicevano al computer di esaminare l'area intorno ai nuclei della colata, di separare il punto caldo centrale dalle zone circostanti e di cercare attivamente di smentire le spiegazioni semplici. Con queste nuove istruzioni, e senza aggiungere nuovi strumenti, le prestazioni del sistema si sono trasformate. In una serie di test su una specifica colata d'acciaio, la capacità di recupero delle informazioni (retrieval) è aumentata di circa cinque volte. Inoltre, il numero di volte in cui il sistema identificava correttamente la posizione reale del difetto è passato da zero a tra tre e sedici menzioni nello stesso rapporto. Il computer ha iniziato a trovare il vero problema, che era un tipo sottile di porosità in un anello attorno ai nuclei, piuttosto che la risposta ovvia da manuale di un grande foro di ritiro. Ciò ha dimostrato che la profondità dell'analisi dipendeva dalla qualità della domanda posta, non dalla quantità di dati forniti. È importante notare, tuttavia, che l'analisi di riferimento utilizzata per testare il sistema non era un rapporto indipendente redatto da un esperto umano, ma un'analisi scritta da un LLM sotto la guida dell'autore.

Durante tutto il progetto, i ricercatori hanno anche documentato ciò che non ha funzionato, il che è stato altrettanto importante quanto i successi. Hanno costruito un "gemello digitale", un modello virtuale dell'intera linea di produzione destinato a prevedere i guasti in tempo reale. Tuttavia, hanno scoperto che i dati che alimentavano questo modello erano difettosi. Il sistema stava usando limiti e valori che erano stati ipotizzati o presi da una macchina diversa, portandolo a segnalare quasi ogni misurazione come un errore. I ricercatori si sono resi conto che il sistema non stava trovando guasti nella fabbrica, ma stava trovando guasti nella propria comprensione della fabbrica. Hanno deliberatamente smantellato questo gemello digitale, rimuovendo l'interfaccia e il modello della macchina, perché non era pronto per il mondo reale. Hanno anche scoperto che un legame statistico tra temperature più elevate e più difetti di gas era in realtà un'illusione causata da una lettura errata di un sensore. Quando hanno controllato la fonte dei dati, hanno visto che le letture della temperatura non erano affidabili, quindi hanno ritirato il risultato. Questa volontà di demolire il proprio lavoro e ammettere quando un risultato era un errore è diventata parte centrale dell'affidabilità del sistema.

Il risultato finale è un sistema che opera su un principio semplice ma potente: il computer propone, e l'umano firma. Il sistema è progettato per lavorare offline, analizzando i dati storici che sono già stati esportati dalla fabbrica. Non si collega ai sistemi di controllo in tempo reale delle macchine e non prende decisioni da solo. Invece, agisce come un assistente altamente disciplinato che raccoglie prove, controlla i propri fatti rispetto a regole rigorose e presenta un rapporto a un ingegnere umano. L'umano esamina quindi i risultati, verifica le prove e si assume la responsabilità della decisione finale. I ricercatori hanno scoperto che il sistema poteva identificare guasti cronici, come un asse disallineato su un'unità di colata che aveva causato interruzioni per mesi, e poteva distinguere tra difetti reali ed errori di dati. Tuttavia, hanno anche notato che il sistema non è perfetto. Fatica ancora a quantificare l'esatta gravità di alcuni difetti e dipende fortemente dalla qualità dei dati che riceve. Se i dati sono mancanti o errati, il sistema non può correggerli.

L'articolo si conclude con una raccomandazione chiara per il futuro di questa tecnologia nell'industria. I ricercatori suggeriscono che il livello più alto di autonomia che un sistema come questo dovrebbe mai raggiungere è un livello "preparatorio". A questo livello, il sistema può preparare un valore o una raccomandazione, controllarla rispetto ai limiti di sicurezza e attendere che un essere umano la confermi prima che venga intrapresa qualsiasi azione. Raccomandano esplicitamente di non consentire al sistema di scrivere direttamente nei sistemi di controllo della fabbrica, anche se è completamente validato. La responsabilità del prodotto finale appartiene all'ingegnere umano, e tale responsabilità non deve mai essere consegnata a un software. Il progetto dimostra che, sebbene i modelli linguistici di grandi dimensioni siano strumenti potenti per leggere ed elaborare informazioni, devono essere avvolti in uno strato di regole deterministiche ed imposte dal codice per essere utili in contesti industriali critici. Il successo del sistema non è derivato dal rendere il computer più intelligente, ma dal rendere più rigide le regole che lo circondano. Obbligando il computer a provare le proprie affermazioni, a guardare nel posto giusto al momento giusto e ad ammettere quando non conosce la risposta, i ricercatori hanno creato uno strumento che può realmente assistere gli esperti nella risoluzione dei problemi complessi della colata d'acciaio. Il lavoro rappresenta una guida pratica su come costruire sistemi di IA affidabili nel mondo reale, dove il costo di un errore non è solo una risposta errata, ma una macchina rotta o un prodotto fallato.