From Hallucination to Reliability: Generative Modeling and the Structure of Scientific Inference

La scienza si è a lungo affidata a un'idea semplice e rassicurante: se costruisci un modello del mondo, puoi fidarti del fatto che ti dirà la verità, a patto di nutrirlo con i dati corretti. Ma una nuova generazione di intelligenza artificiale sta cambiando le regole. Questi non sono i computer del vecchio stile che si limitano a classificare le informazioni in categorie ordinate; sono modelli generativi, sistemi progettati per creare da zero dati completamente nuovi e complessi. Possono prevedere come una proteina si ripiega in una forma tridimensionale o prevedere il meteo in tutto il globo. Il problema è che queste macchine creative hanno un lato oscuro. Sono soggette alle "allucinazioni", un termine preso in prestito dalla psicologia umana per descrivere quando l'IA inventa dettagli dall'aspetto plausibile che semplicemente non esistono. In una scansione medica, questo potrebbe apparire come una frattura in un osso sano; in un modello proteico, potrebbe essere una struttura solida dove la natura ha lasciato un caos disordinato. Per decenni, gli scienziati hanno temuto che questi errori fossero difetti fatali, rendendo la tecnologia troppo pericolosa per la ricerca seria. Se la macchina inventa le cose, come possiamo mai sapere cosa è reale?

Un nuovo articolo di Charles Rathkopf, un ricercatore del Centro di Ricerca di Jülich, sostiene che abbiamo guardato il problema dal punto di vista sbagliato. Il timore che le allucinazioni rendano l'IA generativa inaffidabile si basa su un malinteso di come funziona realmente la scienza. Rathkopf suggerisce che dovremmo smettere di giudicare il modello di IA in isolamento e iniziare a giudicare l'intero processo scientifico, o "workflow", in cui il modello è inserito. L'articolo propone che anche se l'IA continua a inventare dettagli falsi, gli scienziati possono costruire una rete di sicurezza intorno ad essa. Utilizzando la propria profonda conoscenza preesistente del mondo naturale, i ricercatori possono filtrare le bugie e conservare le verità. Il risultato è che la conclusione scientifica finale può essere affidabile, anche se lo strumento utilizzato per raggiungerla è imperfetto.

Per capire perché questo sia importante, bisogna prima comprendere cosa stiano facendo questi modelli di IA. A differenza del software tradizionale che segue regole rigide e predefinite, l'IA generativa impara studiando enormi quantità di dati esistenti e poi indovinando cosa verrà dopo. È come uno studente che ha letto ogni libro in una biblioteca e a cui viene ora chiesto di scrivere una nuova storia. Lo studente potrebbe scrivere qualcosa di bello e nuovo, ma potrebbe anche inventare un personaggio che non è mai esistito o un elemento della trama che contraddice le leggi della fisica. Nel mondo della scienza, questa "invenzione" è l'allucinazione. L'articolo sottolinea che questi errori non sono solo errori casuali; sono inevitabili. Poiché l'IA sta cercando di creare strutture complesse e ad alta dimensionalità — come l'intricato ripiegamento di una proteina o i modelli vorticosi di una tempesta — deve colmare le lacune dove i dati sono scarsi. Facendo ciò, a volte crea una struttura che appare perfetta in superficie ma è fondamentalmente errata sotto la superficie. L'autore sostiene che non possiamo semplicemente addestrare l'IA con più forza o costruire una versione migliore del modello per fermare questo fenomeno. Il meccanismo stesso che permette all'IA di essere creativa e utile è lo stesso meccanzione che la costringe ad allucinare.

L'articolo sfida un'assunzione comune nel campo: che un'allucinazione sia semplicemente un dato che appare diverso da quello su cui l'IA è stata addestrata. Se fosse così, gli scienziati potrebbero semplicemente scartare qualsiasi output che non corrisponda ai loro dati di addestramento. Ma Rathkopf sostiene che questa sia una trappola. Nella scienza, l'obiettivo non è ripetere ciò che già sappiamo; è scoprire ciò che non sappiamo. Se uno scienziato scarta un nuovo risultato insolito solo perché appare diverso dal passato, potrebbe accidentalmente scartare una scoperta genuina. L'articolo definisce quindi l'allucinazione in modo più preciso: è un output che rappresenta erroneamente l'oggetto del mondo reale che dovrebbe descrivere, e lo fa per errore, non per design. È un errore che la macchina commette autonomamente, non un trucco che le è stato insegnato.

L'autore si rivolge poi a due esempi reali per mostrare come gli scienziati stiano già risolvendo questo problema senza dover riparare l'IA stessa. Il primo caso è AlphaFold, un famoso sistema di IA sviluppato da Google DeepMind che predice le forme 3D delle proteine. Le proteine sono i motori della vita e le loro forme determinano la loro funzione. AlphaFold 3, l'ultima versione, utilizza un approccio generativo che le consente di inventare nuove strutture. Gli sviluppatori sapevano che questo avrebbe portato a allucinazioni. Infatti, il sistema a volte inventa una forma solida e compatta per una parte di una proteina che in realtà dovrebbe essere flessibile e disordinata. Se uno scienziato prendesse quell'output per buono, verrebbe tratto in inganno. Tuttavia, il team ha costruito un "workflow" attorno all'IA per intercettare questi errori. Hanno aggiunto un secondo livello di analisi che agisce come un ispettore del controllo qualità. Questo sistema osserva l'output dell'IA e lo confronta con le regole note della chimica e della fisica. Ad esempio, sa che le parti disordinate di una proteina dovrebbero essere esposte all'acqua circostante, mentre le parti solide dovrebbero essere protette all'interno. Se l'IA inventa una forma solida per una parte disordinata, il workflow la segnala come sospetta. Il sistema assegna anche un punteggio di confidenza a ogni parte della forma predetta, dicendo allo scienziato esattamente quali parti sono affidabili e quali sono probabilmente allucinazioni. L'IA continua a sbagliare, ma il workflow assicura che quegli errori non raggiungano mai la conclusione finale.

Il secondo esempio proviene dalla meteorologia, nello specifico da un sistema chiamato SEEDS utilizzato per le previsioni meteorologiche. Il tempo è caotico; piccole variazioni nelle condizioni iniziali possono portare a risultati wildly differenti. Per gestire questo, i meteorologi utilizzano gli "ensemble", il che significa eseguire lo stesso modello molte volte per ottenere una gamma di futuri possibili. SEEDS utilizza un'IA generativa per creare rapidamente questi molti futuri possibili. L'articolo nota che le singole previsioni di questa IA potrebbero essere fisicamente impossibili, come una mappa meteorologica in cui la pressione dell'aria e la temperatura contraddicono le leggi della fisica. Queste sono allucinazioni. Eppure, il sistema rimane affidabile. Come? Perché gli scienziati non guardano una singola previsione in isolamento. Guardano l'intero gruppo di 512 previsioni insieme. Se una previsione è un'allucinazione, è solo una voce in una grande folla. Finché le allucinazioni sono rare e non tutte uguali, esse vengono annullate quando gli scienziati calcolano la probabilità finale di pioggia o calore. Il workflow qui è l'ensemble stesso. Trattando l'output come una collezione di possibilità piuttosto che come una singola verità, il sistema filtra il rumore. I ricercatori utilizzano anche strumenti statistici per verificare se il gruppo di previsioni, nel suo insieme, corrisponde alla realtà, garantendo che i numeri di probabilità finali siano affidabili.

La scoperta fondamentale dell'articolo è che l'affidabilità non richiede che l'IA sia perfetta. Richiede che il processo umano attorno all'IA sia intelligente. Rathkopf sostiene che dovremmo smettere di cercare di costruire un'IA "priva di allucinazioni", un obiettivo che potrebbe essere impossibile, e iniziare a costruire workflow "resistenti alle allucinazioni". Questo sposta l'attenzione dalla macchina al metodo. La macchina può essere una scatola nera, un misterioso generatore di idee, purché gli scienziati che la circondano abbiano la conoscenza per testare quelle idee. L'articolo suggerisce che è così che la scienza è sempre stata: usiamo strumenti che sono imperfetti, ma li circondiamo di controlli e contrappesi. L'IA fornisce la materia prima, e lo scienziato fornisce il giudizio.

Questo approccio cambia anche il modo in cui pensiamo al ruolo dell'IA nella scienza. Alcuni critici sostengono che l'IA sia brava solo a trovare nuove idee (scoperta) ma non a provarne la verità (giustificazione). Dicono che dovremmo fidarci dell'IA solo se possiamo testare le sue previsioni in un laboratorio. Rathkopf concorda sul fatto che il test sia cruciale, ma aggiunge che il workflow stesso è parte della prova. L'atto di filtrare, classificare e qualificare l'output dell'IA è una forma di giustificazione. Non si tratta solo di aspettare di vedere se l'IA ha ragione; si tratta di costruire un sistema che assicuri che l'IA abbia ragione prima ancora di eseguire l'esperimento. L'articolo suggerisce che finché avremo una conoscenza di base sufficiente del sistema che stiamo studiando — che sia una proteina o un fronte temporalesco — possiamo costruire queste reti di sicurezza.

L'articolo si conclude con una nota sobria ma speranzosa. La capacità di costruire questi workflow affidabili dipende dall'avere una profonda comprensione del sistema bersaglio. Se gli scienziati stanno cercando di modellare qualcosa che conoscono pochissimo, non possono costruire i filtri necessari per intercettare le bugie dell'IA. In quelle aree di frontiera, il rischio rimane alto. Ma in molti campi in cui abbiamo già una solida comprensione delle regole — come il ripiegamento delle proteine o la dinamica meteorologica — l'IA generativa può essere un potente partner. La macchina continuerà ad allucinare, proprio come un artista umano potrebbe commettere un errore mentre dipinge. Ma finché lo scienziato sa come appare un vero dipinto, può individuare l'errore e conservare il capolavoro. L'articolo non sostiene che il problema dell'IA sia risolto o che le allucinazioni scompariranno. Sostiene qualcosa di più pratico: che possiamo imparare a conviverci, a gestirle e a usare comunque questi potenti strumenti per espandere i confini della conoscenza umana. L'affidabilità della scienza, sostiene l'autore, non è mai stata la perfezione dei nostri strumenti, ma la saggezza di come li usiamo.