Chemical Chain-of-Thought Functions as a Hallucination-Prone Molecular Scratchpad
Questo studio rivela che il ragionamento chimico tramite catena di pensiero nei modelli linguistici funziona come un taccuino molecolare incline alle allucinazioni, dove le affermazioni strutturali fabbricate sono comuni ma risultano causalmente rilevanti per generare risposte corrette, rendendo necessaria una supervisione a livello di processo rispetto alla semplice valutazione della risposta.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel vasto panorama dell'intelligenza artificiale, una nuova generazione di modelli ha imparato a pensare prima di parlare. Invece di saltare direttamente a una risposta, questi sistemi sono addestrati a scrivere un processo di ragionamento passo dopo passo, molto simile a uno studente che risolve un problema di matematica su un foglio di bozza. Questo metodo, noto come ragionamento "chain-of-thought" (catena di pensiero), è diventato uno standard per aiutare i computer a risolvere enigmi complessi. Nel campo della chimica, dove le molecole sono i mattoni fondamentali della vita e della medicina, questa capacità è particolarmente promettente. Gli scienziati sperano che, se un computer può spiegare la propria logica nel progettare un nuovo farmaco o nell'identificare una struttura chimica, gli esperti umani possano controllare tale logica per individuare eventuali errori. L'assunto era che, se la risposta finale è corretta, anche il ragionamento utilizzato per arrivarci deve essere affidabile.
Tuttavia, uno studio recente mette in discussione questo rassicurante assunto. Ricercatori provenienti da istituzioni tra cui la National University of Singapore e la Hong Kong Polytechnic University hanno indagato se questi modelli di IA stiano realmente ragionando attraverso problemi chimici o se stiano semplicemente inventando le cose lungo il percorso. Si sono concentrati su un tipo specifico di errore chiamato allucinazione, in cui un modello afferma con sicurezza un fatto che non è semplicemente vero. Nel contesto della chimica, ciò potrebbe tradursi in un modello che dichiara che una molecola contenga un gruppo chimico specifico, come un acido carbossilico, quando quel gruppo è in realtà assente dalla struttura. Poiché le strutture chimiche sono precise e possono essere verificate rispetto a un database noto, questo campo offre un'opportunità rara per testare se la spiegazione di un'IA corrisponda alla realtà. I ricercatori volevano sapere: quando un modello ottiene la risposta corretta, è perché ha compreso la chimica, o ha solo indovinato la forma giusta inventando una storia falsa per giustificarla?
Per trovare la risposta, il team ha analizzato quattro diverse famiglie di modelli di ragionamento attraverso dodici diversi compiti di chimica, che vanno dalla descrizione delle molecole alla progettazione di nuove molecole. Hanno costruito un sistema per leggere il ragionamento scritto dai modelli e verificare ogni singola affermazione chimica rispetto alle strutture molecolari effettive coinvolte. Ciò che hanno scoperto è stato sorprendente. Le allucinazioni erano diffuse. In molti casi, i modelli producevano la struttura molecolare perfettamente corretta ma includevano dettagli chimici fabbricati nel loro ragionamento scritto. Ad esempio, in un compito che prevedeva la generazione di molecole da descrizioni testuali, circa il 13 percento delle risposte di un modello leader era esattamente corretto nella sua produzione finale, eppure il testo del ragionamento che lo accompagnava conteneva almeno un'affermazione chimica inventata. Lo studio ha scoperto che la presenza di queste menzogne non aveva quasi alcuna connessione con il fatto che la risposta finale fosse giusta o sbagliata. Un modello poteva essere completamente accurato nel risultato pur avendo un ragionamento pieno di falsità, o poteva essere errato nel risultato pur avendo un ragionamento pulito.
Questa discrepanza suggerisce che il ragionamento scritto non sia sempre una registrazione fedele di come il modello sia arrivato alla sua conclusione. Per capire perché accada questo, i ricercatori hanno eseguito una serie di esperimenti in cui hanno deliberatamente alterato gli output dei modelli. Hanno preso il testo del ragionamento scritto e hanno sostituito i nomi dei gruppi chimici con altri errati. Sorprendentemente, cambiare queste affermazioni verbali ha avuto pochissimo effetto sulla risposta finale prodotta dal modello. Il modello sembrava ignorare la propria spiegazione scritta al momento di generare la struttura finale. Tuttavia, quando hanno cambiato l'input originale o gli schizzi strutturali interni scritti dal modello, la risposta finale è cambiata drasticamente. Ciò ha rivelato che i modelli non si affidavano al proprio testo per risolvere il problema. Invece, utilizzavano lo spazio del ragionamento come una sorta di bozzetto molecolare.
I ricercatori hanno scoperto che i modelli scrivevano frammenti di strutture chimiche, spesso in un formato chiamato SMILES, che è un modo per rappresentare le molecole come stringhe di testo. Questi frammenti agivano come note intermedie che il modello usava per costruire la risposta finale. Mentre le frasi leggibili che descrivevano la chimica erano spesso inattendibili e soggette a fabbricazioni, queste bozze strutturali portavano il peso reale del calcolo. Diversi modelli utilizzavano questo spazio di lavoro in modi differenti. Alcuni si affidavano pesantemente a questi frammenti strutturali basati sul testo, mentre altri sembravano concentrarsi su indizi chimici più ampi, come la forma della molecola o la posizione di parti specifiche. Lo studio ha dimostrato che la spiegazione leggibile è spesso una razionalizzazione post-hoc — una storia raccontata dopo i fatti — mentre il lavoro effettivo avviene in queste bozze strutturali nascoste.
Le implicazioni di questa scoperta sono significative per il modo in cui ci fidiamo e utilizziamo l'intelligenza artificiale nella scienza. Se un modello può produrre un candidato farmaceutico corretto mentendo sui gruppi chimici utilizzati, affidarsi esclusivamente alla risposta finale è rischioso. Un chimico umano che legge la spiegazione potrebbe essere tratto in inganno dai dettagli fabbricati, assumendo che il modello abbia compreso la chimica quando non è così. I ricercatori hanno dimostrato che è possibile addestrare i modelli a essere più onesti. Creando un nuovo metodo di addestramento che premia il modello solo quando il suo ragionamento non contiene affermazioni fabbricate, hanno prodotto una versione del modello che commetteva molti meno errori nelle sue spiegazioni senza perdere la capacità di risolvere i problemi. Questo nuovo approccio, che hanno chiamato Chem-R-Faithful, ha ridotto significativamente il tasso di affermazioni fabbricate mantenendo al contempo alte prestazioni sui compiti.
In definitiva, questo lavoro rivela che il ragionamento chain-of-thought in chimica non è né una spiegazione perfetta né un sottoprodotto inutile. È uno spazio di lavoro complesso, incline alle allucinazioni, dove il modello bozza la propria soluzione. Il testo leggibile è spesso inaffidabile, ma le note strutturali nascoste all'interno di quel testo sono cruciali per ottenere la risposta corretta. Ciò significa che per fidarsi veramente di un'IA nella scienza, non possiamo guardare solo al risultato finale o alla storia scritta. Dobbiamo sviluppare nuovi modi per verificare il processo stesso, controllando le bozze strutturali e la logica dietro le quinte. Man mano che questi strumenti diventeranno più comuni nella scoperta di farmaci e nella progettazione molecolare, comprendere che la traccia del ragionamento è una bozza di lavoro piuttosto che un rapporto finale sarà essenziale per garantire la sicurezza e l'accuratezza delle sostanze chimiche del futuro.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.