When Literature Data Mislead Artificial Intelligence in Materials Discovery

Immaginate un mondo in cui gli scienziati non passano più anni in laboratorio a testare un materiale dopo l'altro. Invece, chiedono a un computer di scansionare milioni di articoli di ricerca, trovare i numeri migliori e prevedere quali nuove sostanze funzioneranno meglio per le batterie o le celle solari. Questa è la promessa dell'intelligenza artificiale nella scienza dei materiali. L'idea è che se un computer può leggere ogni esperimento mai pubblicato, può apprendere le regole nascoste del comportamento della materia e progettare i materiali perfetti per le nostre future esigenze energetiche. Ma questa visione si basa su un'ipotesi fragile: che i numeri scritti in quei vecchi articoli siano esattamente ciò che dichiarano di essere. Se uno scienziato scrive che un materiale conduce elettricità con una certa intensità, il computer assume che quel numero sia vero, chiaro e pronto all'uso.

Un team di ricercatori dell'Università di Tohoku e dell'Università di Tokyo ha scoperto che questa ipotesi è pericolosamente errata. Hanno esaminato attentamente il modo in cui gli scienziati riportano i dati per gli elettroliti solidi, ovvero i materiali speciali che permettono agli ioni di muoversi all'interno delle batterie di prossima generazione. La loro indagine rivela che i numeri estratti dalla letteratura scientifica sono spesso non solo leggermente imprecisi, ma fondamentalmente fuorvianti. Il problema non è che gli scienziati originali abbiano commesso errori, ma che il modo in cui riportano le loro scoperte è spesso ambiguo. Un numero potrebbe essere corretto nel testo ma sbagliato nel grafico, oppure le unità di misura potrebbero essere confuse in un modo che ne cambia il valore di cento volte. Quando i sistemi di intelligenza artificiale prendono questi numeri per costruire i propri modelli, imparano inconsapevolmente da una realtà distorta, trattando descrizioni vaghe come fatti concreti.

I ricercatori hanno iniziato trattando gli articoli scientifici non come storie finite, ma come fonti di dati grezzi. Si sono concentrati sulla conducibilità ionica, una misura di quanto facilmente l'elettricità fluisce attraverso un materiale solido. Questo valore è fondamentale per decidere se un materiale è abbastanza buono per una batteria. In un mondo perfetto, un ricercatore misurerebbe questo valore, lo scriverebbe e la persona successiva lo leggerebbe e lo userebbe esattamente così com'è. Nella realtà, il percorso da un quaderno di laboratorio a un database informatico è pieno di trappole nascoste. Il team ha tracciato migliaia di valori riportati dai loro articoli originali nei database curati utilizzati per addestrare l'intelligenza artificiale. Hanno scoperto che il viaggio spesso comportava il dover indovinare cosa intendesse l'autore originale, e tali supposizioni erano frequentemente errate.

Un problema comune riscontrato dal team era la discrepanza tra il testo e le figure. Uno scienziata potrebbe scrivere nel paragrafo principale che un materiale ha una specifica conducibilità a temperatura ambiente, ma quando i ricercatori hanno guardato il grafico effettivo nello stesso articolo, il punto dati per quella temperatura raccontava una storia diversa. Il numero nel testo potrebbe essere leggermente più alto o più basso rispetto a quello mostrato nel grafico. Per un lettore umano, questo potrebbe sembrare un piccolo errore di battitura o di arrotondamento. Ma per un computer, che tratta ogni numero come un fatto preciso, ciò crea un conflitto. Il computer non sa a quale numero credere. Quando questo accade in centinaia di articoli, il database si riempie di informazioni contrastanti che sembrano corrette in superficie, ma che sono in realtà inaffidabili.

Un'altra grande fonte di confusione era il modo in cui i grafici venivano etichettati. Gli articoli scientifici utilizzano spesso grafici complessi per mostrare come la conducibilità cambi con la temperatura. Questi grafici hanno solitamente assi con etichette specifiche, ma a volte tali etichette sono vaghe o del tutto assenti. Un ricercatore potrebbe tracciare un valore senza dichiarare chiaramente se rappresenti la conducibilità grezza o una trasformazione matematica di quel valore. Senza questa chiarezza, due persone diverse che leggono lo stesso grafico potrebbero estrarre due numeri completamente differenti. Il team ha dimostrato che, a seconda di come si interpreta l'asse, lo stesso punto dati potrebbe essere letto come una conducibilità molto alta o una molto bassa. Queste differenze non sono errori casuali; sono errori strutturati che seguono uno schema, rendendoli molto difficili da individuare come errati per un computer.

Gli errori più pericolosi riguardavano le unità di misura. Nella scienza, la conducibilità può essere riportata in diverse unità, come per centimetro o per metro. Una differenza di un'unità può cambiare il valore di un fattore di cento. I ricercatori hanno trovato casi in cui un articolo dichiarava chiaramente un valore in un'unità, ma il grafico o un successivo inserimento nel database lo trattava come se fosse in un'altra. Poiché i numeri apparivano ancora plausibili — erano nell'intervallo di ciò che è fisicamente possibile per questi materiali — l'errore passava inosservato. Un computer che legge i dati accetterebbe il numero errato come verità. In un caso specifico esaminato dal team, un valore è stato interpretato in modo tale da creare un errore di cento volte. Questo singolo errore, una volta inserito in un database, è stato poi copiato e riutilizzato da altri ricercatori e modelli di machine learning, diffondendo l'errore come un virus attraverso il record scientifico.

Il team ha analato una vasta collezione di articoli su elettroliti solidi sia a base di gel che inorganici. Ha scoperto che le discrepanze tra testo e figure erano comuni negli elettroliti a base di gel, apparendo in circa il dieci per cento degli articoli esaminati. Per i materiali inorganici, i problemi erano ancora più vari, con le incongruenze nelle unità di misura che erano l'aspetto più frequente. In un campione di sedici casi inorganici, i ricercatori hanno identificato venticinque episodi distinti di ambiguità nella segnalazione. Ciò significa che un singolo articolo può contenere molteplici tipi di errori. I dati hanno mostrato che questi non erano solo episodi isolati di trascuratezza, ma un problema strutturale nel modo in cui i risultati scientifici vengono comunicati. Persino gli esperti del settore faticavano a interpretare correttamente i dati senza fare supposizioni, il che suggerisce che il problema sia profondamente radicato nel sistema attuale di pubblicazione scientifica.

I ricercatori sostengono che questo non sia solo un problema per bibliotecari o gestori di database; è una crisi per il futuro dell'intelligenza artificiale nella scienza. I modelli di machine learning sono buoni quanto i dati con cui vengono nutriti. Se i dati di addestramento sono pieni di ambiguità nascoste ed errori di unità, il modello imparerà i pattern sbagliati. Potrebbe prevedere che un materiale sia eccellente quando in realtà è inutile, o potrebbe perdere un candidato rivoluzionario. Il team ha scoperto che questi errori agiscono come una forma di "rumore di etichetta strutturato". A differenza degli errori casuali che potrebbero annullarsi mediamente, questi errori sono coerenti e sistematici, il che significa che possono influenzare il processo di apprendimento del computer in una direzione specifica. Il risultato è un modello che appare sicuro di sé ma che è fondamentalmente fallace.

Per risolvere la questione, gli autori propongono un nuovo standard per il modo in cui gli scienziati riportano le loro scoperte. Suggeriscono che i ricercatori debbano essere molto più espliciti riguardo ai dettagli che attualmente vengono omessi. Ogni grafico dovrebbe dichiarare chiaramente cosa viene tracciato e in quali unità. La temperatura alla quale un valore è stato misurato deve essere esatta, non solo descritta come "temperatura ambiente". Gli autori dovrebbero chiarire se un numero è stato misurato direttamente o calcolato da una curva. Questi potrebbero sembrare dettagli piccoli e noiosi, ma i ricercatori insistono sul fatto che siano le fondamenta di una scienza affidabile. Senza di essi, i dati non possono essere riutilizzati in sicurezza da computer o altri scienziati.

Lo studio conclude che l'affidabilità dei dati scientifici è una questione di infrastruttura, altrettanto importante degli algoritmi o dei computer stessi. Mentre la scienza si muove verso un futuro in cui le macchine aiutano a scoprire nuovi materiali, il record umano della sperimentazione deve essere reso leggibile dalle macchine nel senso più autentico del termine. Ciò significa non solo avere numeri, ma avere numeri che siano inequivocabili, tracciabili e coerenti. I ricercatori sottolineano che migliorare la qualità dei dati non è un compito editoriale minore, ma un prerequisito per la prossima generazione di scoperte scientifiche. Se l'input è difettoso, l'output sarà difettoso, indipendentamente da quanto diventi intelligente l'intelligenza artificiale. La strada da seguire richiede un cambiamento culturale, in cui la chiarezza della segnalazione sia valorizzata tanto quanto la scoperta stessa, garantendo che il futuro digitale della scienza sia costruito su una base solida.