Nel mondo dell'intelligenza artificiale, i grandi modelli linguistici sono diventati straordinariamente fluidi nello scrivere testi. Possono rispondere a domande, riassumere storie e sostenere conversazioni prevedendo la parola successiva in una frase sulla base di schemi appresi da enormi quantità di dati. Tuttavia, questi modelli hanno una debolezza fondamentale: non sanno distinguere tra un fatto vero e una frase che suona semplicemente plausibile. Per risolvere questo problema, gli ingegneri hanno sviluppato un metodo chiamato generazione aumentata dal recupero (retrieval-augmented generation). Questo approccio fornisce al modello un insieme di documenti da leggere prima di rispondere, costringendolo a fondare la sua risposta su prove reali piuttosto che sulla sua sola memoria. Eppure, con questo metodo sorge un nuovo problema. Quando il sistema cerca prove, spesso trova un paragrafo di testo in cui la risposta è sepolta all'interno di una frase. Il modello deve quindi agire come un detective, estraendo il fatto specifico dalla prosa. In questo modo, può facilmente fraintendere il contesto o ricostruire il valore in modo errato, portando a risposte che sono fluide ma sottilmente sbagliate.

Per risolvere questo problema, i ricercatori dell'Università di Salerno, in Italia, hanno costruito un nuovo sistema chiamato ORACOLO. Volevano sapere se potevano rendere la ricerca dei fatti più precisa utilizzando una mappa formale della conoscenza, nota come ontologia, invece di cercare semplicemente attraverso il testo semplice. Un'ontologia è un database strutturato dove i fatti sono memorizzati come connessioni chiare e isolate, come il catalogo di una biblioteca dove ogni libro è elencato con il suo autore e l'anno in un formato rigido. La sfida è che questi cataloghi sono difficili da interrogare per le persone comuni perché richiedono un linguaggio specializzato e formale. Il team ha combinato il meglio di entrambi i mondi: ha utilizzato una rete neurale, un tipo di intelligenza artificiale capace di comprendere il linguaggio umano, per tradurre la domanda di un utente in una query formale. Successivamente, ha utilizzato un motore simbolico, un programma per computer rigoroso, per eseguire quella query contro la mappa strutturata. Se la mappa restituiva una risposta chiara, il sistema la utilizzava. Se la mappa non restituiva nulla, il sistema passava al metodo tradizionale di ricerca attraverso paragrafi di testo. Questo approccio ibrido ha permesso loro di testare se la mappa strutturata potesse fornire fatti più accurati rispetto alla ricerca testuale, anche quando entrambi i metodi utilizzavano lo stesso modello linguistico per scrivere la risposta finale.

I ricercatori hanno testato questo sistema su un catalogo bibliotecario reale della Biblioteca Universitaria di Lugano, in Svizzera. Questo catalogo conteneva quasi centomila fatti su libri, inclusi titoli, autori, date di pubblicazione e riassunti del contenuto. Hanno creato un set di domande basate su questo catalogo, che spaziavano da richieste semplici come "Chi ha scritto questo libro?" a catene di informazioni più complesse. Hanno poi confrontato il loro nuovo sistema con una versione standard che utilizzava solo la ricerca testuale, assicurandosi che entrambi i sistemi utilizzassero esattamente lo stesso modello linguistico per generare la risposta finale. Questo è stato un passaggio cruciale, poiché significava che qualsiasi differenza nei risultati doveva derivare da come l'informazione veniva trovata, non dall'intelligenza dello scrittore. I risultati hanno mostrato un chiaro miglioramento nell'accuratezza. Il nuovo sistema identificava correttamente i fatti specifici nella risposta molto più spesso del sistema basato solo sul testo. Mentre il sistema basato solo sul testo riusciva a ottenere la risposta corretta circa il ventinove percent delle volte, il nuovo sistema ha migliorato questa percentuale portandola a quasi il quarantasette percent.

Lo studio ha rivelato che questo miglioramento derivava specificamente dalla capacità di recuperare fatti esatti. Quando la domanda richiedeva un singolo pezzo di informazione, come il nome di un autore o un anno di pubblicazione, il nuovo sistema era significativamente migliore. Ha ottenuto buone prestazioni anche quando la domanda richiedeva di collegare due pezzi di informazione tra loro. Tuttavia, il vantaggio è svanito quando la domanda richiedeva al sistema di ragionare sui fatti, come inferire un tema dal contenuto di un libro. In quei casi, entrambi i sistemi si sono comportati in modo simile. Ciò suggerisce che la nuova architettura non rende il computer più intelligente nel pensare; piuttosto, lo rende più bravo a trovare le materie prime esatte di cui ha bisogno per pensare. Il sistema ha anche dimostato che la mappa strutturata non rendeva le risposte più "fedeli" all'evidenza in un modo in cui la ricerca testuale non lo faceva. Entrambi i sistemi erano ugualmente bravi a attenersi alle informazioni fornite. La differenza era semplicemente che il nuovo sistema riceveva informazioni migliori e più precise fin dall'inizio.

Una scoperta chiave della ricerca è stata come il sistema gestiva i propri errori. I ricercatori hanno scoperto che la mappa formale non sempre funzionava. In circa il ventiquattro percent dei casi, la traduzione dal linguaggio umano alla query formale falliva, o la query non restituiva risultati. In questi momenti, il sistema non si arrendeva. Rilevava il fallimento e passava immediatamente al metodo di ricerca testuale per trovare una risposta. Questa rete di sicurezza significava che il sistema poteva comunque fornire una risposta anche quando la mappa rigorosa non riusciva a farlo. Tuttavia, i ricercatori hanno anche scoperto che il sistema era più accurato quando la mappa formale funzionava correttamente. Quando il sistema si affidava al fallback testuale, il miglioramento dell'accuratezza era molto minore. Ciò ha confermato che la mappa strutturata era la fonte della precisione, mentre la ricerca testuale fungeva da backup affidabile.

Lo studio ha anche svelato un problema sorprendente relativo a come misuriamo la qualità di questi sistemi. Una metrica comune utilizzata per valutare le risposte è la "rilevanza", che controlla quanto bene la risposta corrisponda all'argomento della domanda. I ricercatori hanno scoperto che un sistema che non commetteva errori fattuali ma che semplicemente tirava a indovinare in modo fluido poteva ottenere punteggi più alti in termini di rilevanza rispetto al loro sistema accurato. Ciò accadeva perché il sistema che tirava a indovinare scriveva risposte lunghe e scorrevoli che suonavano perfette, mentre il sistema accurato a volte forniva risposte brevi e dirette o declinava la risposta quando non riusciva a trovare i fatti. Questo suggerisce che i punteggi di rilevanza possono essere fuorvianti, premiando lo stile rispetto alla sostanza. I ricercatori hanno concluso che per valutare veramente questi sistemi, dobbiamo guardare se i fatti sono corretti, non solo se la risposta suona bene.

Infine, il team ha esaminato il costo di gestione di questo nuovo sistema. Il processo di traduzione di una domanda, il controllo rispetto alla mappa e la successiva scrittura della risposta richiedevano significativamente più tempo rispetto al semplice chiedere al modello linguistico di tirare a indovinare. In media, il nuovo sistema impiegava circa 292 secondi per rispondere a una singola domanda, rispetto ai circa trentacinque secondi del sistema basato solo sul testo. I ricercatori hanno osservato che questo ritardo era dovuto principalmente al tempo necessario ai modelli linguistici per elaborare l'informazione, non al tempo necessario per controllare la mappa. Hanno scoperto che un passaggio specifico nel loro processo, che cercava di scomporre le domande complesse in parti più piccole, stava in realtà rallentando il sistema senza migliorarne i risultati. Rimuovere questo passaggio ha ridotto significativamente il tempo senza compromettere l'accuratezza. Ciò suggerisce che, sebbene il sistema sia attualmente troppo lento per un uso istantaneo e interattivo, potrebbe essere pratico per situazioni in cui l'accuratezza è più importante della velocità, come la verifica di record storici o il controllo di dati istituzionali. Il lavoro dimostra che combinando la flessibilità del linguaggio umano con la precisione dei dati strutturati, possiamo costruire sistemi che siano molto più affidabili di quelli che si affidano alla sola lingua.