Evaluating and Mitigating Hallucinations in Retrieval-Augmented Question Answering over Uzbek School Textbooks

Nelle classi moderne, gli studenti si rivolgono sempre più all'intelligenza artificiale per spiegare concetti difficili, riassumere capitoli o prepararsi per i test. Questi assistenti digitali sono basati su modelli linguistici di grandi dimensioni, sistemi addestrati su enormi quantità di testo che possono generare risposte fluide, sicure e spesso convincenti. Tuttavia, emerge un rischio distinto quando uno studente pone una domanda di cui non conosce ancora la risposta: egli manca delle conoscenze necessarie per verificare la risposta ricevuta. Se il sistema inventa un fatto, l'errore passa inosservato e lo studente apprende qualcosa di falso. Per risolvere questo problema, i ricercatori hanno sviluppato un metodo chiamato generazione aumentata dal recupero (retrieval-augmented generation). Invece di fare affidamento esclusivamente sulla memoria interna del modello, il sistema cerca prima un documento specifico e attendibile — come un libro di testo scolastico — per trovare il passaggio pertinente prima di rispondere. Ciò mantiene la risposta ancorata alla realtà, ma non garantisce la perfezione. Il sistema potrebbe comunque fallire nel trovare il passaggio corretto, oppure potrebbe trovare il passaggio giusto e poi ignorarlo, o potrebbe interpretare male ciò che ha trovato.

Questa incertezza è particolarmente acuta in uzbeko, una lingua parlata da milioni di persone ma considerata a "basse risorse" nel mondo dell'intelligenza artificiale. A differenza dell'inglese, che domina i dati utilizzati per addestrare questi modelli, l'uzbeko dispone di meno testi digitali. Inoltre, l'uzbeko è una lingua agglutinante, il che significa che una singola radice può essere modificata con molti diversi suffissi per creare una vasta gamma di forme superficiali. Uno studente che interroga il sistema su "indipendenza" potrebbe usare una forma della parola che appare completamente diversa da quella usata nel libro di testo, causando il fallimento del sistema di ricerca che mancherebbe la risposta. Finora, non c'è stato un modo standard per testare quanto bene questi sistemi funzionino per la storia uzbeka o per misurare quanto spesso inventino fatti.

Uno studio recente condotto dal ricercatore indipendente Ruzimboy Kholmurotov affronta questa lacuna costruendo un set di test specifico chiamato UzHistQA, basato su un libro di testo ufficiale di storia per la decima classe che copre gli anni dal 1917 al 1991. Il ricercatore ha analizzato il libro di testo e ha riscontrato un ostacolo linguistico significativo: su quasi 31.000 parole nel libro, più della metà delle forme uniche delle parole appariva una sola volta. Questa estrema varietà significa che una semplice ricerca per corrispondenza esatta delle parole è probabilmente destinata a fallire. Per testare come superare questo problema, lo studio ha creato 56 domande, incluse alcune che il libro di testo semplicemente non poteva rispondere, per vedere se il sistema avrebbe ammesso la propria ignoranza o avrebbe inventato una risposta. Il ricercatore ha poi confrontato quattro diversi modi di far funzionare il sistema: uno che si affidava solo alla sua memoria interna, uno che cercava nel libro di testo usando una ricerca semantica standard, uno che combinava quella con una ricerca per parole chiave, e una versione finale che era rigorosamente istruita a citare la propria fonte e a rifiutare di rispondere se l'evidenza mancava.

I risultati sono stati netti. Quando il sistema si affidava solo alla sua memoria interna senza consultare il libro di testo, forniva affermazioni non supportate o inventate nel 91 percento delle sue risposte. Fabricava con sicurezza date, nomi ed elenchi per domande non trattate dal libro di testo. Quando il sistema era costretto a consultare il libro di testo per primo, il tasso di queste affermazioni non supportate scendeva drasticamente al 9 percento. Ciò ha confermato che ancorare le risposte al testo effettivo è essenziale per l'affidabilità. Tuttavia, lo studio ha rivelato anche una complicazione sorprendente. La versione che utilizzava il metodo di ricerca più sofisticato, che combinava la comprensione semantica con il matching delle parole chiave, trovava effettivamente i passaggi corretti più spesso della ricerca più semplice. Eppure, nonostante trovasse prove migliori, questo sistema avanzato produceva più affermazioni non supportate rispetto a quello più semplice. Sembra che quando il sistema recuperava un insieme di passaggi più ampio e diversificato, l'informazione extra confondesse il modello, portandolo a fare inferenze o calcoli errati anche quando i fatti erano lì presenti.

La configurazione più efficace per la sicurezza è stata quella che imponeva regole rigide: il sistema doveva citare la pagina specifica per ogni affermazione ed era istruito a dire "Non lo so" se il libro di testo non conteneva la risposta. Questo approccio ha eliminato tutte le risposte fabbricate per le domande a cui il libro di testo non poteva rispondere. Il compromesso è stato che il sistema si è rifiutato di rispondere al 14 percento delle domande che avrebbe potuto rispondere, talvolta anche quando la risposta era presente nel testo recuperato. Il ricercatore conclude che, per un contesto educativo, questo rifiuto è una caratteristica necessaria. Uno studente che riceve un "Non lo so" può chiedere aiuto a un insegnante, ma uno studente che riceve una risposta fabbricata con sicurezza apprende una falsità e non ha modo di sapere che è sbagliata. Lo studio stabilisce che, sebbene la generazione aumentata dal recupero renda questi sistemi validi per l'istruzione in uzbeko, essa richiede una progettazione attenta per prevenire le allucinazioni del sistema, e sottolinea che trovare l'informazione corretta e scrivere una risposta corretta sono due sfide separate che devono essere misurate indipendentemente.