BengaliMCQ: Automatic Generation and Answer Prediction of Academic Multiple-Choice Questions in a Low-Resource Language

Nel mondo dell'intelligenza artificiale, i grandi modelli linguistici sono diventati strumenti potenti per leggere, scrivere e ragionare. Questi sistemi possono elaborare enormi quantità di testo, ma affrontano un limite pratico: non possono leggere un'intera biblioteca in una volta sola. Quando viene chiesto di generare un tipo specifico di domanda basata su un lungo capitolo di un libro di testo, il modello spesso si perde nell'enorme volume di parole, perdendo i dettagli più importanti. Per risolvere questo problema, i ricercatori utilizzano una tecnica chiamata generazione aumentata dal recupero (retrieval-augmented generation). Questo approccio agisce come un bibliotecario che trova prima le pagine esatte di cui lo studente ha bisogno prima di consegnare il libro all'insegnante. Tuttavia, i metodi standard per trovare queste pagine spesso trattano un libro di testo come una lista piatta di frasi, ignorando il modo in cui capitoli, titoli e paragrafi sono organizzati. Ciò è particolarmente difficile quando si lavora con lingue come il bengalese, dove esistono meno risorse digitali per addestrare questi sistemi, portando a risultati che sono spesso imprecisi o irrilevanti.

Un team di ricercatori della BRAC University in Bangladesh ha deciso di risolvere questo problema insegnando ai computer a comprendere la struttura di un libro, non solo le sue parole. Hanno sviluppato un sistema chiamato BengaliMCQ, progettato per creare automaticamente domande a scelta multipla per gli studenti e per rispondere a tali domande con alta precisione, il tutto utilizzando la lingua bengalese. Invece di dare in pasto l'intero libro di testo all'intelligenza artificiale, il loro sistema costruisce prima una mappa del libro. Tratta il libro di testo come una gerarchia, collegando i capitoli ai titoli, i titoli ai paragrafi e i paragrafi alle singole frasi. Questa mappa permette al computer di vedere come le idee fluiscono da una sezione all'altra, proprio come un albero genealogico mostra le relazioni tra i parenti.

Per rendere utile questa mappa, i ricercatori hanno addestrato un programma informatico specializzato per navigarla. Hanno creato un dataset di migliaia di domande campione e dei passaggi specifici nei libri che le rispondevano. Utilizzando questo addestramento, il sistema ha imparato a identificare quali parti di un libro fossero più rilevanti per un determinato argomento. Quando un utente chiede al sistema di generare una domanda su un argomento come la "fotosintesi" o la "letteratura bengalese", il sistema non scansiona l'intero libro. Invece, utilizza la sua mappa per recuperare solo i cinque passaggi più importanti. Questi estratti brevi e mirati vengono poi inviati a un grande modello linguistico, che li usa per scrivere una domanda di alta qualità o per trovare la risposta corretta. Questo processo riduce drasticamente la quantità di informazioni che il computer deve elaborare, rendendo il compito più veloce e preciso.

I risultati di questo approccio sono stati sorprendenti. Nei test che confrontavano il loro metodo con le tecniche standard, il nuovo sistema si è dimostrato molto più bravo a trovare le informazioni corrette. Mentre altri metodi spesso faticavano a individuare il passaggio corretto, il sistema dei ricercatori identificava costantemente il testo più rilevante. Quando hanno testato la capacità del sistema di generare domande, l'output non era solo più accurato, ma anche più diversificato e pedagogicamente valido. Forse la cosa più impressionante è che il sistema ha raggiunto un'accuratezza nella predizione delle risposte del 91,41 percento. Ciò significa che, quando riceveva una domanda da un esame passato, il sistema riusciva a identificare correttamente la risposta più di nove volte su dieci. Al contrario, altri metodi che cercavano di leggere l'intero libro in una volta o che utilizzavano metodi di ricerca meno strutturati ottenevano prestazioni significativamente peggiori, perdendosi spesso nel rumore di testi irrilevanti.

I ricercatori hanno anche scoperto che la struttura del libro era il fattore più critico per il loro successo. Quando hanno rimosso le connessioni che rappresentavano la gerarchia del testo — come il collegamento tra un capitolo e i suoi sottotitoli — le prestazioni del sistema sono crollate. Ciò ha dimostrato che comprendere l'organizzazione del materiale era molto più importante del semplice accesso alle parole stesse. Hanno anche scoperto che il sistema funzionava meglio quando veniva addestrato a cercare un numero specifico di frasi correlate e a ignorare le connessioni troppo deboli. Affinando queste impostazioni, si sono assicurati che il sistema si concentrasse solo sulle relazioni più forti tra le idee.

Per garantire che la qualità del loro lavoro andasse oltre i punteggi informatici, il team ha incaricato esperti umani di revisionare le domande generate. Due specialisti in letteratura e scienze hanno valutato un campione casuale di domande create dal sistema. Gli esperti hanno giudicato la stragrande maggioranza delle domande come rilevanti e utili, con le domande di biologia che ricevevano i punteggi più alti. Questa validazione umana ha confermato che il sistema non stava solo imitando schemi, ma stava effettivamente producendo contenuti che soddisfacevano gli standard di una vera classe. Lo studio ha anche evidenziato un significativo guadagno di efficienza: utilizzando questo approccio strutturato, il sistema ha ridotto la quantità di testo da elaborare da oltre 43.000 parole a sole 1.651 parole, senza perdere alcun contesto necessario.

Nonostante questi successi, i ricercatori riconoscono che il loro lavoro non è privo di limitazioni. I dati di addestramento utilizzati per insegnare al sistema sono stati creati da altri modelli di intelligenza artificiale, il che significa che esiste una piccola possibilità che errori o "allucinazioni" siano stati incorporati nelle fondamenta. Inoltre, la valutazione umana è stata limitata a un piccolo gruppo di esperti e a un set specifico di argomenti. Il team suggerisce che il lavoro futuro dovrebbe coinvolgere dataset più ampi curati interamente da esseri umani per migliorare ulteriormente l'affidabilità. Tuttavia, questo studio dimostra una chiara strada da seguire per la tecnologia educativa nelle lingue a basse risorse. Rispettando la struttura naturale dei libri di testo e usandola per guidare l'intelligenza artificiale, è possibile creare strumenti che siano sia altamente accurati che profondamente rilevanti per il processo di apprendimento, colmando il divario tra la tecnologia complessa e le necessità quotidiane di studenti e insegnanti.