Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring

Nel mondo dell'istruzione, correggere una pila di saggi è un compito pesante e dispendioso in termini di tempo. Per decenni, i computer hanno cercato di aiutare in questo, ma spesso faticano a eguagliare la sfumatura di un insegnante umano. Recentemente, una nuova generazione di potenti programmi informatici, noti come modelli linguistici di grandi dimensioni, ha mostrato una capacità straordinaria di leggere e comprendere la scrittura umana. Questi sistemi possono essere istruiti per agire come esaminatori, assegnando punteggi al lavoro degli studenti sulla base di regole specifiche. Tuttavia, rimane un problema significativo: questi programmi sono costosi da gestire. Più dettagliate sono le istruzioni date al computer, maggiore è il costo per ottenere una risposta. Inoltre, il modo migliore per porre una domanda al computer non è sempre ovvio; cambia a seconda del saggio specifico o della versione del software utilizzato. Gli educatori e le organizzazioni di test si trovano di fronte a una scelta difficile: pagare un prezzo elevato per sottoporre ogni saggio a ogni possibile set di istruzioni per trovare il migliore, o rischiare l'uso di un metodo più economico e meno accurato che potrebbe mancare il bersaglio.

Un team di ricercatori della Carleton University ha proposto un nuovo modo per risolvere questo dilemma. Invece di cercare di indovinare il set perfetto di istruzioni in anticipo, hanno costruito un sistema che impara il miglior approccio mentre lavora. Hanno trattato i diversi modi di chiedere al computer di correggere un saggio come un insieme di slot machine, ognuna con una diversa probabilità di pagare un buon risultato. Mentre il sistema correggeva i saggi, teneva traccia di quale metodo producesse punteggi che si avvicinassero di più a quelli degli insegnanti umani e quali fossero i più efficienti. Con il tempo, il sistema ha smesso naturalmente di sprecare sforzi nei metodi scadenti e si è concentrato quasi interamente su quelli che funzionavano meglio. Questo approccio ha permesso loro di trovare la strategia di valutazione più efficace utilizzando molte meno risorse informatiche rispetto ai metodi tradizionali.

I ricercatori hanno testato questa idea utilizzando una collezione di 787 saggi reali dell'esame di scrittura IELTS, un importante test internazionale di competenza linguistica inglese. Hanno impostato quattro modi distinti per far correggere i documenti al computer. Due metodi chiedevano al computer di dare un punteggio unico e complessivo immediatamente, mentre gli altri due chiedevano di scomporre il saggio in quattro categorie specifiche — come quanto bene lo scrittore avesse risposto alla traccia o quanto fossero organizzate le idee — prima di calcolare un punteggio finale. Per metà di questi metodi, al computer veniva anche mostrato degli esempi di saggi buoni e cattivi per aiutarlo a capire cosa cercare; per l'altra metà, doveva fare affidamento sulla propria conoscenza. Il sistema ha poi iniziato a correggere i saggi, utilizzando un algoritmo di apprendimento per decidere quale dei quattro metodi utilizzare per ogni nuovo documento.

I risultati sono stati chiari e immediati. Il sistema ha imparato rapidamente che la strategia più efficace era quella che scomponeva il saggio in categorie specifiche e forniva esempi di ciò che costituiva un saggio buono o cattivo. Questo metodo produceva costantemente punteggi che si allineavano più strettamente con quelli degli esaminatori umani. Al contrario, i metodi che saltavano gli esempi o cercavano di dare un punteggio singolo senza scomporre il testo, performavano significativamente peggio. L'algoritza di apprendimento è stato così efficace che, dopo un breve periodo di test, ha smesso quasi del tutto di scegliere i metodi più deboli, dedicando oltre il 70 percento dei suoi sforzi all'approccio con le prestazioni migliori.

Forse la scoperta più sorprendente è arrivata quando i ricercatori hanno esaminato il costo di queste istruzioni. La saggezza convenzionale suggerisce che fornire a un computer regole e spiegazioni più dettagliate su come valutare debba portare a risultati migliori. Tuttavia, lo studio ha trovato l'opposto. Quando i ricercatori hanno rimosso le descrizioni lunghe e dettagliate delle regole di valutazione dalle istruzioni, il computer è andato effettivamente meglio. Le istruzioni più semplici, che si affidavano alla comprensione della scrittura già presente nel computer piuttosto che a un manuale di regole, hanno portato a punteggi più accurati e hanno utilizzato meno risorse informatiche. Ciò suggerisce che questi potenti programmi informatici hanno già appreso le sfumature della scrittura accademica durante il loro addestramento e non hanno bisogno che ogni singolo dettaglio venga spiegato di nuovo.

I guadagni di efficienza derivanti da questo approccio adattivo sono stati sostanziali. Lasciando che il sistema scegliesse il metodo migliore "al volo", i ricercatori hanno ridotto il numero di volte in cui dovevano chiamare il computer per assistenza di quasi il 79 percento rispetto a un metodo tradizionale che provava ogni possibile opzione su ogni saggio. Questa massiccia riduzione delle chiamate al computer si è tradotta direttamente in un calo del 73 percento del numero totale di parole elaborate dal computer e in una riduzione del 70 percento del costo stimato dell'esperimento. Il sistema ha raggiunto lo stesso livello di accuratezza del metodo esaustivo e costoso, ma lo ha fatto con una frazione dello sforzo.

Questo lavoro rappresenta un cambiamento nel modo in cui può essere gestita la valutazione automatizzata. Invece di trattare la scelta delle istruzioni come un'impostazione fissa che deve essere decisa prima che il lavoro inizi, i ricercatori hanno dimostrato che può essere un processo dinamico che migliora man mano che procede. Sebbene lo studio sia stato limitato a un set specifico di saggi e a un tipo di programma informatico, i risultati offrono una strada promettente per la tecnologia educativa. Bilanciando la necessità di accuratezza con la realtà dei costi operativi, questo metodo fornisce un modo per rendere la valutazione automatizzata di alta qualità accessibile e sostenibile per i programmi di test su larga scala. Lo studio suggerisce che il futuro della valutazione automatizzata non risiede nel costruire istruzioni più complesse, ma nel costruire sistemi più intelligenti che sappiano imparare quali istruzioni funzionano meglio nel momento specifico.