Bias Taught: Linguistic and Model Stereotypes in AI-Based Educational Evaluations
Questo studio rivela che i grandi modelli linguistici esibiscono pregiudizi linguistici e culturali sistematici nelle valutazioni educative, generando valutazioni con difficoltà e lunghezza variabili tra le lingue che correlano con i punteggi PISA, rafforzando al contempo stereotipi che enfatizzano l'empatia nei contesti occidentali rispetto alla gerarchia in quelli asiatici, rendendo pertanto necessari audit culturalmente sostenibili prima del dispiegamento.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nella moderna classe, una rivoluzione silenziosa è in corso. Insegnanti e studenti si rivolgono sempre più all'intelligenza artificiale, specificamente ai modelli linguistici di grandi dimensioni, per aiutare a progettare test, correggere compiti e offrire feedback. Questi programmi informatici sono addestrati su enormi quantità di testo provenienti da Internet, imparando a prevedere quali parole debbano seguire in una frase. Poiché sono molto bravi a imitare la scrittura umana, le scuole stanno iniziando a usarli per creare materiali didattici per studenti in tutto il mondo. Tuttavia, vi è una crescente preoccupazione che questi strumenti possano non essere neutrali come sembrano. Proprio come una persona può nutrire credenze inconsce su come diversi gruppi di persone apprendano, questi programmi informatici potrebbero aver assorbito pregiudizi simili dai dati con cui sono stati nutriti. Se un sistema di IA tratta uno studente in modo diverso semplicemente perché ha posto una domanda in una lingua diversa, potrebbe creare un ambiente di apprendimento ingiusto che rinforza vecchi stereotipi invece di aiutare gli studenti a riuscire.
Un team di ricercatori del Bowdoin College ha deciso di testare se questi strumenti digitali fossero davvero imparziali. Si sono posti l'obiettivo di vedere se la lingua utilizzata da uno studente per chiedere aiuto cambierebbe la difficoltà del lavoro assegnato dal computer. Per farlo, hanno chiesto a quattro dei modelli di IA più popolari di creare test di matematica, lettura e scienze per studenti di quindici anni. Hanno dato le stesse identiche istruzioni a ciascun computer, ma hanno tradotto tali istruzioni in otto lingue diverse: arabo, inglese, francese, tedesco, hindi, mandarino, portoghese e spagnolo. In totale, i ricercatori hanno raccolto più di quattromila risposte dalle macchine. Hanno poi analizzato la lunghezza dei test, quanto i modelli dichiarassero difficili i test e che tipo di comportamenti i modelli considerassero tipici di un "buon" o "cattivo" studente e insegnante.
I risultati hanno rivelato un modello sorprendente. Quando i ricercatori hanno chiesto all'IA di creare un test in hindi o in mandarino, il computer ha generato costantemente compiti molto più lunghi e difficili rispetto a quando gli è stato chiesto di svolgere la stessa attività in arabo, tedesco o spagnolo. Ad esempio, un modello ha stimato che un test di matematica scritto in mandarino richiederebbe a uno studente due ore per essere completato, mentre un test in spagnolo richiederebbe meno di un'ora, anche se le istruzioni erano identiche. I modelli hanno inoltre valutato la difficoltà dei test in hindi e mandarino come significativamente più alta. Questo non era un errore casuale; le differenze erano così costanti da manifestarsi in tutti e quattro i diversi sistemi di IA testati dai ricercatori. Lo studio ha rilevato che la difficoltà e la lunghezza dei test generati dall'IA corrispondevano fortemente alle classifiche internazionali reali delle prestazioni degli studenti. In altre parole, i computer sembravano credere che gli studenti provenienti da paesi con punteggi elevati meritassero lavori più difficili, mentre gli studenti provenienti da paesi con punteggi più bassi meritassero lavori più facili, indipendentemente dallo studente reale seduto davanti allo schermo.
Oltre alla semplice creazione di test, i ricercatori hanno anche chiesto all'IA di descrivere come appare un "buon" insegnante o uno studente. Anche qui, la lingua utilizzata ha cambiato la risposta. Quando il prompt era in inglese, tedesco o portoghese, l'IA tendeva a descrivere i buoni insegnanti come empatici, pazienti e focalizzati sulla costruzione di relazioni con gli studenti. Tuttavia, quando il prompt era in hindi o mandarino, l'IA descriveva i buoni insegnanti come severi, disciplinati e focalizzati sulla conoscenza e la gerarchia. Allo stesso modo, i modelli descrivevano "cattivi" studenti in modo diverso a seconda della lingua. In alcune lingue, l'IA si concentrava sulla mancanza di disciplina o sulla procrastinazione, mentre in altre si concentrava sulla mancanza di rispetto o sul comportamento scorretto in generale. Queste differenze suggeriscono che l'IA non sta solo traducendo parole; sta attingendo da un database di stereotipi culturali su come funziona l'istruzione in diverse parti del mondo.
I ricercatori sono stati attenti a verificare se queste differenze fossero semplicemente dovute al fatto che diversi paesi hanno diversi programmi scolastici. Hanno consultato un gruppo di educatori da tutto il mondo per vedere se l'IA stesse solo seguendo gli standard nazionali. Hanno scoperto che le differenze nei programmi scolastici potevano spiegare solo una minima frazione dei risultati. La stragrande maggioranza della variazione proveniva dall'IA stessa. Lo studio suggerisce che questi programmi informatici hanno imparato ad associare determinate lingue a specifiche aspettative accademiche, agendo efficacemente come specchi delle disuguaglianze globali. Se uno studente in un paese non occidentale utilizza un tutor IA, potrebbe ricevere un carico di lavoro molto più pesante o un tipo di feedback diverso rispetto a uno studente in un paese occidentale, semplicemente per la lingua che parla.
Questa ricerca evidenzia un problema critico per il futuro dell'istruzione. Mentre le scuole fanno sempre più affidamento sull'intelligenza artificiale per progettare lezioni e valutare gli studenti, esiste il rischio che questi strumenti rinforzino silenziosamente stereotipi dannosi. L'IA non compie questi giudizi perché comprende gli studenti; sta ripetendo schemi trovati nei suoi dati di addestramento. Lo studio conclude che, prima che questi strumenti siano ampiamente utilizzati nelle classi, devono essere sottoposti a un audit per garantire che non trattino gli studenti in modo diseguale in base alla loro lingua. Senza questo controllo, la promessa di un'istruzione globale e personalizzata potrebbe invece diventare un sistema che approfondisce il divario tra gli studenti, insegnando loro che il loro potenziale è definito dalla lingua che parlano piuttosto che dalle proprie capacità.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.