Sociodemographic Biases in Educational Counselling by Large Language Models

1. Enunciazione del Problema

Man mano che i Modelli Linguistici di Grande Dimensione (LLM) vengono integrati sempre più negli ambienti educativi per compiti che vanno dal tutoraggio personalizzato al supporto decisionale amministrativo, vi è un'esigenza critica di comprendere se questi modelli ereditino o mitigino gli stereotipi sociodemografici presenti nel processo decisionale umano. Sebbene la psicologia educativa abbia da tempo documentato che le aspettative e le raccomandazioni degli insegnanti siano influenzate dalla razza, dal genere, dallo status socioeconomico (SES) e dall'origine migratoria degli studenti (anche quando la performance accademica è equivalente), rimane incerto come si comportino gli LLM in scenari di consulenza ad alto rischio simili. Nello specifico, lo studio affronta la mancanza di una comprensione sistematica riguardo a:

• L'entità delle raccomandazioni differenziali che gli LLM formulano tra diversi gruppi demografici.
• Come la precisione delle descrizioni degli studenti (densità informativa) modera l'entità di tali stereotipi.
• Se i pattern di bias degli LLM si allineino o divergano dai bias umani documentati.

2. Metodologia

Lo studio ha adottato un disegno sperimentale su larga scala utilizzando un approccio basato su vignette per isolare le variabili demografiche.

• Disegno Sperimentale:
  • Modelli Testati: Sei LLM all'avanguardia: GPT-5.2, GPT-5-nano (OpenAI), DeepSeek Chat v3.2, DeepSeek Reasoner v3.2 (DeepSeek), Grok 4.1 Fast (xAI) e Gemini Flash 3.5 (Google).
  • Variabili:
    1. Condizioni Demografiche (15 livelli): Un controllo neutro ("uno studente"), 8 combinazioni razza-genere (ad es. maschio/femmina afroamericano/a, asiatico/a, ecc.), 4 livelli di SES (basso reddito, classe lavoratrice, classe media, benestante) e 2 background migratori (prima generazione, famiglia immigrata).
    2. Densità Informativa (9 livelli): Che va da "Minimale" (solo demografia) a "Solo Contesto", "Vaga" (descrittori soggettivi), "Metriche Neutrali/Positive/Negative" (media dei voti, frequenza) e "Contraddittoria" (metriche vs descrittori).
    3. Contesti Decisionali (10 scenari): Compresi orientamento universitario, collocazione nei corsi, identificazione di studenti dotati, segnalazioni disciplinari e colloqui con i genitori.
  • Scala: Lo studio ha generato 243.000 risposte del modello (6 modelli × 15 demografie × 9 livelli di densità × 10 contesti × 10 variazioni di vignetta × 3 domande per contesto).
  • Prompting: I modelli sono stati sollecitati ad agire come consulenti scolastici esperti e costretti a scegliere un'unica opzione (A–D) su una scala da 1 a 4 per domande specifiche (ad es. "Raccomandazione universitaria", "Gravità disciplinare").
  • Analisi: Il bias è stato quantificato come $\Delta = \bar{x}_{demografico} - \bar{x}_{controllo}$. La significatività statistica è stata valutata utilizzando test t con correzione FDR di Benjamini–Hochberg ($q < 0.05$). La coerenza interna è stata validata utilizzando l'alfa di Cronbach.

3. Contributi Chiave

1. Creazione del Dataset: Un dataset pubblicamente disponibile di 243.000 risposte di LLM a scenari di consulenza K-12, che varia sistematicamente demografia e densità informativa.
2. Quantificazione del Bias: Dimostrazione che gli LLM esibiscono stereotipi sociodemografici sistematici che sia si allineano sia divergono dai bias umani.
3. Precisione Informativa come Moderatore: Stabilimento che la qualità dell'informazione è un fattore critico; le descrizioni vaghe amplificano il bias, mentre le metriche concrete lo riducono significativamente.
4. Eterogeneità dei Modelli: Documentazione di una variazione sostanziale nei profili di bias tra diversi modelli, suggerendo che il bias è il risultato di scelte specifiche di addestramento piuttosto che una proprietà inevitabile degli LLM.

4. Risultati Chiave

A. Entità e Pattern del Bias (RQ1)

• Prevalenza: Tutti e sei i modelli hanno esibito bias misurabili. Circa il 14,7% delle combinazioni contesto-demografia ha mostrato effetti statisticamente significativi.
• Bias Socioeconomico (Pattern Dominante): Gli studenti a basso reddito e della classe lavoratrice hanno ricevuto raccomandazioni significativamente inferiori per percorsi universitari e di diploma rispetto agli studenti benestanti (ad es., un divario di quasi 1 punto intero sulla scala nella pianificazione del diploma sotto informazioni minime).
• Bias Razziale:
  • Studenti Asiatici: Hanno ricevuto costantemente un trattamento favorevole (lo stereotipo della "minoranza modello"), in particolare nell'orientamento universitario e nel coinvolgimento dei genitori.
  • Studenti Afroamericani: Hanno mostrato un bias positivo nell'orientamento universitario (contrariamente alla tipica sottostima umana), ma un bias negativo nei contesti extracurricolari/di identificazione di studenti dotati.
  • Maschi Ispanici: Hanno mostrato un bias negativo nell'identificazione di attività extracurricolari e di studenti dotati.
• Stato Migratorio: Gli studenti di prima generazione e gli immigrati hanno generalmente ricevuto un trattamento leggermente positivo, sebbene gli studenti immigrati abbiano affrontato un bias negativo nell'identificazione di studenti dotati sotto informazioni minime.

B. Allineamento con i Bias Umani (RQ2)

• Allineamento: Gli LLM hanno replicato i bias umani riguardanti le aspettative socioeconomiche e lo stereotipo asiatico della "minoranza modello".
• Divergenza:
  • Bias Positivo per Gruppi Sottoserviti: A differenza degli insegnanti umani che spesso sottostimano il potenziale degli afroamericani, gli LLM hanno mostrato un bias positivo per le femmine afroamericane nell'orientamento universitario.
  • Compensazione Vaga-Negativa: In condizioni in cui gli studenti erano descritti con linguaggio soggettivo negativo ma senza metriche, gli LLM hanno spesso valutato i gruppi demografici più in alto del gruppo di controllo, suggerendo un euristica del "beneficio del dubbio" non tipicamente osservata negli annotatori umani.

C. Il Ruolo della Precisione Informativa (RQ3)

• Riduzione dell'Entità: Questa è la scoperta più sorprendente dello studio. Le descrizioni vaghe hanno prodotto un bias assoluto medio di $|\Delta| = 0,19$, mentre le metriche concrete lo hanno ridotto a $|\Delta| = 0,07$—una riduzione di quasi tre volte.
• Meccanismo: Quando i dati oggettivi (media dei voti, frequenza) sono assenti, gli LLM sembrano colmare le lacune informative con associazioni demografiche.
• Inversione del Bias: Nelle domande sull'"Attribuzione dello Sforzo", le descrizioni negative vaghe hanno portato a incolpare gli studenti della classe lavoratrice/immigrati per la mancanza di impegno. Tuttavia, quando sono state fornite metriche neutrali, il bias si è invertito e gli stessi gruppi hanno ricevuto attribuzioni più empatiche (fattori esterni).

D. Eterogeneità dei Modelli (RQ4)

• GPT-5.2: È emerso come il modello meno bias in generale, con bassi valori di bias assoluto e z-score negativi (meno bias della media) nella maggior parte delle condizioni.
• DeepSeek Reasoner: Ha mostrato il bias razziale positivo più forte (favorendo tutti i gruppi razziali) ma ha invertito questo comportamento per i gruppi socioeconomici (sfavorendo gli studenti benestanti). Notabilmente, non è riuscito a ridurre il bias nemmeno quando sono state fornite metriche concrete.
• Grok 4.1 Fast: Ha esibito la stratificazione socioeconomica più pronunciata, penalizzando pesantemente gli studenti a basso reddito mentre favoriva quelli benestanti.
• Gemini Flash: Ha mostrato un bias uniformemente non negativo, offrendo il trattamento positivo più alto agli studenti afroamericani e forti risposte compensatorie alle descrizioni negative.

5. Significato e Implicazioni

• Design del Sistema oltre la Selezione del Modello: Lo studio sostiene che l'architettura del sistema è importante quanto la selezione del modello. I sistemi di IA educativa devono essere progettati per elicitarre dati ricchi e oggettivi sugli studenti (metriche) piuttosto che affidarsi a descrittori demografici minimi. Le query con informazioni minime, spesso percepite come "neutrali", in realtà massimizzano il bias demografico.
• Il Bias Non è Inevitabile: La sostanziale eterogeneità tra i modelli indica che il bias è una conseguenza di dati di addestramento e scelte specifici (ad es., RLHF), non un difetto intrinseco dell'architettura transformer. Ciò supporta la necessità di audit di equità come componente standard della selezione dei modelli per applicazioni ad alto rischio.
• Complessità dell'Equità dell'IA: La divergenza tra i bias degli LLM e quelli umani (ad es., l'effetto di "compensazione vaga-negativa") suggerisce che l'IA non riflette semplicemente i pregiudizi sociali. Questi pattern potrebbero rappresentare una sovracorrezione benefica o nuove forme di ingiustizia, richiedendo un'attenta considerazione nell'implementazione.
• Direzioni Future: Gli autori chiedono sistemi a input strutturato per ridurre il bias, ulteriori indagini sui meccanismi degli effetti di compensazione e studi transculturali oltre il contesto statunitense.

Conclusione: Il documento conclude che, sebbene gli LLM attualmente esibiscano significativi stereotipi sociodemografici, questi possono essere sostanzialmente mitigati attraverso la fornitura di informazioni dettagliate e individualizzate sugli studenti. Affidarsi a descrizioni vaghe nella consulenza educativa guidata dall'IA è una strategia ad alto rischio che amplifica le disparità.