Contestability without recourse: post-decision safeguards for disabled learners in AI-supported educational decision-making

Sintesi Tecnica: Contestabilità senza Ricorso

Problematica
Il documento affronta un'asimmetria critica nella letteratura riguardante l'Intelligenza Artificiale (IA) nell'istruzione, specificamente per quanto concerne gli studenti con disabilità e bisogni educativi speciali (BES). Mentre la ricerca ha mappato estensivamente il bias algoritmico, l'equità e la produzione tecnica delle decisioni, ha ampiamente trascurato la questione della contestabilità: quale ricorso abbia uno studente o il suo rappresentante dopo che una decisione consequenziale è stata presa. L'autore sostiene che una decisione può essere dimostrabilemente equa (in termini di produzione) eppure lasciare il soggetto interessato senza alcun meccanismo per cambiarla. Il problema centrale è l'assenza di definiti presidi post-decisionale — meccanismi che permettano a uno studente di contestare, correggere o revocare una decisione educativa supportata dall'IA.

Metodologia
Lo studio impiega una revisione sistematica e un'analisi del corpus della letteratura di ricerca, strutturata come segue:

• Costruzione del Corpus: La ricerca è stata condotta attraverso 12 fonti bibliografiche (tra cui Scopus, ERIC e Crossref) utilizzando termini relativi a "intelligenza artificiale", "disabilità/BES" e "istruzione". Fondamentalmente, i termini di ricerca escludevano concetti relativi a equità, bias, appello o contestazione per garantire che il corpus non fosse influenzato verso nessuno dei due lati del confronto.
• Criteri di Selezione: Da un pool iniziale di 1.690 record, 727 sono stati sottoposti a screening tramite titolo/abstract, e 138 rapporti a testo completo sono stati ottenuti e analizzati. I criteri di inclusione richiedevano la verifica di tutti e tre i concetti chiave (IA, disabilità, istruzione) nei metadati.
• Protocollo di Misurazione: L'analisi ha misurato la prossimità di specifici concetti ai termini relativi alla "decisione" (entro una finestra di 240 caratteri).
  • Concetti pre-decisione: Bias, equità, etica, privacy, accuratezza, spiegabilità, consenso.
  • Meccanismi post-decisione: Riconsiderazione umana, correzione dei dati, appello, rimedio/risarcimento e spiegazione per la contestazione.
• Definizioni ed Esclusioni: Il documento definisce rigorosamente i "presidi post-decisionali" escludendo concetti spesso confusi con il ricorso, quali:
  • Spiegabilità: Fornire un resoconto della decisione senza una via per contestarla.
  • Supervisione Umana: Coinvolgimento di insegnanti o clinici nel processo decisionale (che rimane un controllo lato operatore, non un diritto dello studente).
  • Audit Pre-implementazione: Controlli che avvengono prima che esista una decisione.
  • Consenso: Permessi per la raccolta dei dati piuttosto che rimedi per gli esiti.
• Validazione: Due revisori indipendenti hanno valutato i 138 testi completi per la presenza di presidi invocabili dallo studente. Una ricerca secondaria mirata è stata inoltre condotta per determinare se esistesse una letteratura sul ricorso per studenti disabili al di fuori del corpus specifico dell'IA.

Contributi Chiave

1. Distinzione Concettuale: Il documento distingue formalmente la contestabilità (la capacità di contestare una decisione) dalla spiegabilità e dall'equità. Postula che l'equità riguardi come una decisione viene prodotta, mentre la contestabilità riguarda cosa può fare il soggetto successivamente.
2. Definizione Operativa: Fornisce una definizione precisa, in cinque parti, di un "presidio post-decisionale" (Riconsiderazione umana, Correzione dei dati, Appello, Rimedio e Spiegazione per la contestazione) sufficientemente specifica da poter essere misurata empiricamente nei rapporti di ricerca.
3. Analisi del Gap Legale: Il documento analizza il Regolamento Generale sulla Protezione dei Dati (GDPR), l'AI Act dell'UE e la Convenzione delle Nazioni Unite sui Diritti delle Persone con Disabilità (UNCRPD). Conclude che, sebbene questi strumenti presumano un diritto di contestazione, nessuno specifica una procedura a livello scolastico affinché uno studente possa avviare una riconsiderazione.
4. Misurazione Empirica: Quantifica la disparità nell'attenzione della ricerca, dimostrando che la letteratura si concentra pesantemente sulla qualità della decisione (bias/equità) ignorando il ricorso decisionale.

Risultati
L'analisi del corpus di 138 documenti ha prodotto i seguenti risultati:

• Dominanza Pre-decisionale: Termini denotanti "bias" o "equità" apparivano in prossimità di un termine decisionale nel 74,6% dei documenti. La "spiegabilità" appariva nel 19,6%.
• Assenza Post-decisionale: Termini denotanti "appello", "contestazione" o "giusto processo" apparivano in prossimità di un termine decisionale nello 0,0% dei documenti.
• Vocabolario Distaccato: Sebbene termini come "rimedio" o "riconsiderazione umana" apparissero nei documenti, essi erano costantemente distaccati dal contesto decisionale. Apparivano nell'abstract o nella discussione generale, ma non erano mai collegati al meccanismo specifico di una contestazione da parte di uno studente.
• "Supervisione" Centrata sull'Insegnante: I pochi casi di "riconsiderazione umana" (6,5% dei documenti) descrivevano capacità in possesso di insegnanti o clinici (ad esempio, l'override manuale), non diritti detenuti dallo studente o dalla sua famiglia.
• Risultati della Ricerca Mirata: Una ricerca separata su "ricorso" e "disabilità/istruzione" ha identificato 102 record rilevanti. Tuttavia, nessuno di questi titoli menzionava l'IA, gli algoritmi o l'apprendimento automatico. Ciò indica che la letteratura sul ricorso educativo per studenti disabili e la letteratura sull'IA nell'istruzione sono campi distinti e non sovrapponibili.

Significatività e Rivendicazioni
Il documento sostiene che il campo dell'IA nell'istruzione ha sviluppato standard sofisticati per valutare come le decisioni vengono prese, ma ha fallito nel affrontare cosa accade dopo che sono state prese.

• La Fallacia dell'Equità: L'autore sostiene che concentrarsi sull'equità sia insufficiente; un algoritmo equo può comunque produrre una decisione che è immodificabile per lo studente interessato.
• Necessità Procedurale: Il documento afferma che la contestabilità è un requisito procedurale, non tecnico. Richiede di cedere potere allo studente (o al suo rappresentante) per avviare una revisione, un passaggio che gli attuali modelli "human-in-the-loop" non forniscono.
• Punto Cieco della Ricerca: L'assenza di ricorso nella letteratura non è dovuta a una mancanza di attenzione accademica ai diritti dei disabili in generale, ma piuttosto a un fallimento nel connettere tale dottrina con il processo decisionale supportato dall'IA.
• Ambito Modesto: L'autore dichiara esplicitamente che i suoi risultati descrivono la letteratura di ricerca, non necessariamente le pratiche effettive nelle scuole. Riconosce che pratiche efficaci di riconsiderazione possono esistere nelle scuole ma rimangono non documentate, o viceversa, che i diritti statutari possono esistere ma risultare inefficaci nella pratica. Il documento conclude che la comunità di ricerca deve spostare il proprio focus non solo dall'ottimizzazione della produzione decisionale, ma anche dall'istituzione di meccanismi per la contestazione post-decisionale.