Evaluation in the Age of AI: Output as Evidence of Learning

Per oltre un secolo, le università hanno operato sulla base di un accordo semplice e silenzioso: il lavoro che uno studente consegna è la prova di ciò che ha appreso. Che si trattasse di un saggio, di una dimostrazione matematica o di un programma informatico, il prodotto finale veniva trattato come un riflesso diretto dello sforzo mentale necessario per crearlo. Questo sistema funzionava perché era pratico; permetteva alle scuole di certificare le competenze e classificare i risultati in base alla qualità dell'output. La convinzione sottostante era che, se uno studente produceva un lavoro di alta qualità, avesse necessariamente affrontato la necessaria fatica intellettuale per arrivarci. Questo legame tra il prodotto finale e il processo di apprendimento interno è stato il fondamento del modo in cui l'istruzione superiore misura il successo.

Quel legame si è spezzato. L'ascesa di potenti sistemi di intelligenza artificiale, in particolare quelli capaci di generare testi e codice simili a quelli umani, ha cambiato il panorama da un giorno all'altro. Questi strumenti possono ora produrre lavori accademici sofisticati in pochi secondi, un compito che un tempo richiedeva ore di pensiero e fatica umana. La barriera tra un novizio e un esperto è stata effettivamente abbattuta, il che significa che uno studente può generare un saggio persuasivo o uno script informatico complesso senza compiere il lavoro mentale stesso. Ciò crea una crisi per l'istruzione: se il prodotto finale non prova più che uno studente comprende la materia, come possono le scuole valutare l'apprendimento? Il vecchio metodo di valutare l' "output" non è più una prova affidabile dell' "input" dell'apprendimento.

I ricercatori della Virginia Tech hanno indagato su questa interruzione, andando oltre la semplice questione dell'integrità accademica per porre una domanda più profonda su come dovrebbe funzionare l'istruzione in un'era automatizzata. Essi sostengono che il problema non sia solo che gli studenti utilizzano questi strumenti in modo disonesto, ma che l'intero sistema di valutazione sia disallineato rispetto a ciò che dovrebbe misurare. Quando le scuole si affidano al prodotto finale come unica prova dell'apprendimento, finiscono per misurare la capacità di uno studente di nascondere l'uso dell'IA o il suo accesso a tecnologie costose, piuttosto che la sua reale comprensione, il suo ragionamento o il suo giudizio. I ricercatori suggeriscono che l'attuale concentrazione sul catturare i cheater sia una strada senza uscita e che le scuole debbano spostare il proprio focus sul processo di apprendimento stesso.

Per comprendere la realtà di questa situazione, i ricercatori hanno intervistato venti professionisti dell'istruzione superiore e studenti di università del Nord America e del Bangladesh. Volevano vedere come le persone che effettivamente insegnano percepissero questi nuovi strumenti e le politiche progettate per fermarli. I risultati hanno rivelato un profondo disconnessione tra ciò che le scuole fanno e ciò che gli insegnanti ritengono funzioni. Sebbene la maggior parte delle istituzioni abbia imposto l'uso di software per rilevare il lavoro generato dall'IA, gli insegnanti stessi hanno pochissima fiducia in questi strumenti. Nel sondaggio, quindici rispondenti su venti hanno dichiarato che le loro istituzioni fanno ampio affidamento su software di rilevamento, eppure solo quattro su venti hanno espresso fiducia nella precisione o nell'equità di tali strumenti. Questo divario suggerisce che le scuole stiano compiendo gli atti formali della conformità senza credere realmente nell'integrità del processo.

Lo studio ha rilevato che il problema è particolarmente grave in campi come l'informatica, dove la "correttezza" di un codice è spesso binaria. In queste aree, l'intelligenza artificiale è eccezionalmente brava a scrivere codice perfetto, rendendo i metodi di valutazione tradizionali che controllano le risposte corrette inutili come misura della comprensità dello studente. I ricercatori hanno inoltre scoperto una nuova e preoccupante forma di disuguaglianza. Gli studenti che potevano permettersi di pagare versioni premium di questi strumenti di IA producevano lavori più chiari e logici rispetto agli studenti che utilizzavano le versioni gratuite. Ciò significa che le attuali valutazioni misurano involontariamente la capacità di uno studente di pagare per una tecnologia migliore piuttosto che la sua innata capacità accademica. Inoltre, gli studenti provenienti da contesti a basso reddito, che si affidano a strumenti gratuiti, affrontano una doppia penalità: ricevono un'assistenza di qualità inferiore e affrontano una maggiore sospensione da parte degli strumenti di rilevamento, che sono calibrati per identificare output di IA più rudimentali.

Il costo umano di questo approccio basato sulla sorveglianza è altrettanto significativo. I ricercatori hanno scoperto che molti educatori si sentono esausti, descrivendo un passaggio da mentori a "digitali procuratori". Invece di dedicare tempo alla progettazione di lezioni o all'aiuto degli studenti, gli insegnanti sono costretti a passare ore a costruire casi contro i propri studenti, cercando di provare l'uso dell'IA basandosi su segnali inaffidabili provenienti dai software di rilevamento. Ciò crea un clima di sospetto che danneggia la relazione tra docente e studente. Il timore di essere scoperti porta a una "trappola della divulgazione", in cui gli studenti hanno paura di ammettere l'uso dell'IA anche quando è consentito, perché temono di essere penalizzati comunque. Questa paura spinge l'uso di questi strumenti nell'ombra, rendendo il processo di apprendimento meno trasparente e meno onesto.

I ricercatori sostengono che la soluzione non sia combattere una battaglia persa contro migliori software di rilevamento, ma cambiare ciò che viene valutato. Propongono un passaggio dalla valutazione del prodotto finale alla valutazione del percorso di apprendimento. Ciò significa progettare valutazioni che rendano visibile il processo di pensiero, come richiedere agli studenti di spiegare il proprio ragionamento in classe, presentare bozze annotate o partecipare a esami orali in cui devono difendere le proprie idee. Questi metodi, che i ricercatori chiamano "difficoltà desiderabili", assicurano che il lavoro cognitivo avvenga davanti all'insegnante. Concentrandosi su come uno studente arriva a una risposta piuttosto che sulla sola risposta, le scuole possono misurare meglio la reale comprensione e il giudizio critico.

L'articolo conclude che l'era in cui il prodotto finale era l'unica prova dell'apprendimento sta finendo. Le istituzioni che continuano a fare affidamento sui vecchi metodi si troveranno intrappolate in un ciclo infinito di sorveglianza, spendendo più risorse per poliziare un confine che sta diventando impossibile da monitorare. I ricercatori suggeriscono che questa interruzione non sia solo una minaccia, ma un'opportunità per costruire un sistema più equo e significativo. Dando priorità al processo di apprendimento e allontanandosi da una cultura di sospetto, le università possono creare un ambiente in cui studenti e insegnanti lavorino insieme per dimostrare la vera comprensione. La strada da seguire richiede la volontà di investire in nuovi modi di insegnare e valutare, garantendo che l'istruzione rimanga focalizzata sulla capacità umana di pensiero piuttosto che sulla capacità di produrre un artefatto rifinito.