Faster Completion, Less Learning: Generative AI Reduced Study Time on Math Problems and the Knowledge They Build
Questo studio su larga scala che utilizza un decennio di dati ALEKS rivela che l'intelligenza artificiale generativa ha ridotto significativamente il tempo di studio degli studenti sui problemi matematici suscettibili, degradando al contempo la loro ritenzione a lungo termine delle conoscenze, un fenomeno che gli autori identificano come "resa cognitiva".
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Il quadro generale: l'effetto "codice bar"
Immagina una biblioteca enorme dove ogni giorno milioni di studenti vanno per risolvere problemi di matematica. Per anni hanno dovuto fare il lavoro da soli: leggere le domande, pensare ai passaggi e scrivere le risposte.
Poi è arrivato un nuovo strumento (ChatGPT) che funziona come un velocissimo "codice bar". Se uno studente digita un problema testuale in questo strumento, esso restituisce la risposta istantaneamente. Ma se il problema richiede di disegnare un grafico o spostare elementi sullo schermo, lo strumento non può aiutare molto.
Questo documento si chiede: Gli studenti hanno iniziato a usare questo codice bar? E se sì, ha danneggiato il loro effettivo apprendimento?
Per scoprirlo, i ricercatori non hanno semplicemente chiesto agli studenti: "Usate l'IA?" (perché le persone spesso mentono o dimenticano). Invece, hanno esaminato le impronte digitali di 3,2 milioni di studenti nell'arco di dieci anni. Hanno osservato esattamente quanto tempo impiegavano gli studenti per risolvere diversi tipi di problemi prima e dopo che il "codice bar" diventasse popolare.
L'esperimento: il test "Testo" contro "Grafico"
I ricercatori hanno impostato un confronto intelligente, come una gara tra due tipi di corridori:
- I corridori "Testo" (Vulnerabili all'IA): Questi sono problemi testuali. Puoi copiarli e incollarli in un chatbot di IA, e li risolve in pochi secondi.
- I corridori "Grafico" (Resistenti all'IA): Questi sono problemi con tabelle, grafici o pulsanti interattivi. Non puoi semplicemente copiarli e incollarli; devi effettivamente guardare lo schermo e cliccare sulle cose. L'IA fatica con questi.
La teoria: Se gli studenti stanno usando l'IA per barare, dovrebbero completare i problemi "Testo" molto più velocemente di prima, ma la loro velocità sui problemi "Grafico" dovrebbe rimanere invariata (perché l'IA non può aiutarli lì).
Cosa hanno scoperto
1. Gli studenti stanno "speed-running" le cose facili
Dopo il rilascio di ChatGPT, gli studenti hanno iniziato a completare i problemi "Testo" incredibilmente velocemente.
- Gli studenti universitari hanno dedicato circa il 27% di tempo in meno a questi problemi nell'anno successivo.
- Gli studenti delle scuole superiori hanno dedicato ancora meno tempo (31% in meno).
- Gli studenti delle scuole medie hanno accelerato leggermente (9% in meno).
- Gli studenti di quinta elementare non hanno cambiato nulla.
L'analogia: Immagina uno studente che di solito impiega 10 minuti per scrivere un saggio. Improvvisamente, inizia a farlo in 2 minuti. Ma quando deve costruire un modello in argilla (cosa che l'IA non può fare), impiega ancora lo stesso tempo. Questo suggerisce che non stanno diventando più intelligenti; stanno semplicemente esternalizzando il lavoro.
2. Il test del "Proctor": la magia scompare
I ricercatori hanno poi esaminato i test in cui gli studenti erano sorvegliati da un proctor (una persona o un software che li osserva per assicurarsi che non usino telefoni o IA).
- Risultato: In questi test supervisionati, l'accelerazione è scomparsa completamente. Gli studenti hanno impiegato lo stesso tempo sui problemi "Testo" come prima dell'esistenza di ChatGPT.
L'analogia: È come uno studente che corre veloce quando nessuno guarda, ma rallenta fino a un jogging normale quando un arbitro è in piedi proprio accanto a lui. Questo dimostra che l'accelerazione non era dovuta al fatto che i problemi fossero diventati più facili o che gli studenti fossero diventati naturalmente più veloci; era perché stavano usando il "codice bar" quando nessuno guardava.
3. Il costo: "Resa Cognitiva"
Ecco la parte più importante. I ricercatori hanno verificato se questa accelerazione aiutava gli studenti a ricordare la matematica in seguito. Hanno somministrato agli studenti un test a sorpresa (con proctor) sul materiale che avevano studiato in precedenza.
- Il risultato: Gli studenti che avevano "speed-run" i problemi testuali usando l'IA avevano il 25% di probabilità in meno di rispondere correttamente al test supervisionato in seguito.
- La svolta: Quando i ricercatori hanno esaminato i test non supervisionati (dove gli studenti potevano usare di nuovo l'IA), gli studenti sembravano geni: avevano risposto correttamente a quasi tutto.
L'analogia: Pensaci come a un videogioco.
- Usare l'IA è come usare un codice bar "modalità dio". Sconfiggi il livello istantaneamente e ottieni tutti i punti (punteggi alti nei test non supervisionati).
- Ma quando spegni il codice bar per la battaglia finale contro il boss (il test supervisionato), ti rendi conto che non hai mai imparato davvero a giocare al gioco. Perdi.
Il documento definisce questo fenomeno "Resa Cognitiva". Invece di usare l'IA come una calcolatrice (che aiuta a fare i calcoli ma ti lascia ancora pensare), gli studenti l'hanno usata per cedere completamente il processo di pensiero. Hanno lasciato che l'IA facesse il lavoro, così i loro cervelli non hanno costruito la "memoria muscolare" necessaria per risolvere il problema in seguito.
Perché l'età conta
Lo studio ha trovato un modello chiaro basato sull'età:
- Università e Scuola Superiore: Grandi cambiamenti. Questi studenti hanno più libertà e privacy per usare l'IA senza essere sorvegliati.
- Quinta Elementare: Nessun cambiamento. È probabile che questi studenti non abbiano i propri dispositivi o la libertà di usare l'IA in modo indipendente.
La conclusione
Questo documento fornisce la prima prova massiccia e reale che l'IA generativa ha cambiato il modo in cui gli studenti studiano.
- Studiano meno: Passano significativamente meno tempo ai problemi che possono copiare e incollare.
- Imparano meno: Poiché non stanno facendo il lavoro mentale, dimenticano il materiale più velocemente.
- Non è un errore: Il fatto che l'accelerazione scompaia quando un proctor è presente dimostra che è una scelta comportamentale, non un cambiamento nel curriculum.
Gli autori concludono che, sebbene l'IA possa far sembrare che gli studenti stiano imparando più velocemente (ottenendo risposte rapide), in realtà sta causando loro di "cedere" il proprio pensiero, portando a un calo significativo di ciò che effettivamente conoscono e ricordano.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.