Changes in Coding Behavior and Performance Since the Introduction of LLMs
Questo studio quasi longitudinale di un corso di specializzazione in cloud computing rivela che, dall'introduzione dei modelli linguistici di grandi dimensioni (LLM), i comportamenti di programmazione degli studenti si sono spostati verso consegne più lunghe ma meno iterative con guadagni di apprendimento diminuiti, suggerendo che l'eccessiva dipendenza da questi strumenti possa avere un impatto negativo sia sulla produttività che sui risultati educativi.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
La visione d'insieme: L'esperimento della "Penna Magica"
Immaginate una classe di cucina dove gli studenti devono preparare una torta specifica ogni semestre. Per cinque anni, l'insegnante ha osservato come cucinavano. Poi, verso la fine del 2022, è apparsa una "Penna Magica" (i Large Language Models o LLM). Questa penna poteva scrivere la ricetta e persino mescolare l'impasto per gli studenti, se lo richiedevano.
I ricercatori volevano sapere: la Penna Magica ha aiutato gli studenti a imparare meglio a cucinare, o ha solo reso le torte più spettacolari mentre gli studenti dimenticavano come cucinare?
Hanno esaminato i dati di 10 semestri (5 anni prima della Penna Magica e 5 anni dopo) di un corso di informatica di livello specialistico. Si sono concentrati su un compito di programmazione specifico che non cambiava mai, agendo come quella ricetta della torta immutabile.
Cosa hanno scoperto: L'effetto "Gonfiamento"
I ricercatori hanno notato cose molto strane accadere dopo l'arrivo della Penna Magica:
Più modifiche, meno miglioramenti: Prima della Penna Magica, gli studenti facevano piccoli cambiamenti accurati al proprio codice per correggere gli errori. Dopo la Penna Magica, gli studenti hanno iniziato a fare cambiamenti enormi e radicali tra una consegna e l'altra.
- L'analogia: Immaginate di stare modificando una frase. Prima, potreste cambiare una parola per correggere un errore di battitura. Dopo la Penna Magica, potreste cancellare l'intero paragrafo e incollarne uno nuovo che è tre volte più lungo, anche se la nuova versione non è effettivamente migliore.
- I dati: La quantità di codice che gli studenti cambiavano tra un tentativo e l'altro è triplicata. Il totale del codice consegnato è cresciuto del 500%.
L'illusione del "Punteggio Perfetto": Quasi tutti ottenevano ancora un punteggio perfetto nel compito specifico.
- L'analogia: È come se tutti in classe avessero improvvisamente preso un "A" nel test. Ma l'insegnante si è reso conto che gli studenti che prendevano "A" stavano solo copiando la chiave delle risposte dalla Penna Magica, non capendo davvero la matematica. Il voto non raccontava più tutta la storia.
Il segnale dell' "Apprendimento più Lento": I ricercatori hanno misurato quanto migliorava il punteggio di uno studente con ogni nuovo tentativo.
- L'analogia: Pensate a scalare una scala. Prima della Penna Magica, ogni volta che uno studente saliva un gradino, si avvicinava significativamente alla cima. Dopo la Penna Magica, gli studenti salivano la scala molto più velocemente (facendo più cambiamenti), ma non si avvicinavano affatto alla cima. Stavano solo girando a vuoto.
- I dati: Il "miglioramento del punteggio per ogni modifica" è sceso significativamente. Gli studenti lavoravano di più (più modifiche), ma imparavano meno.
Il colpo di scena del Progetto di Gruppo
Lo studio ha esaminato anche un progetto di gruppo in cui gli studenti costruivano insieme un sito web.
- Il risultato: I punteggi del team sono effettivamente aumentati leggermente dopo l'arrivo della Penna Magica.
- L'analogia: È come una squadra sportiva dove un giocatore porta in campo un robot super veloce. La squadra vince più partite, ma i giocatori umani potrebbero non stare diventando più forti. Il robot sta facendo il lavoro pesante, mascherando il fatto che gli umani potrebbero non contribuire più quanto prima.
L'avvertimento del "Centauro"
Gli autori confrontano il futuro del lavoro con gli Scacchi.
- Negli scacchi, un "Centauro" è una squadra composta da un essere umano e un computer che lavorano insieme. Queste squadre sono migliori degli umani da soli o dei computer da soli.
- Il problema: I ricercatori temono che gli studenti stiano diventando come giocatori di scacchi che hanno dimenticato come muovere i pezzi perché stanno solo dicendo al computer cosa fare.
- Hanno scoperto che gli studenti che si affidavano pesantemente alla Penna Magica (indicato da quei cambiamenti di codice enormi e gonfi) ottenevano in realtà risultati leggermente peggiori in altri compiti individuali. Ciò suggerisce che, sebbene la Penna Magica aiuti a completare il compito, potrebbe danneggiare la capacità di apprendere le abilità necessarie per svolgere quel compito da soli.
In sintesi
Il documento conclude che, sebbene gli studenti ottengano ancora buoni voti, il loro comportamento è cambiato in un modo che suggerisce un eccessivo affidamento all'IA.
- Stanno consegnando codice più lungo e disordinato.
- Stanno effettuando più modifiche senza imparare molto da esse.
- Ottengono punteggi perfetti in compiti semplici, ma la loro efficienza di apprendimento complessiva sembra diminuire.
Gli autori avvertono che le scuole e i datori di lavoro devono ripensare il modo in cui misurano la "competenza". Solo perché uno studente può produrre un risultato perfetto con una Penna Magica, non significa che sappia come cucinare la torta. Devono capire come insegnare agli studenti a essere i maestri di scacchi che guidano il computer, piuttosto che semplicemente le persone che premono il tasto "vai".
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.