The comparative evaluation of explanations for algorithmic programming problems provided by a Human vs. ChatGPT: an exploratory online user study

In classe, la relazione tra uno studente e un insegnante è stata a lungo definita dallo scambio di conoscenze, in cui una guida umana scompone idee complesse in passaggi comprensibili. Oggi, un nuovo tipo di guida è entrata nella stanza: l'intelligenza artificiale. Questi sistemi possono generare testo, risolvere problemi matematici e scrivere codice informatico con una velocità che rivaleggia con quella degli esperti umani. Ma una domanda critica rimane per educatori e genitori: quando uno studente sta cercando di imparare, conta chi sta fornendo la spiegazione? Esiste una differenza fondamentale tra una soluzione creata da una persona e una generata da una macchina, e uno studente può distinguere la differenza? Questa indagine si colloca al centro di un recente studio che esplora come gli studenti percepiscono le spiegazioni per compiti di programmazione difficili, specificamente quando queste sono fornite da un personaggio digitale piuttosto che da una persona in carne ed ossa.

I ricercatori, un team di scienziati provenienti da università del Kazakistan, si sono posti l'obiettivo di testare i limiti di questa tecnologia emergente con un gruppo di trentasette studenti delle scuole superiori. Non erano principianti; i partecipanti avevano tra i quindici e i diciassette anni e provenivano da una scuola specializzata nota per la formazione di studenti nelle competizioni di matematica e scienze. Avevano già trascorso anni imparando a programmare, con molti che avevano iniziato già durante la scuola primaria. L'obiettivo era vedere se questi giovani programmatori esperti potessero distinguere tra soluzioni scritte da un istruttore umano e quelle prodotte da un modello linguistico di grandi dimensioni, un tipo di intelligenza artificiale capace di generare testo e codice. Per rendere il test equo e rimuovere ogni pregiudizio basato sulla voce o sull'aspetto di una persona, i ricercatori hanno utilizzato un personaggio animato in 3D, o avatar, per fornire le spiegazioni. Questa figura digitale parlava con una voce generata al computer, assicurando che gli studenti non potessero fare affidamento su segnali umani come il tono o l'emozione per indovinare la fonte della risposta.

L'esperimento era strutturato come una serie di sfide. Agli studenti sono stati mostrati cinque diversi problemi di programmazione, ciascuno accompagnato da una soluzione e da una spiegazione. Questi problemi sono stati tratti da una popolare piattaforma online utilizzata dai programmatori competitivi. Per ogni problema, la spiegazione era fornita dallo stesso avatar 3D, ma la fonte del codice variava. In alcuni casi, il codice e la spiegazione provenivano da un esperto umano che aveva risolto il problema sul sito web. In altri, il codice era stato generato da un sistema di intelligenza artificiale. Gli studenti guardavano l'avatar spiegare la soluzione e poi venivano sottoposti a una serie di domande. Dovevano valutare quanto comprendessero il materiale, cercare di indovinare se il codice fosse stato scritto da un essere umano o da una macchina, ed valutare l'avatar stesso. I ricercatori hanno anche controllato se l'esperienza precedente degli studenti con la programmazione o le loro interazioni precedenti con gli avatar digitali influenzassero la loro capacità di distinguere la differenza.

I risultati dello studio hanno offerto un'intuizione sorprendente su come gli studenti interagiscono con questa tecnologia. Quando interrogati sull'identificazione della fonte del codice, i dati hanno rivelato un modello sfumato: i partecipanti selezionavano "fornito da ChatGPT" più spesso e con maggiore decisione per i compiti che erano effettivamente forniti da ChatGPT. Tuttavia, per i compiti forniti da esseri umani, erano più esitanti e selezionavano la fonte in modo più equo tra umano e IA. Ciò suggerisce che, sebbene gli studenti potessero identificare i contenuti generati dall'IA con un certo grado di fiducia, distinguere le soluzioni umane fosse più difficile, portando a un misto di tentativi corretti e errati piuttosto che a una capacità chiara e costante di distinguerle. Gli studenti hanno valutato la comprensione delle soluzioni in modo simile, indipendentemente dal fatto che il codice provenisse da una persona o da una macchina. Inoltre, lo studio ha rilevato che il background dello studente non cambiava il risultato. Che uno studente avesse iniziato a programmare durante la scuola primaria o quella superiore, o che avesse interagito in precedenza con assistenti digitali, ciò non influenzava significamente la sua capacità di distinguere la fonte o il suo livello di coinvolgimento.

Sebbene gli studenti non riuscissero a distinguere facilmente tra le due fonti, i loro feedback sul metodo di consegna sono stati più critici. L'avatar 3D, che fungeva da narratore per entrambe le soluzioni (umana e meccanica), ha ricevuto recensioni contrastanti. Molti studenti hanno notato che la voce del personaggio era monotona e priva del ritmo naturale del parlato umano. Hanno sottolineato che i movimenti dell'avatar erano talvolta ripetitivi e non sempre corrispondevano alle parole pronunciate, il che rendeva più difficile concentrarsi sulla complessa logica del codice. Alcuni studenti hanno percepito che la natura robotica del personaggio rendesse l'esperienza di apprendimento meno personale e più difficile da seguire. Nonostante queste critiche, il sentimento generale era ottimista. La maggior parte degli studenti credeva che tale tecnologia potesse essere utile in futuro, in particolare come strumento per spiegare concetti difficili quando un insegnante non è disponibile. Hanno riconosciuto che, sebbene l'attuale versione dell'avatar presentasse dei difetti, miglioramenti nella voce e nell'animazione avrebbero potuto renderlo un prezioso complemento all'istruzione.

Lo studio conclude che, sebbene l'intelligenza artificiale sia rapidamente in grado di produrre spiegazioni indistinguibili da quelle umane in termini di chiarezza e accuratezza, il mezzo di consegna conta ancora. Gli studenti erano disposti ad accettare la tecnologia come ausilio all'apprendimento, ma sono stati rapidi nel identificare i limiti degli attuali avatar digitali. La ricerca suggerisce che, man mano che questi strumenti evolvono, l'attenzione deve spostarsi non solo sulla qualità del codice che generano, ma sulla qualità dell'interazione che forniscono. Per gli educatori, i risultati implicano che gli studenti potrebbero presto essere in grado di imparare efficacemente da contenuti generati dalle macchine, ma il tocco umano di un insegnante rimane unico nella sua capacità di connettersi, adattarsi e coinvolgere in un modo che un avatar statico e monotono non può ancora replicare. Il futuro dell'istruzione potrebbe ben comprendere una partnership tra insegnanti umani e macchine intelligenti, ma il percorso verso tale partnership richiede di perfezionare gli strumenti digitali affinché siano coinvolgenti quanto le persone che sono destinati ad assistere.