Analyzing Undergraduate Problem-Solving in Physics Through Interaction With an AI Chatbot

Immaginate la lezione di fisica come una palestra gigante e rumorosa dove gli studenti cercano di imparare a far roteare delle motoseghe pesanti. Per decenni, gli insegnanti hanno saputo che gli esperti (i professionisti) e i principianti (i novizi) non solo giocolano in modo diverso; pensano in modo diverso. I professionisti hanno una mappa segreta nella loro testa che li aiuta a pianificare le mosse, controllare l'equilibrio e correggersi a mezz'aria. Ma in un'aula tradizionale, l'insegnante può vedere solo il risultato finale: la motosega ha colpito il pavimento o no? Il processo di pensiero disordinato e invisibile che è avvenuto prima della caduta rimane un mistero. Questo è un grande problema perché se non puoi vedere come sta pensando uno studente, non puoi aiutarlo a sistemare la sua mappa.

Entra in scena il nuovo coach: l'Intelligenza Artificiale (IA). Pensate all'IA non come a un robot che fornisce semplicemente risposte, ma come a un tutor "socratico" — una parola elegante per un coach che non ti dice mai la risposta, ma ti pone le domande perfette per aiutarti a capirlo da solo. È come un GPS che si rifiuta di dire "gira a sinistra", ma chiede invece: "Vedi il cartello stradale per Via Main?". Questo approccio è progettato per costruire la propria mappa mentale dello studente. La grande domanda per gli scienziati è: questo coach IA aiuta davvero gli studenti a far roteare meglio le motoseghe e possiamo imparare qualcosa su come stanno pensando solo ascoltando le domande che pongono al coach?

---

In questo studio, i ricercatori della Purdue University hanno deciso di testare questo coach IA in una vera palestra di fisica. Hanno configurato una chatbot personalizzata per 150 studenti del primo anno di un corso impegnativo di scienze. Inveve di consegnare semplicemente i compiti, la chatbot agiva come un assistente umano. Presentava uno scenario complicato: un uomo proiettile lanciato da una molla gigante, e lo studente doveva capire se l'artista sarebbe riuscito a superare un muro di 4,5 metri. Il punto era che la chatbot non avrebbe semplicemente risolto il problema per loro. Avrebbe chiesto: "Qual è il tuo piano?" oppure "Quali dati abbiamo?" e avrebbe aspettato la risposta dello studente.

I ricercatori volevano sapere due cose. Primo, come si sentivano gli studenti riguardo a questo coach IA. Li faceva sentire più intelligenti o più sicuri di sé? Secondo, i ricercatori potevano imparare qualcosa sulle capacità di problem-solving degli studenti semplicemente analizzando le domande che gli studenti ponevano alla bot? Hanno trattato i log della chat come una mappa del tesoro, cercando indizi su come il pensiero degli studenti evolvesse dal "Sono perso" al "Ce la faccio".

Cosa ne pensavano gli studenti
Quando gli studenti hanno terminato la sessione, hanno compilato un sondaggio. I risultati sono stati piuttosto incoraggianti. Su una scala da 1 a 5, gli studenti hanno dato alla chatbot un solido 4,0 su 5 per l'aiuto fornito nella comprensione dei concetti e delle abilità fisiche reali. Sentivano che la bot li aveva aiutati a imparare come affrontare i problemi da soli. Il punteggio di efficacia complessiva era un po' più basso, intorno a 3,4 su 5, il che suggerisce che, sebbene la bot fosse ottima per l'apprendimento, non era una bacchetta magica che rendeva tutto facile o divertente per tutti. Alcuni studenti trovavano ancora i compiti impegnativi, e la bot non ha eliminato completamente la fatica, ma li ha aiutati a gestirla.

L'evoluzione delle domande
È qui che la storia diventa davvero interessante. I ricercatori hanno esaminato le trascrizioni delle conversazioni, trattando ogni domanda posta dallo studente come un'istantanea del suo cervello in quel momento. Hanno categorizzato le domande in due tipi: "Ampie" (come "Non so da dove iniziare" o "Cosa devo fare?") e "Specifiche" (come "Dovrei usare la conservazione dell'energia qui?" o "L'altezza della molla è importante?").

All'inizio della chat, la maggior parte degli studenti era nel buio. Solo circa il 10-15% delle prime domande era specifico; il resto erano richieste di aiuto generiche. Ma man mano che la conversazione procedeva, accadeva qualcosa di magico. Gli studenti iniziavano a porre domande più acuminate e mirate. Al quarto turno della conversazione, circa il 58% delle domande era specifico. Alla fine della sessione, il 100% degli studenti poneva domande specifiche e focalizzate. Era come se il coach IA li avesse guidati con successo dal vagare senza meta nella nebbia al camminare su un sentiero dritto e ben illuminato.

Il legame con il successo
I ricercatori si sono poi chiesti: porre domande migliori significa ottenere voti migliori? Hanno confrontato quanto fossero specifiche le domande degli studenti rispetto al voto che si aspettavano di ottenere nel corso. Hanno trovato una "lieve correlazione positiva" (un modo statistico per dire che si muovono insieme) con un valore di 0,43.

Cosa significa questo in parole povere? Gli studenti che ponevano domande più specifiche e dettagliate tendevano ad aspettarsi voti più alti. Per esempio, molti studenti che pensavano di ottenere un "A" avevano oltre l'80% delle loro domande classificate come specifiche. D'altro canto, gli studenti che continuavano a porre domande ampie e vaghe tendevano ad aspettarsi voti più bassi (intorno a una "C").

Tuttavia, i ricercatori sono stati cauti nel non chiamarlo una regola perfetta. I dati erano un po' dispersi. Alcuni studenti che ponevano domande molto specifiche prevedevano comunque un voto mediocre, e alcuni studenti che si aspettavano voti alti ponevano domande sorprendentemente ampie. Ciò suggerisce che, sebbene porre buone domande sia un forte segno di un buon problem-solver, non è l'unica cosa che conta. Altri fattori, come quanto si sapesse già o quanto si fosse lavorato duramente, giocano un ruolo enorme.

La conclusione
Questo studio suggerisce che i chatbot IA possono essere potenti strumenti per insegnare la fisica, non solo fornendo risposte, ma guidando gli studenti a porre le domande giuste. La chatbot ha aiutato gli studenti a passare dal sentirsi persi al pensare come esperti. Sebbene porre domande specifiche sia un buon segno di successo, è solo un pezzo del puzzle. I ricercatori ammettono che si è trattato di un piccolo test con un solo tipo di problema, quindi devono condurre ulteriori studi per vedere se questo funziona per tutti e per ogni argomento. Ma per ora, sembra che avere un coach IA che chiede "Qual è il tuo piano?" invece di "Ecco la risposta" sia un ottimo modo per aiutare gli studenti a imparare a far roteare quelle motoseghe della fisica.