CodeStylist: Supporting Early Undergraduate Programmers with Course-Aware Code Style Feedback

Immagina di stare imparando a scrivere una storia. Sai che la trama deve avere senso, i personaggi devono agire in modo coerente e il finale deve essere soddisfacente. Ma c'è un altro livello: il tuo insegnante vuole anche che tu usi font specifici, che tu indenti i paragrafi nel modo giusto e che eviti di iniziare le frasi con "E". Se scrivi la trama correttamente ma sbagli la formattazione, potresti perdere punti. Nel mondo della programmazione informatica, questa "formattazione" è chiamata stile del codice (code style). Non riguarda se il computer può eseguire il programma (quella è la trama), ma se il codice è pulito, organizzato e facile da leggere per altri esseri umani.

Per molto tempo, gli insegnanti hanno lottato con questo problema. Vogliono che gli studenti imparino queste regole di ordine e pulizia, ma fornire un feedback su di esse richiede un tempo infinito. Se un insegnante aspetta fino alla fine del semestre per dire: "Ehi, hai usato il font sbagliato per i nomi delle tue variabili", lo studente ha già dimenticato la lezione. Recentemente, è apparso un nuovo tipo di "assistente intelligente" chiamato Large Language Model (LLM). Pensate a questi come a robot super intelligenti che possono leggere il vostro codice e chattare con voi al riguardo. Ma ecco il problema: questi robot sono bravi a dare consigli generici, ma spesso non conoscono le regole specifiche della vostra particolare classe. Potrebbero dirvi di scrivere come un professionista di un altro paese, quando il vostro insegnante vuole solo che seguiate le regole della scuola locale.

Questo è il problema che un team di ricercatori della Purdue University ha cercato di risolvere con un nuovo strumento chiamato CodeStylist. Volevano vedere se potevano costruire un robot che sapesse esattamente cosa vuole il vostro specifico insegnante, in modo da potervi dare consigli utili mentre state ancora scrivendo il codice, e non dopo che lo avete già consegnato. Non si sono limitati a costruirlo; hanno chiesto a un gruppo di insegnanti e assistenti all'insegnamento di provarlo e di dire loro se fosse effettivamente utile o se fosse solo un giocattolo costoso che avrebbe confuso gli studenti.

L'esperimento: Un robot che conosce il programma del corso

I ricercatori hanno costruito CodeStylist, un'app web che funge da editor personale per gli studenti di programmazione. Inve invece di dare consigli generici come "rendi il tuo codice più pulito", CodeStylist è configurato con la "guida di stile" specifica di un particolare corso. È come avere un robot a cui è stato dato il testo esatto del programma del corso e della rubrica del vostro insegnante da consultare.

Ecco come funziona nel mondo reale: uno studente carica i propri file di codice (che potrebbero essere un intero progetto con molti file diversi, non solo uno). Dice allo strumento: "Questo è per la mia classe di programmazione in C" e lo strumento invia il codice a un Large Language Model (un'IA). L'IA legge il codice e genera un rapporto che indica righe specifiche. Dice cose come: "Ehi, alla riga 42, hai chiamato questa variabile 'x', ma la regola della nostra classe dice che le variabili dovrebbero essere descrittive, come 'punteggioTotale'. Inoltre, hai dimenticato un commento qui che spieghi cosa fa questa parte".

Fondamentalmente, nella versione testata in questo studio, lo strumento si è affidato interamente all'IA per prendere queste decisioni. Non aveva un programma informatico separato e rigoroso (un controllore "deterministico") per verificare i fatti. Ha chiesto all'IA di trovare le regole e gli errori tutto in una volta.

L'obiettivo non era correggere il codice per lo studente o valutarlo. L'obiettivo era agire come un "compagno di revisione" — uno strumento per aiutare gli studenti a individuare gli errori prima di premere il tasto invio. I ricercatori volevano sapere: Gli insegnanti si fiderebbero di questo robot? Gli studenti lo userebbero davvero? E soprattutto, il robot darebbe consigli che corrispondono a ciò che gli insegnanti vogliono realmente?

Cosa hanno detto gli insegnanti: Un risultato misto

Per scoprirlo, i ricercatori hanno riunito 18 membri del personale didattico (assistenti all'insegnamento e un istruttore) di un corso di informatica alla Purdue. Questi erano le persone che leggevano effettivamente il codice degli studenti ogni settimana. Sono stati messi in possesso dello strumento e gli è stato chiesto di testarlo con esempi di codice reali che avevano già visto in precedenza. Successivamente, hanno compilato un sondaggio e condiviso i loro pensi onesti.

I risultati sono stati un po' come una recita scolastica dove gli attori stanno facendo del loro meglio, ma la sceneggiatura ha bisogno di qualche editing.

Le Buone Notizie:
Gli insegnanti concordavano sul fatto che l'idea fosse ottima. Vedevano che CodeStylist poteva rendere visibili le regole invisibili. Un insegnante ha notato che era come avere un "secondo paio di occhi" capace di individuare istantaneamente gli errori di stile. Credevano che gli studenti avrebbero effettivamente usato lo strumento, con la maggior parte che prevedeva che gli studenti avrebbero controllato il proprio codice almeno una volta a settimana. Gli insegnanti lo consideravano un modo utile per individuare gli errori di stile prima del voto finale, risparmiando tempo a tutti nel lungo periodo.

Le Cattive Notizie (e la Grande Preoccupazione):
Il problema principale era la fiducia. Gli insegnanti non si fidavano completamente delle risposte del robot.

• Accuratezza: Quando interrogati su quanto spesso il robot dicesse il vero, gli insegnanti hanno stimato una media del 60,7%. Ciò significa che quasi 4 volte su 10, il robot potrebbe sbagliare, confondere o dare consigli che non corrispondono alle regole della classe. Poiché lo strumento si affidava esclusivamente all'IA senza un backup rigoroso come un "correttore ortografico", a volte mancava l'obiettivo o inventava cose.
• Utilità: Su una scala da 1 a 5, gli insegnanti hanno valutato l'utilità delle risposte a 3,50 e l'utilità pratica a 3,33. Questi sono punteggi "accettabili", ma non "straordinari".
• Apprendimento: La preoccupazione maggiore era se lo strumento avrebbe effettivamente aiutato gli studenti ad imparare. La valutazione media per l'"apprendimento anticipato dello studente" era di 2,61 su 5. Questo è al di sotto del punto centrale. Gli insegnanti temevano che, se il robot avesse dato consigli errati, gli studenti avrebbero potuto semplicemente seguirli ciecamente senza pensare, o confondersi quando il consiglio del robot fosse entrato in conflitto con le reali regole dell'insegnante.

Un assistente all'insegnamento era così scettico da dare allo strumento un tasso di accuratezza del 4% e ha affermato che gli studenti non lo avrebbero "Mai" usato. Un altro ha espresso preoccupazione per il fatto che, se il robot avesse dato consigli sbagliati, avrebbe creato più lavoro per gli insegnanti, che avrebbero poi dovuto sistemare il pasticcio creato dal robot.

Il Verdetto: Una bozza promettente, non un prodotto finito

I ricercatori hanno concluso che CodeStylist è un inizio promettente, ma non è ancora pronto per essere l'autorità finale in classe. Gli insegnanti lo vedevano come uno strumento utile per controllare lo stile e individuare potenziali problemi, ma non lo vedevano ancora come uno strumento in grado di insegnare in modo affidabile i principi profondi di una buona programmazione.

Il documento suggerisce che, affinché questo strumento funzioni davvero, necessita di un approccio "ibrido". Invece di lasciare che l'IA indovini tutto, dovrebbe utilizzare regole informatiche rigide e immutabili (come un correttore ortografico) per trovare gli errori ovvi, e poi usare l'IA solo per spiegare perché quegli errori sono importanti. Gli insegnanti hanno anche chiesto migliori ausili visivi, come l'evidenziazione della riga di codice esatta e la mostra della specifica regola violata dallo studente, in modo che gli studenti possano verificare autonomamente il consiglio.

In breve, lo studio suggerisce che, sebbene il feedback consapevole del corso sia un'ottima idea, l'attuale versione di CodeStylist è un po' troppo inaffidabile per essere il migliore amico di un insegnante perché manca di quel rigoroso backup informatico. È una bozza utile che necessita di ulteriore lavoro per garantire che non insegni accidentalmente agli studenti il modo sbagliato di scrivere codice. I ricercatori credono che, se riusciranno a risolvere i problemi di accuratezza e a rendere il feedback più facile da verificare, questo tipo di strumento potrebbe diventare un elemento di svolta per aiutare gli studenti a scrivere codice più pulito e professionale.