Fine-Tuning Large Language Models for Codebook-Guided Coding of Students' Mathematics Metaphor Responses

Immagina di essere un detective che cerca di risolvere un mistero, ma invece delle impronte digitali, cerchi indizi nel modo in cui le persone parlano dei loro sentimenti. Nel mondo dell'istruzione, i ricercatori spesso chiedono agli studenti di scrivere i propri pensieri con parole proprie — come, "Se la matematica fosse un cibo, cosa sarebbe?". Queste risposte aperte sono miniere d'oro per capire come i ragazzi si sentono riguardo alla scuola, ma sono un incubo da leggere una per una. Ci vuole molto tempo affinché esperti umani leggano migliaia di queste storie e le classifichino in categorie, come "felice", "frustrato" o "confuso". È qui che entra in gioco l'Intelligenza Artificiale (IA). Specificamente, i Large Language Models (LLM) sono come robot super intelligenti che possono leggere e comprendere il linguaggio umano. La grande domanda che i ricercatori si sono posti è: Possiamo insegnare a questi robot di agire come esperti detective umani? E se lo facessimo, possiamo farli lavorare sui nostri computer per mantenere al sicuro i segreti degli studenti, invece di inviare dati privati alle grandi aziende tecnologiche?

Questo studio approfondisce esattamente questa domanda. I ricercatori hanno preso una collezione di 2.265 risposte reali di studenti su metafore matematiche e hanno insegnato a due modelli di IA open-source più piccoli a codificarle proprio come farebbe un esperto umano. Hanno utilizzato una tecnica speciale di addestramento chiamata "fine-tuning", che è come dare al robot un corso intensivo utilizzando le chiavi di risposta degli esperti umani. I risultati sono stati sorprendenti: dopo questo addestramento, i modelli di IA più piccoli e meno costosi sono diventati così bravi nel compito da battere spesso i modelli massicci, costosi e "black-box" che le aziende vendono di solito. Lo studio suggerisce che, con l'addestramento giusto, possiamo avere strumenti di IA potenti, privati e accurati direttamente nelle nostre classi per aiutare a comprendere come gli studenti si sentono riguardo alla matematica, senza dover inviare i loro dati altrove.

Il dilemma del detective: Leggere tra le righe

Pensa alla metafora di uno studente come a un codice segreto. Quando uno studente dice, "La matematica è come un cane perché è un amico leale", non sta solo parlando di animali domestici; ci sta dicendo che si sente al sicuro e felice con la matematica. Ma se dice, "La matematica è come un mosquito perché non mi lascia in pace", sta dicendo che la matematica è fastidiosa e ineludibile. Questi sono sentimenti complessi avvolti in parole semplici.

Per decenni, i ricercatori si sono affidati a esperti umani per decodificare questi messaggi. È un po' come avere un team di traduttori che cerca di tradurre una biblioteca di libri a mano. È lento, costoso e difficile da scalare. Se hai 100 studenti, un essere umano può farlo. Se ne hai 100.000, gli umani si stancano e il processo si ferma.

Entra in scena il Large Language Model (LLM). Puoi pensare a un LLM come a un robot che ha letto quasi tutto su internet. È incredibilmente bravo a indovinare cosa viene dopo in una frase e a comprenderne il contesto. Ma, proprio come uno studente intelligente che non ha seguito la specifica lezione che stai insegnando, un robot generico potrebbe non sapere esattamente come vuoi che classifichi queste metafore. Potrebbe indovinare "felice" quando tu volevi "neutro", o potrebbe perdere la sottile differenza tra "sfidante" e "minaccioso".

Inoltre, c'è un problema di privacy. La maggior parte dei robot super potenti (come quelli delle grandi aziende tecnologiche) vive sui loro server. Per usarli, devi inviare loro i scritti privati dei tuoi studenti. Per le scuole, questo è come consegnare un diario pieno di segreti a uno sconosciuto. I ricercatori volevano sapere se potevano costruire un robot che viva sul proprio computer, che sia addestrato specificamente sul lavoro e che mantenga i segreti al sicuro.

L'esperimento: Insegnare le regole al robot

I ricercatori hanno organizzato una gara. Da una parte, c'erano i campioni della "Big Tech": due modelli proprietari molto potenti (GPT-4o mini e GPT-5 mini) che sono stati utilizzati "così come sono". Sono stati dotati di un insieme di regole (un codice) e hanno dovuto classificare le metafore degli studenti. Non hanno ricevuto alcun addestramento speciale; dovevano solo capire il compito dalle istruzioni.

Dall'altra parte, c'erano due modelli "Open-Weight" (DeepSeek-R1 1.5B e Mistral 7B). Questi sono modelli più piccoli e meno costosi che chiunque può scaricare ed eseguire sui propri server. I ricercatori hanno preso questi modelli e hanno dato loro un "corso intensivo" usando una tecnica chiamata fine-tuning supervisionato basato su LoRA.

Immagina di insegnare a un cane a riportare la pallina. Il metodo "solo prompt" è come dire al cane ripetutamente: "Vai a prendere la palla!". Il metodo "fine-tuning" è come portare il cane in un campo di addestramento dove gli mostri esattamente come afferrare la palla, riportarla indietro e depositarla nella tua mano, usando mille esempi di un essere umano che lo fa perfettamente. I ricercatori hanno fornito ai modelli open-weight 2.265 esempi di metafore di studenti che erano già stati correttamente classificati da esperti umani. I modelli hanno imparato a imitare le decisioni degli esperti umani.

Il compito aveva due parti:

1. Codifica Valenza-Intensità: Quanto è forte il sentimento? È molto negativo (1), neutro (3) o molto positivo (5)?
2. Codifica Tematica: Qual è la storia? La matematica è uno "strumento", una "minaccia", un "viaggio" o un "noioso compito"?

I Risultati: Gli underdog vincono

I risultati della gara sono stati chiari ed eccitanti. Prima dell'addestramento, i modelli open-weight più piccoli erano terribili nel compito. Indovinavano a caso. Ma dopo il "corso intensivo" (fine-tuning), si sono trasformati.

Il salto di prestazione:
I modelli sottoposti a fine-tuning non sono solo migliorati un po'; sono migliorati moltissimo.

• Per le metafore sul "cibo", l'accuratezza del modello DeepSeek è passata da 0,369 a 0,787.
• L'accuratezza del modello Mistral sulle metafore alimentari è passata da 0,207 a 0,778.
• Sulle metafore sugli "animali", il modello Mistral è migliorato da 0,267 a 0,766.

Nel mondo dell'IA, questi numeri sono enormi. Significa che i robot addestrati ora concordano con gli esperti umani quasi quanto due esperti umani concordano tra di loro.

Battere i giganti:
Ecco il colpo di scena: i modelli più piccoli e addestrati hanno effettivamente battuto i modelli grandi e costosi "solo prompt" in molte categorie.

• Il modello Mistral 7B sottoposto a fine-tuning ha superato sia GPT-4o mini che GPT-5 mini in quasi tutte le metriche per le metafore di cibo e animali.
• L'unico caso in cui i grandi modelli hanno vinto è stato su temi molto rari e specifici, dove i modelli più piccoli faticavano ancora un po', ma anche in quel caso, il divario era minimo.

Il test della "Stabilità":
Uno dei problemi più grandi dell'IA è che se fai la stessa domanda due volte, potrebbe darti due risposte diverse. Questo è male per la scienza. I ricercatori hanno testato questo aspetto eseguendo il modello tre volte.

• Il modello DeepSeek non addestrato era molto instabile, con un punteggio di stabilità di soli 0,592.
• Ma dopo l'addestramento, la sua stabilità è schizzata a 0,992.
• Il modello Mistral sottoposto a fine-tuning era perfetto, con un punteggio di 1,000.
• Persino i grandi modelli commerciali non erano stabili quanto gli open model addestrati (GPT-5 mini ha ottenuto 0,644 sulla stabilità tematica).

Ciò suggerisce che l'addestramento del modello su esempi specifici lo rende non solo più intelligente, ma anche più coerente e affidabile.

Cosa significa per il futuro

Lo studio suggerisce che non abbiamo bisogno di sistemi di IA massicci, costosi e rischiosi per la privacy per analizzare i sentimenti degli studenti. Prendendo modelli open più piccoli e addestrandoli con esempi umani, possiamo creare strumenti che siano:

1. Accurati: Corrispondono agli esperti umani.
2. Privati: Possono girare sul computer di una scuola, mantenendo al sicuro i dati degli studenti.
3. Scalabili: Possono gestire migliaia di risposte in pochi secondi.

Tuttamente, i ricercatori avvertono che questo non è un bacchetta magica per tutto. I modelli hanno ancora faticato un po' con temi molto rari (come le visioni sociali specifiche sulla matematica), suggerendo che se un argomento è molto insolito, il robot potrebbe aver bisogno di ancora più esempi per imparare. Inoltre, lo studio ha guardato solo a studenti dalla 6ª alla 8ª classe che parlavano di cibo e animali, quindi non sappiamo ancora se funzioni per gli studenti delle superiori che parlano di algebra o per gli universitari che parlano di calcolo.

Ma il messaggio principale è uno di speranza: possiamo costruire i nostri "robot detective" che sono intelligenti, sicuri e pronti ad aiutare gli insegnanti a comprendere i sentimenti nascosti nelle parole dei loro studenti. Il futuro della misurazione educativa potrebbe non essere nel cloud, ma proprio lì, sul server della scuola, addestrato dagli stessi esperti che conoscono meglio gli studenti.