💻 computer science

Automated Scoring of Handwritten Mathematical Problem Posing Using Large Language Models

Questo studio dimostra che il modello linguistico di grandi dimensioni Gemini 3.5 Flash può ottenere una valutazione automatizzata affidabile di compiti di formulazione di problemi matematici scritti a mano da parte di studenti delle scuole medie quando si utilizza un approccio di prompting zero-shot con una rubrica strutturata, in particolare per problemi con numeri interi e quando si utilizzano input di testo OCR revisionati.

Autori originali: Tuğrul Kar, Tarık Kışla, Muhammed Ali Kayici, Burak Aydın

Pubblicato 2026-07-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Tuğrul Kar, Tarık Kışla, Muhammed Ali Kayici, Burak Aydın

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un insegnante con una montagna di compiti da correggere. Sai che chiedere agli studenti di creare i propri problemi di matematica è un superpotere per l'apprendimento: sviluppa la creatività e una comprensione profonda. Ma correggere queste risposte scritte a mano in modo creativo è un incubo. Ogni studente scrive in modo diverso, alcuni inventano scenari impossibili e altri scrivono semplicemente sciocchezze. Ci vuole un'eternità e persino gli insegnanti umani possono essere in disaccordo su cosa costituisca un problema "buono". È qui che l'Intelligenza Artificiale (IA) interviene, promettendo di essere un instancabile assistente alla correzione. Ma ecco il problema: l'IA è brava a leggere il testo stampato, ma può davvero comprendere gli scarabocchi matematici scritti a mano e distinguere tra una brillante domanda di uno studente e un pasticcio confuso? Questa domanda si colloca all'intersezione tra educazione e informatica, esplorando se le macchine possano imparare a "pensare" come un insegnante di matematica quando valutano la creatività degli studenti.

I ricercatori in questo studio hanno deciso di mettere alla prova un'IA molto intelligente, chiamata Gemini 3.5 Flash. Volevano vedere se questa IA potesse leggere problemi di matematica scritti a mano creati da 235 studenti di scuola media e valutarli con la stessa precisione dei docenti umani. Per farlo, hanno predisposto un "test di assaggio" con due diversi scenari: uno che coinvolge numeri interi (come le distanze percorse in auto) e un altro che riguarda le frazioni (come dividere una torta). Hanno fornito all'IA due versioni dello stesso testo scritto a mano: una che era stata letta direttamente dagli occhi del computer (il che a volte genera errori con la grafia disordinata) e una che era stata accuratamente corretta da esperti umani. Hanno anche provato a dare all'IA le regole di valutazione in due ordini diversi — partendo dal punteggio più basso e salendo, o partendo dal punteggio più alto e scendendo — per vedere se l'ordine delle istruzioni cambiasse il giudizio dell'IA.

I risultati sono stati un misto di "grandi notizie" e "lavoro da fare". Lo studio ha rilevato che, quando l'IA utilizzava il testo corretto dagli esperti, concordava con gli insegnanti umani molto meglio rispetto a quando utilizzava la lettura grezza e disordinata del computer. Tuttavia, il tipo di problema matematico contava molto. L'IA era molto più accurata nel valutare problemi riguardanti i numeri interi (il compito sulla guida) rispetto ai problemi sulle frazioni (il compito sulla torta). Sembra che l'IA facesse più fatica con le sfumature delle frazioni, assegnando spesso punteggi alti a risposte che erano matematicamente corrette ma che non si adattavano affatto alla storia raccontata dallo studente. Interessante notare che l'ordine in cui le regole di valutazione venivano presentate all'IA non contava affatto; che l'IA partisse dal basso o dall'alto della rubrica, le sue prestazioni rimanevano le stesse.

In breve, lo studio suggerisce che l'IA può essere un aiutante affidabile per correggere problemi di matematica scritti a mano, ma non è ancora perfetta. Funziona meglio quando la grafia è chiara e la matematica coinvolge numeri interi. I ricercatori hanno scoperto che il semplice fatto di fornire all'IA un testo migliore (facendo correggere gli errori di lettura del computer da esseri umani) faceva una differenza notevole, ma l'IA ha ancora bisogno di aiuto per comprendere la "storia" dietro la matematica, specialmente quando sono coinvolte le frazioni. Sebbene l'IA non si sia confusa con l'ordine delle istruzioni, è inciampata nella complessità del contenuto matematico. Gli autori concludono che, sebbene l'IA detenga un potenziale sostanziale per aiutare gli insegnanti, dobbiamo fare attenzione a come la utilizziamo, specialmente per argomenti più complessi come le frazioni, e dovremmo sempre ricontrollare che il computer stia leggendo correttamente la grafia dello studente prima che inizi a correggere.

Sintesi Tecnica: Valutazione Automatica della Formulazione di Problemi Matematici Scritti a Mano mediante Large Language Models

Definizione del Problema
Sebbene gli insegnanti riconoscano il potenziale dell'intelligenza artificiale (IA) per la valutazione delle risposte di formulazione di problemi (problem posing), le prove empiriche riguardanti l'affidabilità della valutazione automatica (AS) in questo specifico dominio rimangono limitate. La formulazione di problemi genera risposte eterogenee e aperte che sono difficili da analizzare sistematicamente, portando spesso a inconsistenze e soggettività nella valutazione umana. Sebbene i Large Language Models (LLM) siano diventati strumenti dominanti per l'AS, la loro applicazione alla formulazione di problemi matematici scritti a mano — in particolare con lingue non inglesi e contenuti complessi come le frazioni — non è stata rigorosamente validata. Gli studi esistenti si affidano spesso a design a compito singolo o a rubriche basate su esempi che potrebbero non tradursi in contesti scolastici autentici. Inoltre, non è chiaro come i tipi di compito (ad esempio, numeri interi rispetto a frazioni) e le variabili di prompt engineering (ad esempio, l'ordine della rubrica) influenzino l'accordo tra i valutatori umani e gli LLM.

Metodologia
Lo studio ha impiegato un disegno quantitativo per esaminare l'accordo tra i valutatori umani e il modello Gemini 3.5 Flash per la valutazione delle risposte scritte a mano degli studenti.

Partecipanti e Compiti: I dati sono stati raccolti da 235 studenti della scuola secondaria di primo grado (classi 6ª e 7ª) in Turchia. Gli studenti hanno completato due compiti distinti di formulazione di problemi: un compito "Cake" (Torta) che coinvolgeva le frazioni e un compito "Drive" (Guida) che coinvolgeva numeri interi. Ogni studente ha generato tre problemi per compito.
Elaborazione dei Dati:
- Codifica Umana: Due valutatori esperti hanno assegnato punteggi alle risposte utilizzando un approccio orientato al consenso basato su una rubrica raffinata a sette livelli (da 0: Nessuna risposta a 6: Sufficiente). La rubrica incorporava criteri di pertinenza al compito, risolvibilità e coerenza logica.
- OCR e Variazioni di Input: Le risposte scritte a mano sono state digitalizzate utilizzando l'OCR di Gemini. Per ogni risposta sono stati creati due dataset di input:
  - i1: Output OCR originale generato esclusivamente dall'LLM.
  - i2: Output OCR revisionato da esperti, in cui esperti di dominio hanno corretto gli errori di trascrizione (ad esempio, frazioni o nomi letti erroneamente).
- Valutazione Automatica (AS): Il modello Gemini 3.5 Flash è stato utilizzato attraverso un approccio di prompting zero-shot. Al modello è stato assegnato il ruolo di assistente esperto alla valutazione e gli è stato ordinato di valutare rigorosamente in base alla rubrica fornita.
- Variazioni di Prompt: Lo studio ha manipolato l'ordine dei criteri della rubrica nei prompt:
  - p1 (Ascendente): Valutazione dalla categoria più bassa (0) alla più alta (6).
  - p2 (Decrescente): Valutazione dalla categoria più alta (6) alla più bassa (0).
- Condizioni Sperimentali: Ciò ha portato a quattro scenari di AS per compito (ASi1p1, ASi1p2, ASi2p1, ASi2p2).
Analisi:
- Metriche di Accordo: Lo studio ha calcolato il Kappa Pesato Quadratico (QWK), il Kappa Pesato Lineare (LWK), la correlazione di Pearson, la correlazione di distanza e la Percentuale di Tertium Quid (PTQ) per misurare l'accordo tra i punteggi umani e quelli dell'AS.
- Modellazione Multilivello: È stato utilizzato un modello lineare a tre livelli per predire la differenza assoluta tra i punteggi umani e quelli dell'AS. La variabile dipendente era la differenza assoluta di punteggio. I predittori includevano il Tipo di Compito (Cake vs. Drive), il Tipo di Input (i1 vs. i2) e la Direzione del Prompt (p1 vs. p2), insieme alle loro interazioni. Gli effetti casuali erano annidati all'interno delle risposte e degli studenti.

Risultati Chiave

Accordo Complessivo: Lo studio ha trovato un potenziale sostanziale per il prompting zero-shot con rubriche ben strutturate. La differenza media assoluta tra i valutatori umani e l'AS è stata di 0,43 punti su una scala da 0 a 6.
Impatto della Qualità dell'Input: L'accordo è stato significativamente più forte utilizzando gli input OCR revisionati (i2) rispetto agli output OCR originali (i1). L'effetto del tipo di input è stato significativo ( $p = .002$ ), sebbene l'entità del miglioramento sia stata modesta (una riduzione di 0,06 punti nella differenza assoluta).
Impatto del Tipo di Compito: Il tipo di compito è stato il predittore più forte dell'accordo. Il compito "Drive" (numeri interi) ha prodotto un accordo significativamente più alto rispetto al compito "Cake" (frazioni) ( $p < .001$ $p < .001$ ). La differenza assoluta era di 0,17 punti inferiore per il compito Drive.
- Compito Drive: Il maggiore accordo è stato osservato con input revisionati e prompt ascendenti (QWK = 0,849).
- Compito Cake: Il minore accordo si è verificato con input originali e prompt ascendenti (QWK = 0,684).
Impatto dell'Ordine del Prompt: La direzione della rubrica (ascendente vs. decrescente) non ha avuto un effetto significativo sull'accordo uomo-macchina ( $p = .428$ ). Non sono state trovate interazioni significative tra compito, input e direzione del prompt.
Analisi degli Errori: Le discrepanze nel compito Cake derivavano spesso dal fatto che l'LLM assegnava punteggi alti a risposte matematicamente valide ma prive di contesto (ad esempio, calcolare la media delle velocità senza integrare il contesto della storia) o dall'interpretazione errata se una risposta fosse stata esplicitamente disponibile nei dati. Gli errori OCR hanno occasionalmente portato a una classificazione errata della pertinenza al compito o delle incoerenze logiche.

Contributi Chiave

Evidenza Empirica nella Formulazione di Problemi: Lo studio fornisce una delle prime validazioni empiriche dell'AS basata su LLM specificamente per la formulazione di problemi matematici, estendendo le precedenti scoperte dalla risoluzione di problemi alla generazione di problemi.
Viabilità dello Zero-Shot: Dimostra che il prompting zero-shot, quando abbinato a una rubrica strutturata, può raggiungere livelli di affidabilità comparabili ai valutatori umani senza la necessità di fine-tuning supervisionato o addestramento few-shot.
Affidabilità Dipendente dal Compito: La ricerca evidenzia che l'affidabilità dell'AS non è uniforme tra i diversi domini matematici; essa performa significativamente meglio con i numeri interi rispetto alle frazioni, suggerendo limitazioni specifiche del contenuto nelle attuali capacità degli LLM.
Approfondimenti sul Prompt Engineering: Lo studio mette in discussione l'idea che l'ordine della rubrica (ascendente vs. decrescente) influenzi significativamente l'accuratezza della valutazione in questo contesto, suggerendo che framework logicamente strutturati possano mitigare i bias di ordine di risposta negli LLM avanzati.

Significato e Rivendicazioni
Gli autori affermano che i loro risultati offrono un supporto empirico all'uso degli LLM per assistere gli insegnanti nella valutazione dei compiti di formulazione di problemi degli studenti, potenzialmente riducendo il carico di lavoro della valutazione e consentendo un'integrazione più frequente della formulazione di problemi nelle classi. Lo studio suggerisce che, sebbene l'AS sia robusto per i compiti con numeri interi, è necessaria cautela quando si applica ad compiti basati su frazioni o contesti che richiedono una profonda integrazione contestuale. Gli autori sottolineano che garantire un input di alta qualità (tramite la correzione OCR) e affinare il design dei prompt per affrontare specifiche sfide di codifica (come l'integrazione del contesto e la sufficienza dei dati) sono critici per massimizzare la validità della valutazione automatica nell'educazione matematica. Il documento conclude che, sebbene l'AS sia promettente, è necessaria un'ulteriore validazione attraverso diversi argomenti e lingue prima di una generalizzazione ampia.

Articoli simili