Towards Generalizable Representations of Mathematical Strategies

Titolo

Verso rappresentazioni generalizzabili delle strategie di soluzione matematica.

1. Il Problema

Le competenze matematiche, in particolare l'algebra, sono fondamentali per il successo nei campi STEM. Tuttavia, molti studenti faticano non solo a trovare la soluzione corretta, ma a comprendere la flessibilità strategica necessaria per passare da uno stato iniziale a uno stato finale (obiettivo) attraverso transizioni algebriche valide.
Attualmente, l'analisi dei processi di risoluzione dei problemi da parte degli studenti presenta due limiti principali:

1. Etichettatura manuale: I metodi tradizionali si basano su codifica umana laboriosa e non scalabile per identificare le strategie.
2. Dipendenza dalla piattaforma: Le rappresentazioni apprese sono spesso legate ad azioni specifiche di una piattaforma educativa (es. "clicca qui", "trascina lì"), il che impedisce il confronto delle strategie tra diversi ambienti di apprendimento o problemi diversi.
   Esiste quindi un bisogno urgente di metodi scalabili e agnostici rispetto alla piattaforma per rappresentare l'intero percorso di soluzione (solution pathway) e catturare la strategia sottostante, indipendentemente dal contenuto specifico del problema.

2. Metodologia

Gli autori propongono un approccio innovativo per apprendere rappresentazioni vettoriali invarianti rispetto al problema per intere sequenze di soluzioni algebriche.

A. Dati e Contesto

• Piattaforma: I dati provengono da From Here To There! (FH2T), una piattaforma gamificata dove gli studenti manipolano espressioni algebriche per trasformare uno stato iniziale in uno stato obiettivo.
• Dataset: Un ampio studio Randomized Control Trial (RCT) con 4.092 studenti di settima classe negli USA. Sono stati analizzati 193.782 percorsi di risoluzione, filtrati per rimuovere sequenze duplicate o eccessivamente lunghe (massimo 15 passaggi), risultando in 81.306 sequenze uniche.
• Preprocessing: Le transizioni sono state mappate su 75 tipi di azioni "ground truth", ma queste etichette sono state utilizzate solo per la valutazione, non per l'addestramento del modello, per garantire l'agnosticismo della piattaforma.

B. Architettura del Modello

L'approccio si basa su due fasi principali:

1. Codifica degli Stati e delle Transizioni:
   • Vengono utilizzati encoder pre-addestrati ad alta capacità (es. MathBERT, MathBERT-mamut) per codificare gli stati algebrici grezzi ($s_t$) in vettori ($h_t$).
   • Embedding di Stato vs. Transizione: Invece di aggregare direttamente gli stati, gli autori calcolano gli embedding di transizione ($\delta_t = h_t - h_{t-1}$). Questo approccio enfatizza la trasformazione matematica piuttosto che il contenuto specifico del problema, favorendo la generalizzazione.
2. Apprendimento della Sequenza (SimCSE):
   • Le sequenze di transizioni vengono elaborate da un modello basato su Transformer.
   • Viene utilizzato il framework SimCSE (Simple Contrastive Sentence Embeddings) per l'apprendimento non supervisionato.
   • Obiettivo Contrastivo: Il modello è addestrato a portare vicini nello spazio vettoriale gli embedding di sequenze semanticamente simili (coppie positive generate applicando dropout diverso alla stessa sequenza) e a separare quelli dissimili (coppie negative all'interno del batch). Questo forza la rete a catturare la struttura strategica della soluzione.

C. Valutazione (Probing Tasks)

Per verificare la capacità rappresentazionale degli embedding appresi, sono stati utilizzati tre task di "sondaggio" (probing):

1. Classificazione Multi-etichetta delle Azioni: Prevedere quali tipi di azioni (es. addizione, moltiplicazione) sono presenti nella sequenza.
2. Predizione dell'Efficienza: Classificare se una soluzione è ottimale, subottimale o incompleta.
3. Ricostruzione della Sequenza di Azioni: Utilizzare un decoder (LSTM) per ricostruire l'ordine originale delle azioni partendo dall'embedding della sequenza.

D. Misure di Creatività e Divergenza

Sulla base degli embedding appresi, sono state derivate tre metriche per misurare la creatività matematica:

• Unicità della Strategia: Distanza di Mahalanobis rispetto alla distribuzione delle strategie della coorte (misura l'originalità).
• Diversità della Strategia: Media della dissimilarità coseno tra i diversi tentativi di uno stesso studente (misura la fluidità/esplorazione).
• Conformità della Strategia: Similarità coseno con la soluzione ottimale più comune (misura l'aderenza alle strategie efficaci).

3. Risultati Chiave

RQ1: Generalizzabilità (Stato vs. Transizione)

L'analisi t-SNE ha dimostrato che gli embedding basati sugli stati tendono a raggrupparsi per ID del problema (catturando il contenuto superficiale), mentre gli embedding basati sulle transizioni mostrano un'invarianza rispetto al problema specifico, raggruppandosi invece in base al tipo di operazione matematica (es. addizione, fattorizzazione). Le transizioni sono quindi superiori per modellare le strategie.

RQ2: Capacità di Catturare le Strategie

• Il modello basato su SimCSE con encoder pre-addestrato MathBERT-mamut ha superato i baseline (media pooling) nei task di contenuto delle azioni e ricostruzione della sequenza.
• La configurazione ottimale ha utilizzato 1 layer Transformer e una dimensione di embedding di 768.
• L'approccio ha dimostrato di codificare efficacemente l'ordine delle azioni e la composizione delle trasformazioni, anche senza aver visto le etichette delle azioni durante l'addestramento.

RQ3: Relazione con gli Esiti di Apprendimento

L'analisi di regressione ha rivelato correlazioni statisticamente significative ($p < .001$) tra le metriche derivate dagli embedding e gli esiti di apprendimento:

• Conformità: Ha mostrato l'effetto più forte sia sugli esiti a breve termine (comprensione concettuale, procedurale, flessibilità) che su quelli a lungo termine (punteggi dei test statali di 7ª classe). Suggerisce che convergere verso strategie ottimali comuni è un forte predittore di successo.
• Unicità e Diversità: Anche queste metriche hanno mostrato associazioni positive significative con gli esiti di apprendimento, suggerendo che l'esplorazione di strategie diverse e non convenzionali (pensiero divergente) è benefica, sebbene in misura leggermente inferiore rispetto alla conformità.
• Conclusione: Il successo nella risoluzione dei problemi sembra richiedere un equilibrio tra pensiero divergente (esplorazione) e convergente (affinamento verso la soluzione ottimale).

4. Contributi Principali

1. Metodologia Agnostica: Introduzione di un metodo per apprendere rappresentazioni di percorsi di soluzione che sono indipendenti dalla piattaforma e dal problema specifico, superando la necessità di etichettatura manuale.
2. Embedding di Transizione: Dimostrazione che calcolare le differenze vettoriali tra stati consecutivi è più efficace per catturare la strategia rispetto all'uso diretto degli stati.
3. Proxy Scalabili per la Creatività: Definizione e validazione di misure quantitative (unicità, diversità, conformità) basate su embedding che fungono da proxy scalabili per la creatività matematica e il pensiero divergente.
4. Correlazione con l'Apprendimento: Evidenza empirica che queste rappresentazioni astratte sono correlate significativamente con i guadagni di apprendimento a breve e lungo termine.

5. Significatività e Implicazioni

Questo lavoro rappresenta un passo avanti significativo per il Educational Data Mining (EDM) e l'analisi dell'apprendimento.

• Scalabilità: Permette di analizzare il comportamento di risoluzione dei problemi su larga scala senza costi di codifica umana.
• Interoperabilità: Facilita il confronto delle strategie degli studenti tra diversi ambienti di apprendimento digitali.
• Interventi Didattici: Le metriche derivate possono essere utilizzate per sviluppare sistemi di tutoraggio intelligenti che suggeriscono strategie alternative, incoraggiano la diversità cognitiva e aiutano gli insegnanti a identificare studenti che necessitano di supporto nella flessibilità strategica.
• Teoria dell'Apprendimento: Conferma che la creatività matematica non è solo "pensare fuori dagli schemi", ma un processo dinamico che coinvolge sia l'esplorazione di nuove vie (divergenza) sia la capacità di convergere su soluzioni ottimali.

Limitazioni e Direzioni Future

Lo studio si è limitato a un set di encoder pre-addestrati e a una singola piattaforma (FH2T). Future ricerche potrebbero esplorare encoder più espressivi, funzioni di transizione più complesse e validare le metriche di creatività su dataset più ampi e diversificati, inclusi confronti con valutazioni umane.