🤖 machine learning

Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition

Questo articolo dimostra che l'affinamento di un modello studente compatto Qwen2.5-7B con dati di Chain-of-Thought distillati dal docente DeepSeek-R1, utilizzando un framework a doppio agente e l'early stopping, migliora significativamente la sua accuratezza nei benchmark della John O'Bryan Mathematics Competition e MATH-500, rivelando al contempo che lunghezze di risposta più brevi sono correlate a una ridotta qualità del ragionamento.

Autori originali: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

Pubblicato 2026-07-01

📖 5 min di lettura🧠 Approfondimento

CC0 1.0

Autori originali: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un brillante tutor di matematica di classe mondiale (chiamiamolo Professor DeepSeek) che può risolvere problemi di competizione incredibilmente difficili. È eccezionale, ma è anche enorme, lento e richiede un supercomputer massiccio per funzionare. Vuoi insegnare a una studentessa più piccola, veloce ed economica (chiamiamola Studentessa Qwen) a pensare come il professore per poter fare lo stesso lavoro su un normale laptop.

Questo articolo è la storia di come i ricercatori hanno cercato di insegnare alla studentessa usando un set specifico di problemi matematici della John O'Bryan Mathematics Competition (un vero concorso tenutosi alla Northern Kentucky University dal 2011 al 2025).

Ecco la storia del loro esperimento, suddivisa in modo semplice:

1. Il Metodo di Addestramento: "Mostra i tuoi passaggi"

I ricercatori non hanno dato alla studentessa solo le risposte finali. Hanno utilizzato una tecnica speciale chiamata Chain-of-Thought (CoT) Distillation (Distillazione del Pensiero a Catena).

Il Maestro: Per prima cosa, il "Professor DeepSeek" ha risolto 671 problemi passati della competizione. Ma invece di scrivere solo la risposta, ha scritto ogni singolo passaggio del suo ragionamento, proprio come uno studente che mostra i passaggi in un compito in classe.
Il Verificatore: Una seconda IA ha controllato il lavoro del Professore per assicurarsi che i passaggi fossero effettivamente corretti. Sono state conservate solo le soluzioni perfette.
La Studentessa: La "Studentessa Qwen" (un modello più piccolo) è stata poi addestrata per imitare queste soluzioni passo dopo passo.

2. La Trappola dell' "Eccessiva Pratica"

I ricercatori si sono imbattuti in un problema classico: l'Overfitting (Sovra-apprendimento).
Immagina uno studente che memorizza le risposte esatte di un test di prova invece di imparare i concetti matematici. Se gli dai una domanda leggermente diversa, fallisce.

Inizialmente, i ricercatori hanno lasciato che la studentessa si addestrasse per 1.000 "round" (iterazioni).
Il Risultato: La studentessa ha iniziato a memorizzare le parole specifiche dei problemi di addestramento invece di apprendere la logica. Le sue prestazioni sono diventate effettivamente peggiori sui nuovi problemi.
La Soluzione: Si sono resi conto che la studentessa raggiungeva il picco a 200 round. Dopo quel punto, stava solo copiando. Così, hanno interrotto l'addestramento precocemente (a 200 round) per mantenerla "fresca" e capace di generalizzare.

3. I Risultati: Un Miglioramento Solido

Interrompendo l'addestramento in anticipo, la studentessa è migliorata significativamente:

Prima dell'Addestramento: La studentessa rispondeva correttamente a circa il 65% dei problemi della competizione.
Dopo l'Addestramento: È salita a circa il 69,4%.
Il Bonus: Non è solo diventata brava in questi problemi specifici; è migliorata anche in un altro famoso benchmark matematico chiamato MATH-500, dimostrando di aver appreso effettivamente la capacità di ragionamento, non solo le risposte.

4. L'Esperimento del "Conteggio delle Parole"

I ricercatori volevano sapere: Di quanto "spazio di pensiero" ha bisogno la studentessa?
Hanno costretto la studentessa a risolvere problemi con limiti rigorosi su quante parole poteva scrivere (come un limite di parole rigoroso in un compito).

Nessun Limite (R1): Scriveva circa 220 parole e sbagliava il 69% delle volte.
Limite Moderato (R2): Scriveva circa 120 parole e la sua precisione scendeva al 62%.
Limite Stretto (R6): Era costretta a scrivere solo circa 31 parole. La sua accuratezza crollava al 42%.

L'Analogia: È come chiedere a qualcuno di risolvere un puzzle complesso. Se gli dai un piccolo taccuino (poche parole), deve saltare i passaggi e tirare a indovinare. Se ha un intero quaderno (molte parole), può scrivere la logica e ottenere la risposta corretta. Lo studio ha scoperto che, per questi problemi difficili, è necessario circa un "spazio di pensiero" di 50-100 parole per ottenere una buona risposta.

5. Dove Ha Faticato

Velocità vs Logica: La studentessa era più debole nella sezione "Two-Person Speed" della competizione. Questi problemi richiedevano calcoli rapidi e multi-step. Quando il conteggio delle parole era limitato, non riusciva a inserire tutti i passaggi di calcolo necessari e la sua accuratezza crollava più drasticamente rispetto ad altre sezioni.
Errori di Formattazione: Interessante è il fatto che i ricercatori hanno scoperto che circa il 40% degli errori della studentessa non era dovuto al fatto che fosse scarsa in matematica. In realtà, otteneva il numero corretto ma lo scriveva in modo disordinato (come lasciare una frazione non semplificata o dimenticare di mettere la risposta in un riquadro). Se un essere umano o un semplice script avesse pulito la sua scrittura, il suo punteggio sarebbe stato ancora più alto.

Il Punto Fondamentale

Questo articolo dimostra che puoi prendere un'IA gigante e potente e insegnare a un'IA più piccola e meno costosa come ragionare attraverso problemi matematici in modo efficace, ma solo se interrompi l'addestramento prima che inizi a memorizzare.

Tuttove, c'è un accorgimento: Pensare richiede spazio. Se costringi l'IA a essere troppo concisa (troppe poche parole), perde la capacità di risolvere problemi difficili. Il "punto di equilibrio" per questo tipo di competizioni matematiche sembra essere quello di permettere all'IA abbastanza spazio per scrivere circa 50-100 parole di ragionamento.

Sintesi Tecnica: Distillazione della Conoscenza da Grandi Modelli di Ragionamento a Modelli Studente Compatti

Definizione del Problema

I Large Language Models (LLM) con avanzate capacità di ragionamento matematico, come DeepSeek-R1, richiedono spesso risorse computazionali significative, rendendo impraticabile l'implementazione locale. Sebbene la Distillazione della Conoscenza (Knowledge Distillation - KD) offra una via per trasferire le capacità di ragionamento a modelli "studente" più piccoli ed efficienti, la ricerca esistente si basa prevalentemente su benchmark generici (es. MATH-500, GSM8K) che possono soffrire di contaminazione dai dati di pre-addestramento. Manca una comprensione di come la distillazione operi su set di problemi specifici per dominio e curati da esperti, con minori rischi di contaminazione, e di come vincoli specifici, come i budget di token, influenzino la qualità del ragionamento distillato.

Metodologia

Gli autori propongono una pipeline per distillare le capacità di ragionamento da un grande modello insegnante a un modello studente compatto utilizzando la John O'Bryan Mathematics Competition (2011–2025) come corpus specializzato.

1. Costruzione del Dataset

Corpus: 671 problemi distribuiti su 15 anni, categorizzati in Freshman/Sophomore, Junior/Senior e Two-Person Speed.
Suddivisione (Split): È stata impiegata una suddivisione cronologica per prevenire la fuga di dati (data leakage): 2011–2021 (Training), 2022–2023 (Validation) e 2024–2025 (Test).
Framework a Doppio Agente: Un processo in due fasi utilizzando l'API di DeepSeek-R1:
- Agente 1 (Solver): Genera tracce di ragionamento Chain-of-Thought (CoT) passo dopo passo.
- Agente 2 (Verifier): Valida l'output del solver rispetto alla risposta corretta (ground-truth), restituendo un verdetto CORRECT/INCORRECT.
- Solo le tracce verificate come corrette (594 su 651 tentate) sono state mantenute per l'addestramento.

2. Architettura del Modello e Addestramento

Insegnante (Teacher): DeepSeek-R1 (acceduto tramite API).
Studente (Student): Qwen2.5-7B-Instruct (quantizzato a 4-bit).
Fine-Tuning: La Low-Rank Adaptation (LoRA) è stata applicata utilizzando il framework MLX su hardware Apple Silicon.
- Configurazione: Rank $r=8$ , $\alpha=16$ , dropout $0.05$, prendendo di mira i moduli di proiezione query, key, value e output.
- Parametri: 11.534M di parametri addestrabili (0,151% del totale).
Protocollo di Addestramento:
- Esecuzione Diagnostica: Una corsa di 1.000 iterazioni ha identificato un grave overfitting, con la perdita di validazione che minimizzava alla iterazione 200 prima di aumentare.
- Esecuzioni Finali: Sono state eseguite cinque corse di addestramento indipendenti, ciascuna limitata a 200 iterazioni con diversi seed casuali (42, 123, 256, 512, 999) per garantire la stabilità.
- Early Stopping: I modelli sono stati fusi e valutati basandosi sul checkpoint delle 200 iterazioni.

3. Strategia di Valutazione

Metriche: Accuratezza della risposta (giudicata da DeepSeek-R1 per gestire forme matematiche equivalenti) e perplexity.
Generalizzazione: Valutazione fuori dominio (out-of-domain) sul benchmark MATH-500.
Esperimento sul Budget di Token: Il modello sottoposto a fine-tuning è stato valutato sotto sei livelli di ragionamento (R1–R6) con limiti di token progressivamente ristretti (da illimitati fino a 100 token) per valutare l'impatto della lunghezza della risposta sulla qualità del ragionamento.

Risultati Chiave

Guadagni di Performance

Modello Base: Qwen2.5-7B ha raggiunto il 64,67% di accuratezza sul set di test della competizione.
Modello Distillato: Il modello LoRA sottoposto a fine-tuning con 200 iterazioni ha raggiunto un'accuratezza media del 69,43% ± 0,17%, un miglioramento di 4,76 punti percentuali.
Stabilità: La stretta deviazione standard (0,17 pp) attraverso cinque seed conferma che il miglioramento è robusto e non un artefatto dell'inizializzazione.
Overfitting: Continuare l'addestramento fino a 1.000 iterazioni ha portato a un'accuratezza inferiore (67,59%) e a una perplexity maggiore, confermando che l'early stopping è critico per la distillazione di piccoli corpus.

Generalizzazione

Sul benchmark MATH-500, il modello distillato è migliorato da una base del 70,1% al 73,1% ± 0,18%.
I guadagni di performance sono stati disomogenei tra le materie: sono stati osservati miglioramenti significativi in Algebra (93,5%) e Teoria dei Numeri (82,3%), che sono ben rappresentati nel corpus di addestramento, mentre l'Algebra Intermedia, la Geometria e la Precalcolo hanno mostrato prestazioni più deboli.

Impatto del Budget di Token

Lunghezza vs Accuratezza: Si osserva un declino costante dell'accuratezza al diminuire dei budget di token.
- R1 (Illimitato, ~220 parole): 69,43%
- R6 (100 token, ~31,2 parole): 41,9%
Soglia Critica: Il calo più significativo è avvenuto tra R3 (~~96 parole) e R4 (~~55 parole), suggerendo un limite inferiore pratico di 50–100 parole per problemi di competizione multi-step.
Sensibilità della Sezione: La sezione "Two-Person Speed" è stata la più sensibile alla riduzione dei token, scendendo di 34,5 punti percentuali da R2 a R6, mentre le sezioni concettuali (Freshman/Sophomore, Junior/Senior) sono state più robuste.

Analisi degli Errori

L'analisi qualitativa di 197 risposte errate ha rivelato che il 40% dei fallimenti era dovuto a problemi di formattazione o estrazione (es. LaTeX non renderizzato, frazioni non ridotte) piuttosto che a errori di ragionamento matematico. Ciò suggerisce che il post-processing potrebbe recuperare una parte significativa di questi errori senza necessità di ri-addestramento.

Significato e Rivendicazioni

L'articolo sostiene di essere il primo studio ad applicare la distillazione CoT al corpus della John O'Bryan Mathematics Competition, offrendo un ambiente controllato con basso rischio di contaminazione. I suoi principali contributi sono:

Dimostrare la Fattibilità: Provare che la distillazione CoT tramite LoRA con early stopping può trasferire efficacemente le capacità di ragionamento da un grande modello (DeepSeek-R1) a un modello compatto (Qwen2.5-7B) su dati di dominio specifico.
Quantificare i Vincoli: Stabilire che la lunghezza della risposta è un fattore critico nella qualità del ragionamento matematico, identificando un limite pratico del budget di token per problemi multi-step.
Rigore Metodologico: Evidenziare la necessità dell'early stopping nel fine-tuning di piccoli corpus per prevenire l'overfitting e il valore della validazione multi-seed per la stabilità.

Gli autori mantengono un tono modesto, osservando che il modello non è ancora pronto per un uso educativo pienamente autonomo a causa del tasso di errore del ~30% e dei potenziali bias derivanti dal corpus di una singola istituzione. Posizionano il modello come uno strumento di bozza per flussi di lavoro "human-in-the-loop" e suggeriscono che il lavoro futuro dovrebbe concentrarsi su corpora diversificati e sull'addestramento su tracce CoT compresse per migliorare le prestazioni sotto stretti vincoli di token.