DRP: Distilled Reasoning Pruning with Skill-aware Step Decomposition for Efficient Large Reasoning Models

1. Enunciato del Problema

I Large Reasoning Models (LRM), come OpenAI o1 e DeepSeek-R1, eccellono in compiti complessi generando lunghe traiettorie di ragionamento a catena di pensiero (CoT). Tuttavia, soffrono di "overthinking", producendo output eccessivamente verbosi con passaggi ridondanti, backtracking non necessario e cicli ripetitivi. Ciò porta a:

• Alti Costi di Inferenza: Significativo utilizzo di token e latenza.
• Degradazione dell'Accuratezza: Il ragionamento ridondante può fuorviare il modello verso conclusioni errate.
• Disallineamento nella Distillazione: Quando si distilla conoscenza da un insegnante "Short-CoT" (conciso, rifinito) a uno studente "Long-CoT" (verboso, riflessivo), sorge un divario di apprendibilità. Lo studente fatica a imitare direttamente lo stile conciso dell'insegnante, risultando spesso in prestazioni scadenti o cali di accuratezza.

Le soluzioni esistenti, come la potatura al momento dell'inferenza (arresto anticipato della generazione), rischiano di interrompere il ragionamento prematuramente, mentre la distillazione standard spesso non riesce a colmare il divario strutturale tra studenti verbosi e insegnanti concisi.

2. Metodologia: Distilled Reasoning Pruning (DRP)

DRP è un framework ibrido che unifica la potatura al momento dell'inferenza con la distillazione tramite fine-tuning supervisionato (SFT). Invece di addestrare semplicemente lo studente sulla risposta finale dell'insegnante o su un CoT breve, DRP utilizza l'insegnante per potare e rifinare le proprie tracce di ragionamento verbose dello studente.

Il processo consta di tre fasi (illustrate nella Figura 2 del documento):

A. Decomposizione dei Passaggi Basata sulle Abilità

• Il modello studente genera una traccia CoT iniziale e verbosa ($T$).
• Un LLM Insegnante (es. GPT-4o) scompone questa traccia in segmenti non sovrapposti.
• Innovazione Chiave: A differenza di una semplice divisione delle frasi, l'insegnante assegna un'etichetta funzionale di abilità a ogni passaggio (es. "Lettura della quantità data", "Rappresentazione algebrica", "Inferenza logica"). Ciò garantisce che i passaggi siano semanticamente coerenti e funzionalmente allineati.

B. Potatura e Riscrittura a Livello di Passaggio

Il modello insegnante valuta ogni passaggio etichettato con un'abilità e applica una delle quattro azioni:

1. Mantenere: Conservare il passaggio invariato.
2. Eliminare: Rimuovere passaggi ridondanti, non informativi o di backtracking.
3. Riscrivere: Condensare il passaggio preservando l'intento logico.
4. Fondere: Combinare passaggi adiacenti in un'unica unità atomica.

• L'insegnante ricostruisce quindi una traccia di ragionamento fluida e concisa ($\hat{T}$) che mantiene il tono originale dello studente ma rimuove la verbosità. Aggiorna anche il riepilogo della risposta finale ($\hat{A}$) se necessario.

C. Fine-Tuning Supervisionato (SFT)

• Il modello studente viene affinato su coppie di $(Input, \hat{R})$, dove $\hat{R}$ è la risposta potata e rifinita dall'insegnante.
• L'obiettivo è minimizzare la log-verosimiglianza negativa della traccia rifinita, insegnando allo studente a interiorizzare strategie di ragionamento allineate alle abilità ed efficienti in termini di token, senza perdere la profondità strutturale richiesta per problemi complessi.

3. Contributi Chiave

1. Framework DRP: Un metodo innovativo che colma il "divario di apprendibilità" potando il percorso di ragionamento dello studente utilizzando un insegnante, piuttosto che costringere lo studente a imitare uno stile di ragionamento completamente diverso dell'insegnante.
2. Decomposizione Consapevole delle Abilità: Introduce un meccanismo per segmentare il ragionamento in unità semanticamente coerenti ed etichettate funzionalmente. Ciò fornisce una base stabile per una potatura precisa, superando la semplice divisione ingenua.
3. Insight sulla Coerenza Strutturale: Dimostra che i CoT di addestramento efficaci devono essere sia informativi che strutturalmente coerenti con il processo di ragionamento dello studente. Preservare la struttura passo-passo (anche se accorciata) è più efficace della compressione ingenua.

4. Risultati Sperimentali

Gli autori hanno valutato DRP sui modelli DeepSeek-R1-Distill-Qwen (1.5B e 7B) su benchmark in dominio (GSM8K) e fuori distribuzione (OOD) (MATH500, AIME24, AMC23).

Risultati Chiave:

• Efficienza dei Token: DRP ha ridotto significativamente l'uso dei token senza sacrificare l'accuratezza.
  • GSM8K (7B): I token sono passati da 917 a 328 (-64%), mentre l'accuratezza è migliorata dal 91,7% al 94,1%.
  • AIME24 (7B): I token sono stati ridotti del 43% senza calo di accuratezza (15/30 corretti).
  • AMC (1.5B): I token sono passati da 4574 a 3657, con l'accuratezza che è salita da 22/40 a 27/40.
• Confronto con le Baseline:
  • vs. Basata su Prompt (TALE): DRP ha superato TALE su compiti OOD complessi dove le prestazioni di TALE sono crollate significativamente.
  • vs. Basata su SFT (CoT-Valve): DRP ha ottenuto migliore accuratezza e compressione. CoT-Valve ha spesso subito compromessi di accuratezza durante la compressione.
  • vs. Basata su RL (ThinkPrune): Sebbene ThinkPrune comprimesse bene, DRP ha raggiunto un'accuratezza superiore, probabilmente grazie a una guida di alta qualità da parte dell'insegnante.
• Studi di Ablazione:
  • Decomposizione delle Abilità: Rimuovere le etichette di abilità (divisione predefinita) ha ridotto le prestazioni, confermando che l'allineamento semantico è cruciale.
  • Distillazione Diretta: Addestrare direttamente su brevi CoT dell'insegnante (senza potare la traccia dello studente) ha portato a drastici cali di accuratezza sui compiti OOD, dimostrando che la preservazione strutturale è vitale.
  • Robustezza dell'Insegnante: Il metodo ha funzionato efficacemente con vari insegnanti (GPT-4o, Gemini 2.0, DeepSeek-V3), sebbene GPT-4o abbia prodotto i migliori risultati.

5. Significato e Conclusione

• Compromesso Efficienza vs. Accuratezza: DRP sfida l'idea che l'efficienza debba avvenire a scapito dell'accuratezza. Affinando il processo di ragionamento invece di accorciare semplicemente l'output, ottiene entrambi.
• Scalabilità: Il metodo è particolarmente efficace per modelli più piccoli (1.5B), compensando la capacità limitata attraverso una supervisione strutturata e di alta qualità.
• Robustezza: Mitiga i "cicli degenerativi" (dove i modelli rimangono bloccati generando testo infinito), portando a un'inferenza più stabile.
• Impatto Futuro: Questo lavoro fornisce una guida per addestrare modelli di ragionamento efficienti in grado di gestire compiti complessi a lungo termine senza il sovraccarico computazionale dell'"overthinking", rendendo il ragionamento avanzato più accessibile ed economico.

In sintesi, DRP risolve l'inefficienza dei Large Reasoning Models utilizzando un insegnante per rimuovere chirurgicamente la ridondanza dal percorso di ragionamento dello studente, guidato da abilità funzionali, producendo modelli più veloci, economici e spesso più accurati.