Revisiting the Capacity Gap in Chain-of-Thought Distillation from a Practical Perspective

1. Il Problema: Il "Capacity Gap" nella Distillazione CoT

La distillazione Chain-of-Thought (CoT) mira a trasferire le capacità di ragionamento da un modello "insegnante" (teacher) grande e potente a un modello "studente" più piccolo ed efficiente. Tuttavia, la letteratura recente ha identificato un fenomeno noto come Capacity Gap (divario di capacità): quando c'è un grande disallineamento tra le capacità dell'insegnante e dello studente, la distillazione potrebbe fallire o addirittura degradare le prestazioni dello studente rispetto a un insegnante meno capace.

Questo suggerisce che l'insegnante più potente disponibile non sia sempre la scelta migliore, costringendo i praticanti a costose ricerche iperparametriche per trovare un insegnante "abbastanza grande ma non troppo grande". L'obiettivo di questo lavoro è riesaminare questa ipotesi da una prospettiva pratica, verificando se il Capacity Gap sia un ostacolo reale nei scenari di deployment o un artefatto di protocolli sperimentali difettosi.

2. Metodologia e Critica ai Protocolli Esistenti

Gli autori identificano tre criticità fondamentali ("trappole") nei protocolli di valutazione utilizzati negli studi precedenti (es. Li et al., 2025; Chen et al., 2025) che distorcono i risultati:

1. Mancanza di confronto con la baseline pre-distillazione: Gli studi precedenti confrontano solo le configurazioni dopo la distillazione. Gli autori dimostrano che, in molti casi, la distillazione CoT degrada le prestazioni rispetto alla baseline dello studente pre-addestrato (che possiede già forti capacità di ragionamento zero-shot/few-shot). Confrontare strategie che peggiorano le prestazioni porta a conclusioni fuorvianti.
2. Filtraggio incrociato dei dati (Cross-Teacher Filtering): Per isolare il "Capacity Gap", gli studi precedenti filtrano i dati di addestramento mantenendo solo gli esempi risolti correttamente da entrambi gli insegnanti. Questo neutralizza il vantaggio degli insegnanti più forti (che risolvono più esempi e casi più difficili), rendendo il confronto artificiale e non rappresentativo di un uso pratico.
3. Inclusione di studenti più grandi degli insegnanti: Alcuni esperimenti includono configurazioni dove lo studente è più grande dell'insegnante, il che contraddice l'obiettivo principale della distillazione CoT: ridurre i costi di deployment.

Nuovo Protocollo di Valutazione Proposto:
Per affrontare queste problematiche, gli autori propongono un protocollo più realistico:

• Selezione dei task: Si scelgono task (basati su BIG-Bench Hard - BBH) dove si prevede che la distillazione porti a miglioramenti reali (identificati tramite grandi gap di prestazioni few-shot ICL tra insegnanti e studenti).
• Nessun filtraggio incrociato: Si utilizza per ogni insegnante l'intero set di esempi che risolve correttamente, permettendo agli insegnanti più forti di fornire più dati di addestramento.
• Vincolo di efficienza: Si considera solo il caso in cui lo studente è strettamente più piccolo dell'insegnante.
• Baseline obbligatoria: Confronto sistematico con le prestazioni dello studente prima della distillazione.

3. Risultati Chiave

Gli esperimenti sono stati condotti su diverse famiglie di modelli (Qwen2.5 e Gemma-2) e task di ragionamento (BBH).

• Degradazione della distillazione: In configurazioni che replicano i vecchi protocolli (es. task matematici come MATH), la distillazione spesso peggiora le prestazioni rispetto alla baseline pre-addestrata, confermando che i vecchi setting non erano pratici.
• Impatto limitato del Capacity Gap: Sotto il nuovo protocollo realistico, l'effetto del Capacity Gap non domina in modo coerente attraverso tutti i task e le impostazioni.
• Vantaggio degli insegnanti più forti: Quando esiste un divario sostanziale nelle prestazioni tra gli insegnanti candidati, l'insegnante più performante produce studenti distillati migliori o comparabili, indipendentemente dalle dimensioni dello studente.
  • Questo vantaggio è guidato principalmente dalla maggiore disponibilità di dati: gli insegnanti più forti risolvono correttamente più esempi (fino a 1.3x - 1.9x in più), fornendo più supervisione.
  • Gli esperimenti di ablazione confermano che, quando si equalizza la quantità di dati (filtraggio incrociato), il vantaggio dell'insegnante forte svanisce, dimostrando che la quantità di dati è il fattore critico, non il "gap di capacità" intrinseco.

4. Contributi Principali

1. Identificazione di difetti metodologici: Il lavoro smaschera come la mancanza di baseline pre-distillazione e il filtraggio incrociato dei dati abbiano portato a conclusioni errate sull'inevitabilità del Capacity Gap.
2. Rivalutazione empirica: Dimostra che, in scenari realistici, il Capacity Gap non è un fenomeno universale e che i benefici di un insegnante più forte (più dati, ragionamento migliore) superano spesso gli effetti negativi del divario di capacità.
3. Linee guida pratiche: Fornisce raccomandazioni concrete per i praticanti basate su evidenze empiriche.

5. Significato e Linee Guida Pratiche

Il paper offre due raccomandazioni fondamentali per chi deve implementare la distillazione CoT:

1. Verificare l'efficacia rispetto alla baseline: Prima di deployare un modello distillato, è essenziale confermare che la distillazione migliori le prestazioni rispetto allo studente pre-addestrato. Se la distillazione peggiora le prestazioni, la strategia è fallita indipendentemente dall'insegnante scelto.
2. Preferire l'insegnante più performante: Quando la distillazione è confermata come benefica per un task e i candidati insegnanti differiscono sostanzialmente nelle prestazioni, si dovrebbe sempre scegliere l'insegnante più forte. Il vantaggio derivante dalla maggiore quantità di dati di addestramento corretti e dalla qualità del ragionamento supera gli effetti del Capacity Gap.

In sintesi, il lavoro suggerisce che il "Capacity Gap" è spesso un artefatto di valutazioni non realistiche. Nella pratica, la scelta migliore è utilizzare l'insegnante più potente disponibile, a patto che la distillazione porti a un miglioramento netto rispetto allo studente originale.