Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

1. Il Problema

Nonostante il successo di modelli come OpenAI O1 e DeepSeek-R1 nel ragionamento complesso, la riproduzione di modelli ad alte prestazioni rimane difficile a causa della mancata divulgazione completa dei dettagli di addestramento. Le ricerche attuali affrontano diverse sfide critiche:

• Dati di addestramento: Esiste un dibattito su quanto sia necessario filtrare i dati per la correttezza (escludere risposte errate) e su come bilanciare qualità e diversità delle fonti.
• Limiti dell'RL (Reinforcement Learning): I meccanismi di clipping tradizionali (come in PPO/GRPO) soffrono di due problemi principali:
  1. Soppressione dell'esplorazione: I token ad alta entropia (spesso associati a comportamenti esplorativi o di riflessione critica) vengono tagliati se il loro rapporto di importanza supera una soglia, interrompendo prematuramente l'esplorazione.
  2. Convergenza ritardata dei campioni negativi: I percorsi subottimali con rapporti di importanza inferiori alla soglia inferiore hanno i loro gradienti forzatamente azzerati, impedendo al modello di imparare rapidamente dagli errori.

2. Metodologia

Il team Klear ha sviluppato Klear-Reasoner, un modello basato su Qwen3-8B, attraverso un flusso di lavoro post-training che combina Supervised Fine-Tuning (SFT) a lungo raggio e un nuovo algoritmo di ottimizzazione della politica.

A. Long Chain-of-Thought SFT (Long CoT SFT)

• Strategia dei Dati: Invece di utilizzare grandi quantità di dati diversificati, il team ha adottato un approccio incentrato sulla qualità. Hanno curato un set di dati compatto (1,5 milioni di campioni) proveniente da fonti di alta qualità (es. OpenThoughts, NuminaMath, Codeforces).
• Filtraggio della Correttezza: Un'analisi empirica ha rivelato che per compiti difficili, includere campioni con errori (dati "misti") non danneggia le prestazioni, ma può addirittura migliorarle fornendo segnali contrastanti che favoriscono l'esplorazione. Di conseguenza, non è stato applicato un filtro rigoroso basato sulla correttezza per i campioni difficili.
• Modello Insegnante: È stato utilizzato DeepSeek-R1-0528 per generare risposte di alta qualità (fino a 16 per prompt).

B. Gradient-Preserving Clipping Policy Optimization (GPPO)

Per risolvere i limiti del clipping standard, è stato proposto GPPO.

• Meccanismo: A differenza dei metodi tradizionali che azzerano i gradienti dei token tagliati, GPPO mantiene questi token nel grafo computazionale per la retropropagazione.
• Logica:
  • Per i token con vantaggio positivo ma rapporto di importanza troppo alto (alta entropia), il gradiente viene preservato ma limitato a un valore massimo controllato ($1+\epsilon_h$).
  • Per i token con vantaggio negativo e rapporto troppo basso, il gradiente viene preservato ma limitato a un valore minimo ($1-\epsilon_l$).
• Obiettivo: Questo approccio bilancia la stabilità dell'addestramento (evitando aggiornamenti esplosivi) con la necessità di mantenere segnali di apprendimento preziosi sia per l'esplorazione che per la correzione degli errori.

C. Design del Reward e Altre Tecniche

• Reward Soft per il Codice: Invece di un reward binario (tutto o niente), per i task di programmazione è stato introdotto un reward "soft" basato sul tasso di passaggio dei test case (es. se 4 su 16 test passano, il reward è 0.25). Questo riduce la sparsità del reward e fornisce segnali di apprendimento più granulari.
• Filtraggio dei Dati RL: Sono stati rimossi i prompt con test case difettosi (filtraggio basato su pass@16) e i gruppi con vantaggio zero (dove tutte le risposte sono ugualmente corrette o errate), per evitare rumore e gradienti vani.
• Loss Combinata: L'addestramento RL include una perdita SFT ($\alpha L_{LM}$) sui campioni corretti per stabilizzare la distribuzione dell'output e prevenire il reward hacking.

3. Risultati Chiave

Klear-Reasoner-8B ha dimostrato prestazioni eccezionali, superando modelli di dimensioni simili e persino modelli più grandi in diversi benchmark:

• Matematica:
  • AIME 2024: 90.5% (con budget di inferenza 64K).
  • AIME 2025: 83.2%.
  • HMMT 2025: 70.8%.
• Programmazione:
  • LiveCodeBench V5: 66.0%.
  • LiveCodeBench V6: 58.1%.

Il modello supera significativamente baseline come DeepSeek-R1-0528-Distill-8B e Qwen3-8B, dimostrando che un'ottimizzazione RL ben progettata può compensare la mancanza di dati massivi di distillazione.

4. Contributi Principali

1. GPPO (Gradient-Preserving Clipping Policy Optimization): Un nuovo algoritmo di ottimizzazione che preserva i gradienti dai token tagliati, risolvendo il problema della soppressione dell'esplorazione e della lenta convergenza sui campioni negativi, mantenendo al contempo la stabilità.
2. Analisi sulla Qualità dei Dati SFT: Dimostrazione che per compiti complessi, un set di dati piccolo ma di altissima qualità è superiore a set grandi e diversificati, e che il filtraggio della correttezza per i campioni difficili è controproducente.
3. Strategia di Reward per il Codice: L'adozione di reward soft basati sui test case per mitigare la sparsità dei segnali di ricompensa nella generazione di codice.
4. Riproducibilità e Analisi: Il report fornisce un'analisi approfondita di ogni componente (SFT, RL, filtraggio dati), offrendo una guida pratica per la riproduzione di modelli di ragionamento ad alte prestazioni.

5. Significato

Questo lavoro dimostra che i progressi nel ragionamento dei LLM non dipendono esclusivamente dalla scala dei parametri o dalla quantità di dati, ma dalla qualità della curatela dei dati e dall'ingegneria degli algoritmi di ottimizzazione.
GPPO rappresenta un passo avanti significativo nella teoria del Reinforcement Learning per LLM, suggerendo che il "taglio" dei gradienti non deve essere un'operazione binaria di eliminazione, ma può essere gestito in modo più sfumato per preservare informazioni critiche. Il successo di Klear-Reasoner su modelli di 8B parametri apre la strada a sistemi di ragionamento più efficienti e accessibili, riducendo la dipendenza da modelli di dimensioni massive.