Riepilogo Tecnico: HMPO – Ottimizzazione della Policy a Lunghezza Mediana Ibrida per la Compressione del Chain-of-Thought

1. Definizione del Problema

I Large Language Models (LLM) hanno dimostrato straordinarie capacità di ragionamento attraverso processi estesi di Chain-of-Thought (CoT), come osservato in modelli quali OpenAI o1, DeepSeek-R1 e Qwen-3. Tuttavia, questo paradigma di "pensiero" comporta costi di inferenza proibitivi, caratterizzati da un'elevata latenza e da un consumo sostanziale di risorse a causa della generazione di migliaia di token per singola query.

Le attuali metodologie di compressione CoT affrontano tre criticità fondamentali:

1. Vincoli Inflessibili: Gli approcci esistenti si affidano a budget di lunghezza statici, calibrati manualmente, o a decisioni binarie rigide "pensa-o-salta" (think-or-skip), limitandone l'applicabilità a domini ristretti (principalmente la matematica) e fallendo nell'adattarsi alle diverse complessità dei problemi.
2. Costi di Addestramento Proibitivi: Una compressione efficace spesso richiede pipeline multi-stadio computazionalmente costose, che includono la distillazione dei dati, il warm-up tramite Supervised Fine-Tuning (SFT) o il pruning iterativo progressivo.
3. Scalabilità Fragile: Le valutazioni sono ampiamente limitate a piccoli modelli densi (≤32B), lasciando non verificata l'applicabilità ad architetture di grandi dimensioni e Mixture-of-Experts (MoE) allo stato dell'arte.

2. Metodologia: HMPO

Gli autori propongono HMPO (Hybrid Median-length Policy Optimization), un framework di apprendimento per rinforzo (RL) a stadio singolo ed economicamente vantaggioso, basato su Group Relative Policy Optimization (GRPO). HMPO affronta i limiti dei lavori precedenti attraverso tre componenti sinergiche:

A. Budget Adattivo Basato sulla Mediana

Invece di utilizzare un budget di token statico e definito manualmente, HMPO deriva dinamicamente un budget $b$ dalla lunghezza mediana delle esecuzioni (rollout) di successo (corrette) all'interno di un batch di addestramento.

• Meccanismo: Per un gruppo di $G$ esecuzioni, viene identificato il sottoinsieme $C$ contenente le risposte corrette. Il budget è calcolato come $b = \text{median}(\{n_i \mid i \in C\})$, dove $n_i$ è la lunghezza dei token.
• Beneficio: Questo approccio isola il segnale di lunghezza dai tentativi rumorosi e falliti e crea un vincolo consapevole della difficoltà. Le query complesse generano naturalmente esecuzioni corrette più lunghe (rilassando il budget), mentre le query più semplici sono soggette a vincoli più stretti. Man mano che la policy migliora, il budget diminuisce automaticamente, formando un curriculum di auto-restringimento senza intervento manuale.

B. Reward di Token con Decadimento Cosinusoidale

Per penalizzare la verbosità senza degradare l'accuratezza, HMPO applica una preferenza per la lunghezza esclusivamente alle traiettorie di successo.

• Meccanismo: Un reward per i token $R_{token}$ è definito utilizzando una funzione di decadimento coseno fluida per le esecuzioni corrette in cui la lunghezza $n < b$:
  $$R_{token} = \min\left(1, \cos\left(\frac{\pi n}{2b}\right) + \lambda\right)$$
  Le risposte errate o vuote ricevono $R_{token} = 0$. Lo scalare $\lambda$ controlla l'entità del guadagno indotto dalla lunghezza.
• Beneficio: Questo fornisce una "atterraggio morbido" (soft landing) della penalità, incoraggiando risposte corrette più brevi pur preservando i passaggi di ragionamento necessari, evitando le penalità drastiche dei threshold binari.

C. Formulazione del Reward Moltiplicativo

Per dare priorità rigorosa alla correttezza della risposta e prevenire il "reward hacking" (dove il modello genera risposte brevi ma errate per massimizzare i reward di lunghezza), il reward finale è formulato moltiplicativamente:
$$R_{final} = R_{acc} \cdot R_{token}$$

• Meccanismo: $R_{acc}$ è 1 per le risposte corrette e 0 per quelle errate.
• Beneficio: Questo impone una gerarchia "correttezza-prima, lunghezza-secondo". Matematicamente, qualsiasi risposta errata (dove $R_{acc}=0$) risulta in un reward finale di 0, indipendentemente dalla sua lunghezza. Ciò elimina i gradienti di efficienza per le risposte errate, proteggendo l'addestramento dal reward hacking.

3. Contributi Chiave

1. Innovazione Metodologica: HMPO introduce il budgeting adattivo basato sulla mediana corretta, il reward shaping cosinusoidale e la fattorizzazione del reward moltiplicativa. Questi componenti risolvono congiuntamente la rigidità dei budget manuali, l'aggressività delle penalità statiche e la vulnerabilità al reward hacking presenti nei precedenti metodi basati su RL.
2. Generalizzazione Cross-Domain: Il paper presenta una valutazione estesa su modelli densi e MoE da 9B a 122B. Fondamentalmente, HMPO è addestrato esclusivamente su dati matematici, ma dimostra una robusta generalizzazione a compiti di codice, scienza e instruction-following senza tuning specifico per il task.
3. Scalabilità Senza Precedenti: HMPO ottiene la prima compressione CoT di successo su massicce architetture MoE (fino a 122 miliardi di parametri). Mantiene una parità di accuratezza quasi perfetta riducendo significativamente l'uso di token, permettendo a questi modelli di competere con modelli frontier di scala attivata molto più grande (es. MoE da 700B+).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli della serie Qwen3.5 (9B, 35B-A3B e 122B-A10B) addestrati su 6.5K istanze di DeepMath-103K.

• Compressione vs Accuratezza: HMPO ottiene una compressione di token tra il 19% e il 46% attraverso diverse scale di modelli con una degradazione dell'accuratezza trascurabile.
  • Su Qwen3.5-9B, riduce i token in uscita del 46% con una perdita di accuratezza media di soli 0,02 punti percentuali (pp).
  • Su Qwen3.5-122B, ottiene una compressione del 19% con una perdita di accuratezza di 0,10 pp.
• Confronto con i Baseline:
  • ThinkPrune: Ottiene una compressione maggiore (64–72%) ma subisce una severa degradazione dell'accuratezza (calo di 11–22 pp).
  • Thinkless: Mostra un fallimento catastrofico sui modelli piccoli (<15% di accuratezza) a causa del mode collapse indotto da SFT.
  • AdaptThink: Fornisce guadagni marginali ma non riesce a comprimere efficacemente sui modelli più grandi, talvolta gonfiando la lunghezza dei token.
• Efficienza di Addestramento: Eliminando le fasi di distillazione e SFT, HMPO riduce le ore di GPU di addestramento di 1,5×–2,5× rispetto ai baseline multi-stadio.
• Efficienza dei Token: Su AIME 2026, i modelli addestrati con HMPO tagliano il consumo di token del 23% mantenendo un'accuratezza competitiva contro modelli frontier significativamente più grandi (es. Nemotron-3-Super-120B e Kimi-K2.5-1T).

5. Significato e Rivendicazioni

Il paper sostiene che HMPO rappresenti un cambio di paradigma nel ragionamento efficiente, offrendo una strategia di ottimizzazione a stadio singolo e "drop-in". La sua importanza risiede in:

• Eliminazione del Tuning Manuale: Il budget della mediana adattiva rimuove la necessità di un laborioso tuning del budget di lunghezza specifico per dominio.
• Robustezza Matematica: La formulazione del reward moltiplicativo impedisce matematicamente al modello di imparare a essere conciso a scapito della correttezza.
• Implementazione Pratica: Raggiungendo un'alta compressione con una perdita di accuratezza trascurabile in diverse architetture e domini (nonostante l'addestramento solo su matematica), HMPO consente l'implementazione efficiente nel mondo reale di LLM di ragionamento avanzato, riducendo drasticamente i costi di inferenza senza richiedere pipeline di addestramento complesse e multi-stadio.

Gli autori riconoscono i limiti riguardanti il ragionamento multi-turno e i compiti agentici, notando che l'attuale framework è progettato per scenari a turno singolo e che l'estensione ad scenari interattivi o basati su strumenti rimane una direzione per il lavoro futuro.