HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

1. Il Problema

L'ottimizzazione diretta delle preferenze (DPO, Direct Preference Optimization) è diventata uno standard per allineare i grandi modelli linguistici (LLM) alle preferenze umane, offrendo un'alternativa più stabile ed efficiente rispetto al Reinforcement Learning from Human Feedback (RLHF). Tuttavia, il DPO presenta una limitazione fondamentale: tratta le risposte come unità monolitiche.

• Mancanza di granularità: Il DPO ottimizza la probabilità di generare l'intera risposta preferita rispetto a quella non preferita senza distinguere le diverse fasi del ragionamento.
• Incapacità di targeting: Non permette di ottimizzare separatamente componenti critici come la chiarificazione della query, i passaggi di ragionamento strutturato o la formulazione della risposta finale.
• Divario esistente: I metodi attuali eccellono o nell'apprendimento stabile delle preferenze (varianti di DPO come KTO, RSO) o nel ragionamento strutturato (framework multi-agente, Tree of Thoughts), ma falliscono nel fondere questi due punti di forza. Non esiste un framework che combini la stabilità del DPO con la decomposizione gerarchica del ragionamento.

2. Metodologia: HiPO (Hierarchical Preference Optimization)

HiPO è un'estensione del DPO che introduce una decomposizione gerarchica delle risposte per abilitare un'ottimizzazione adattiva e specifica per segmento.

A. Decomposizione Gerarchica delle Risposte

Il metodo suddivide ogni risposta in tre segmenti semantici distinti, generati in un'unica traiettoria (approccio single-shot):

1. Rq (Refined Query): Una riformulazione o chiarificazione della domanda e del contesto.
2. Mt (Meta-thinking): I passaggi di ragionamento strutturato o il processo di pensiero (spesso simile al Chain-of-Thought).
3. A (Answer): La risposta finale.

Questa struttura permette di mappare una vasta gamma di risposte complesse su un formato sequenziale standardizzato.

B. Funzione di Perdita Gerarchica

HiPO calcola la funzione di perdita come una somma pesata delle perdite DPO calcolate per ciascun segmento.

• Per ogni segmento $k \in \{Rq, Mt, A\}$, viene calcolata una differenza di log-verosimiglianza ($\Delta_k$) tra la risposta preferita ($y^+$) e quella non preferita ($y^-$), sia per il modello corrente che per il modello di riferimento.
• La perdita totale $L(\theta)$ è definita come:
  $$L(\theta) = \sum_{k \in \{Rq, Mt, A, y\}} w_k \cdot L_k(\theta)$$
  Dove $w_k$ sono pesi adattabili che permettono agli sviluppatori di controllare l'enfasi dell'allenamento su specifici componenti (es. dare più peso al ragionamento per problemi complessi o alla chiarificazione per domande ambigue).

C. Strategie di Addestramento

Il paper esplora due regimi principali:

1. Training Individuale: Il modello viene addestrato con un peso massimo su un solo segmento (es. solo $Rq$ o solo $Mt$) fino alla convergenza.
2. Training Stepwise (Sequenziale): Il modello viene addestrato in fasi successive, passando da un regime di pesi all'altro (es. prima focalizzato su $Rq$, poi su $Mt$, infine su una combinazione $Rq+Mt$), permettendo un'acquisizione incrementale delle capacità di ragionamento.

3. Contributi Chiave

1. Decomposizione Gerarchica delle Risposte: Propone un metodo per arricchire i dataset di preferenze suddividendo le risposte in tre parti logiche, permettendo l'ottimizzazione mirata senza richiedere architetture multi-agente complesse o inferenza multi-pass.
2. Estensione Multi-Obiettivo del DPO: Introduce perdite ausiliarie a livello di segmento, creando un obiettivo ponderato che ottimizza le preferenze sia sui singoli componenti del ragionamento che sulla risposta completa.
3. Efficienza Computazionale: Mantiene l'efficienza del DPO (framework single-agent, single-pass) pur introducendo una granularità fine, evitando i costi e l'instabilità tipici dei metodi RL basati su agenti multipli.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli da 7B/8B parametri (Qwen-2.5-7B e Llama-3.1-8B) utilizzando il dataset di preferenze Math Stack Exchange.

• Benchmark Quantitativi:

  • I modelli addestrati con HiPO hanno superato sia il modello base che il DPO standard su diversi benchmark matematici (GSM8K, MATH500, AIME24, Gaokao2023).
  • Qwen-2.5-7B: Ha mostrato miglioramenti significativi con l'approccio Stepwise (bias su $Rq+Mt$), raggiungendo un incremento di +13.89% su GSM8K e +6.43% su MATH500 rispetto alla baseline.
  • Llama-3.1-8B: Ha beneficiato maggiormente del Rq-bias (chiarificazione della domanda), con un miglioramento medio del +1.83%, e ha mostrato una forte sensibilità all'ottimizzazione del Meta-thinking (Mt-only) su compiti competitivi come AIME24 (+11.00%).
  • L'addestramento focalizzato solo sulla risposta finale (A-Only) ha portato a un calo delle prestazioni, confermando l'importanza dei passaggi intermedi.

• Valutazione Qualitativa (LLM-as-a-Judge):

  • Utilizzando GPT-4.1 come giudice esterno, i modelli HiPO hanno ottenuto punteggi superiori in termini di Coerenza (flusso logico), Accuratezza (correttezza fattuale e del ragionamento) e Completamento dell'Obiettivo rispetto ai modelli addestrati con DPO standard.

5. Significato e Implicazioni

Il lavoro di HiPO è significativo perché colma il divario tra l'efficienza dell'ottimizzazione delle preferenze e la necessità di ragionamento strutturato.

• Interpretabilità e Controllo: Offre ai ricercatori e agli ingegneri un meccanismo controllabile per migliorare specifiche abilità di ragionamento (es. pianificazione vs. esecuzione) in base alla natura del problema.
• Generalizzazione: Sebbene testato su compiti matematici, la struttura gerarchica è applicabile ad altri domini, inclusi i sistemi di RAG (Retrieval-Augmented Generation), dove la selezione delle prove, la sintesi e la generazione della risposta sono fasi distinte ma interdipendenti.
• Futuro della Ricerca: HiPO dimostra che è possibile ottenere modelli di ragionamento più robusti e interpretabili senza abbandonare la stabilità dell'ottimizzazione diretta, aprendo la strada a modelli che non solo danno la risposta giusta, ma spiegano come e perché ci sono arrivati in modo coerente.