HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

Hieronder volgt een gedetailleerde technische samenvatting van het paper "HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in Large Language Models" in het Nederlands.

1. Het Probleem

Direct Preference Optimization (DPO) is een effectief kader om grote taalmodellen (LLMs) af te stemmen op menselijke voorkeuren, vaak als een efficiënter alternatief voor Reinforcement Learning from Human Feedback (RLHF). Echter, DPO heeft een fundamentele beperking bij complexe redeneertaken:

• Monolithische behandeling: DPO behandelt een antwoord als één ongesplitst geheel. Het optimaliseert de waarschijnlijkheid van het genereren van een "geprefereerd" antwoord versus een "niet-geprefereerd" antwoord zonder in te zoomen op de onderdelen.
• Gebrek aan granulariteit: Bij meerstapsredenering (zoals wiskundige problemen) kan DPO geen feedback geven op specifieke subsecties (bijv. het verduidelijken van de vraag, de redeneerstappen, of de uiteindelijke oplossing). Dit maakt het moeilijk om specifieke tekortkomingen in het redeneerproces aan te pakken.
• Het compromis: Bestaande methoden zijn ofwel goed in stabiele voorkeurslearning (zoals DPO-varianten KTO en RSO) ofwel goed in gestructureerde redenering (zoals ReMA of Tree of Thoughts), maar ze slagen er niet in deze sterke punten te combineren zonder de stabiliteit en efficiëntie van DPO op te offeren.

2. Methodologie: HiPO (Hierarchical Preference Optimization)

HiPO lost dit op door antwoorden te decomponeren in semantisch betekenisvolle segmenten en een hiërarchische verliesfunctie toe te passen.

A. Data Generatie en Decompositie
Het paper introduceert een procedure om voorkeursdatasets (afgeleid van Stack Exchange) te verrijken. Elk antwoord wordt door een LLM (GPT-4.1) opgesplitst in drie specifieke segmenten:

1. Rq (Refined Query): Een herformulering van de vraag en context.
2. Mt (Meta-thinking): De stap-voor-stap redenering of gestructureerde denkstappen.
3. A (Answer): Het definitieve antwoord.

In tegenstelling tot eerdere werken die deze stappen in aparte inferentie-passes uitvoeren, genereert HiPO deze drie segmenten in één enkele traject (single-shot), wat zorgt voor consistentie tussen de onderdelen.

B. Segment-specifieke Optimalisatie
HiPO past een gewogen som toe van DPO-verliezen voor elk segment.

• Voor elk segment $k$ (Rq, Mt, A) wordt het log-waarschijnlijkheidsverschil tussen het geprefereerde ($y^+$) en niet-geprefereerde ($y^-$) antwoord berekend ten opzichte van een referentiemodel.
• Het totale verlies $\mathcal{L}(\theta)$ wordt berekend als:
  $$\mathcal{L}(\theta) = \sum_{k \in \{Rq, Mt, A, y\}} w_k \cdot \mathcal{L}_k(\theta)$$
  Waarbij $w_k$ de instelbare gewichten zijn die bepalen hoeveel nadruk wordt gelegd op het optimaliseren van een specifiek segment versus het totale antwoord.

C. Trainingsregimes
Het paper onderzoekt twee benaderingen:

1. Individueel trainen: Het model wordt getraind met een gewicht van 1.0 op slechts één segment (bijv. alleen Mt) om te zien welk aspect het meest verbetering biedt.
2. Stapsgewijs trainen: Het model wordt sequentieel getraind met verschillende gewichtsconfiguraties (bijv. eerst focussen op Rq, dan Mt, dan een combinatie), wat een geleidelijke ontwikkeling van redeneercapaciteiten mogelijk maakt.

3. Belangrijkste Bijdragen

1. Hiërarchische Respons-Decompositie: Een nieuwe procedure om voorkeursdata te decomponeren in drie logische onderdelen (Vraag, Redenering, Antwoord) zonder complexe multi-agent architecturen nodig te hebben.
2. Multi-objectieve DPO-extensie: Een uitbreiding van DPO met segment-specifieke hulpverliezen. Dit creëert een doelwit dat zowel individuele redeneercomponenten als het volledige antwoord optimaliseert.
3. Controleerbaarheid: Het biedt onderzoekers de mogelijkheid om trainingsaccenten dynamisch aan te passen aan de aard van het probleem (bijv. meer nadruk op vraaginterpretatie bij ambiguïteit, of op stap-voor-stap redenering bij complexe analyse).

4. Resultaten

De experimenten zijn uitgevoerd op twee modellen: Qwen-2.5-7B en Llama-3.1-8B, getraind op een voorkeursdataset van Math Stack Exchange.

• Prestaties op benchmarks: Modellen getraind met HiPO presteerden over het algemeen beter dan die met standaard DPO of geen fine-tuning op benchmarks zoals GSM8K, MATH500, AIME24 en Gaokao2023.
  • Qwen-2.5-7B: Toonde de grootste winst met een Mt-bias (focus op redenering) en een Rq+Mt-bias. De stapsgewijze training resulteerde in een toename van +13,89% op GSM8K en +6,43% op MATH500.
  • Llama-3.1-8B: Presteerde het beste met een Rq-bias (focus op vraagherformulering), met een gemiddelde verbetering van +1,83%.
• Ablatiestudies:
  • Trainen uitsluitend op het eindantwoord (A-only) leidde tot prestatieverlies bij beide modellen, wat aantoont dat het optimaliseren van het proces (redenering) cruciaal is voor het eindresultaat.
  • Segment-specifiek trainen bleek effectiever dan monolithisch DPO.
• Kwalitatieve Evaluatie: Gebruikmakend van GPT-4.1 als rechter, toonden HiPO-modellen significant betere scores op coherentie (logische flow), nauwkeurigheid en doelbereiking vergeleken met basismodellen.

5. Betekenis en Conclusie

HiPO vormt een brug tussen de stabiliteit en efficiëntie van Direct Preference Optimization en de gestructureerde aanpak van hiërarchische redenering.

• Efficiëntie: Het behoudt de rekenkundige efficiëntie van DPO (single-agent, single-pass) terwijl het de granulariteit van complexere methoden biedt.
• Toepasbaarheid: Hoewel getest op wiskunde, is het framework breed toepasbaar, bijvoorbeeld op Retrieval-Augmented Generation (RAG) systemen waar het onderscheid tussen query-interpretatie, informatiesynthese en het genereren van een antwoord essentieel is.
• Toekomst: Het opent nieuwe wegen voor het trainen van meer interpreteerbare en betrouwbare modellen door menselijke voorkeuren over het proces van redeneren (niet alleen het eindantwoord) te kunnen optimaliseren.

Kortom, HiPO demonstreert dat het ontleden van redeneertaken in afzonderlijke, optimaliseerbare componenten leidt tot superieure prestaties en een robuuster redeneervermogen in grote taalmodellen.