HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

यहाँ शोध पत्र "HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि Direct Preference Optimization (DPO), मानव प्राथमिकताओं के साथ Large Language Models (LLMs) को संरेखित करने के लिए अपनी कम्प्यूटेशनल दक्षता और RLHF की तुलना में स्थिरता के कारण एक मानक बन गया है, लेकिन यह जटिल तर्क (reasoning) कार्यों में एक गंभीर सीमा से ग्रस्त है: प्रतिक्रियाओं का अखंड उपचार (monolithic treatment of responses)।

• सूक्ष्मता का अभाव (Lack of Granularity): मानक DPO एक एकल, अविभेदित इकाई के रूप में एक पसंदीदा प्रतिक्रिया की तुलना में कम पसंदीदा प्रतिक्रिया उत्पन्न करने की संभावना को अनुकूलित करता है। यह तर्क प्रक्रिया के विभिन्न घटकों (जैसे, प्रश्न को समझना, तार्किक चरण, और अंतिम उत्तर) के बीच अंतर नहीं कर सकता है।
• कमियों को लक्षित करने में असमर्थता (Inability to Target Deficiencies): अभ्यासकर्ता पूरे रिस्पॉन्स जनरेशन को पुन: प्रशिक्षित किए बिना मॉडल की विशिष्ट कमजोरियों (जैसे, खराब क्वेरी व्याख्या बनाम त्रुटिपूर्ण तार्किक निष्कर्ष) को अलग करने और सुधारने में सक्षम नहीं हैं।
• अंतराल (The Gap): मौजूदा विधियाँ या तो स्थिर प्राथमिकता शिक्षण (DPO वेरिएंट जैसे KTO, RSO) प्रदान करती हैं लेकिन उनमें संरचित तर्क (structured reasoning) का अभाव है, या वे संरचित तर्क (जैसे, Tree of Thoughts, ReMA) प्रदान करती हैं लेकिन अस्थिर, संसाधन-गहन मल्टी-एजेंट RL फ्रेमवर्क पर निर्भर करती हैं। ऐसा कोई फ्रेमवर्क नहीं है जो DPO की स्थिरता को पदानुक्रमित तर्क अपघटन (hierarchical reasoning decomposition) की सूक्ष्मता के साथ जोड़ता हो।

2. कार्यप्रणाली: HiPO फ्रेमवर्क (Methodology: HiPO Framework)

लेखक HiPO (Hierarchical Preference Optimization) का प्रस्ताव करते हैं, जो DPO का एक विस्तार है जो प्रतिक्रियाओं को अर्थपूर्ण खंडों (segments) में विभाजित करता है और भारित (weighted), खंड-स्तरीय अनुकूलन लागू करता है।

A. डेटा जनरेशन और अपघटन (Data Generation & Decomposition)

यह फ्रेमवर्क प्रत्येक प्रतिक्रिया को एक LLM (GPT-4.1) का उपयोग करके पार्सर के रूप में तीन विशिष्ट खंडों में विभाजित करके मानक प्राथमिकता डेटासेट (Math Stack Exchange से प्राप्त) को संवर्धित करता है:

1. परिष्कृत क्वेरी ($R_q$): मूल क्वेरी का एक पुनर्कथन जो समस्या को संदर्भ देता है और अस्पष्टताओं को स्पष्ट करता है।
2. मेटा-थिंकिंग ($M_t$): समस्या को हल करने के लिए उपयोग किए गए चरण-दर-चरण तर्क, योजना और संरचित तार्किक चरण।
3. उत्तर ($A$): अंतिम उत्पन्न समाधान।

उन मल्टी-पास दृष्टिकोणों के विपरीत जहाँ ये अलग-अलग मॉडलों द्वारा क्रमिक रूप से उत्पन्न किए जाते हैं, HiPO एक सिंगल-शॉट दृष्टिकोण का उपयोग करता है जहाँ इन तीनों खंडों को एक ही ट्राजेक्टरी में उत्पन्न किया जाता है, जिससे उनके बीच निरंतरता सुनिश्चित होती है।

B. लॉस फंक्शन फॉर्मूलेशन (Loss Function Formulation)

HiPO मानक DPO लॉस फंक्शन का विस्तार करता है, जो प्रत्येक खंड के लिए व्यक्तिगत रूप से लॉग-प्रोबेबिलिटी की गणना करता है।

• खंड-स्तरीय लॉग-प्रोबेबिलिटी (Segment-Level Log-Probability): एक खंड $k$ (जहाँ $k \in \{R_q, M_t, A\}$) के लिए, लॉग-प्रोबेबिलिटी उस खंड के विशिष्ट टोकन इंडेक्स पर कम्प्यूट की जाती है।
• खंड-स्तरीय लॉस ($L_k$): प्रत्येक खंड के लिए स्वतंत्र रूप से एक DPO-शैली का लॉस की गणना की जाती है, जो पसंदीदा ($y^+$) और कम पसंदीदा ($y^-$) खंडों के बीच प्रेफरेंस मार्जिन को मापता है।
• पदानुक्रमित उद्देश्य (Hierarchical Objective): कुल लॉस, खंड-स्तरीय लॉस और पूर्ण-प्रतिक्रिया लॉस का एक भारित योग है:
  $$L(\theta) = \sum_{k \in \{R_q, M_t, A, y\}} w_k \cdot L_k(\theta)$$
  जहाँ $w_k$ समायोज्य हाइपरपैरामीटर हैं जो अभ्यासकर्ताओं को विशिष्ट तर्क घटकों को प्राथमिकता देने की अनुमति देते हैं (जैसे, जटिल तर्क के लिए $M_t$ पर जोर देना या अस्पष्ट प्रश्नों के लिए $R_q$ पर जोर देना)।

C. प्रशिक्षण शासन (Training Regimes)

पेपर दो प्रशिक्षण रणनीतियों की खोज करता है:

1. व्यक्तिगत प्रशिक्षण (Individual Training): एक एकल खंड वेट सेट के साथ प्रशिक्षण (उदाहरण के लिए, केवल बेहतर तर्क चरणों के लिए अनुकूलित करना)।
2. चरणबद्ध प्रशिक्षण (Stepwise Training): विभिन्न वेट कॉन्फ़िगरेशन के साथ मॉडल को क्रमिक रूप से प्रशिक्षित करना (उदाहरण के लिए, $R_q \to M_t \to R_q + M_t$) ताकि तर्क क्षमताओं को वृद्धिशील रूप से बनाया जा सके।

3. मुख्य योगदान (Key Contributions)

1. पदानुक्रमित प्रतिक्रिया अपघटन (Hierarchical Response Decomposition): प्राथमिकता डेटा को तीन सामान्यीकृत तर्क खंडों ($R_q, M_t, A$) में तोड़ने की एक नवीन प्रक्रिया, जिसके लिए जटिल मल्टी-एजेंट आर्किटेक्चर या मल्टी-पास इन्फरेंस की आवश्यकता नहीं है।
2. बहु-उद्देश्यीय DPO विस्तार (Multi-Objective DPO Extension): DPO का एक गणितीय विस्तार जो खंड-स्तरीय सहायक लॉस पेश करता है, जिससे सिंगल-एजेंट ट्रेनिंग की कम्प्यूटेशनल दक्षता बनाए रखते हुए विशिष्ट तर्क कौशल का लक्षित अनुकूलन संभव होता है।
3. नियंत्रणीय तर्क प्रशिक्षण (Controllable Reasoning Training): समस्या के प्रकार के आधार पर प्रशिक्षण महत्व को समायोजित करने की क्षमता (जैसे, अस्पष्ट समस्याओं के लिए क्वेरी स्पष्टीकरण को प्राथमिकता देना या जटिल बहु-चरणीय कार्यों के लिए मेटा-थिंकिंग को प्राथमिकता देना)।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Math Stack Exchange प्रेफरेंस डेटासेट का उपयोग करके Qwen-2.5-7B-Instruct और Llama-3.1-8B-Instruct पर HiPO का मूल्यांकन किया। बेंचमार्क में GSM8K, MATH500, AIME24, Gaokao2023, और Minerva शामिल थे।

• प्रदर्शन लाभ (Performance Gains):
  • Qwen-2.5-7B: Stepwise Training शासन (विशेष रूप से $R_q+M_t$ बायस) ने बेस मॉडल की तुलना में GSM8K पर +13.89% और MATH500 पर +6.43% की भारी वृद्धि हासिल की। व्यक्तिगत $R_q$-केवल प्रशिक्षण ने भी मजबूत लाभ (+11.18% GSM8K पर) दिखाया।
  • Llama-3.1-8B: स्टेपवाइज ट्रेनिंग में $R_q$-बायस के साथ इष्टतम प्रदर्शन (+3.16% GSM8K पर) और प्रतियोगिता-स्तर के कार्यों (AIME24 +11.00%) के लिए $M_t$-केवल प्रशिक्षण दिखाया।
• बेसलाइन के साथ तुलना (Comparison to Baselines):
  • मानक DPO अक्सर बेस मॉडल की तुलना में मामूली लाभ या मामूली गिरावट का परिणाम रहा।
  • A-Only (केवल अंतिम उत्तर को अनुकूलित करना) लगातार खराब प्रदर्शन करता रहा, जिससे अक्सर प्रदर्शन में गिरावट आई, जो यह दर्शाता है कि केवल आउटपुट के बजाय प्रक्रिया को अनुकूलित करना अधिक महत्वपूर्ण है।
• गुणात्मक मूल्यांकन (LLM-as-a-Judge):
  • HiPO के साथ प्रशिक्षित मॉडलों ने मानक DPO बेसलाइन की तुलना में बेहतर सुसंगतता (तार्किक प्रवाह), सटीकता (तथ्यात्मक शुद्धता), और लक्ष्य पूर्णता (Goal Completion) प्रदर्शित की, जैसा कि GPT-4.1 द्वारा मूल्यांकन किया गया था।

5. महत्व और निष्कर्ष (Significance and Conclusion)

HiPO स्थिर प्राथमिकता अनुकूलन और संरचित तर्क के बीच के अंतर को पाटता है।

• दक्षता: यह DPO की कम कम्प्यूटेशनल लागत और स्थिरता को बनाए रखता है, जिससे RLHF और मल्टी-एजेंट सिस्टम की अस्थिरता से बचा जा सकता है।
• व्याख्यात्मकता (Interpretability): तर्क को विघटित करके, यह शोधकर्ताओं को विशिष्ट तर्क विफलताओं (जैसे, "मॉडल प्रश्न को समझता है लेकिन तार्किक चरणों में विफल रहता है") का निदान करने और उन्हें ठीक करने की अनुमति देता है।
• सामान्यीकरण (Generalizability): हालांकि गणित पर परीक्षण किया गया है, यह फ्रेमवर्क किसी भी ऐसे डोमेन के लिए लागू है जिसमें संरचित तर्क की आवश्यकता होती है, जिसमें रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) शामिल है, जहाँ क्वेरी समझ, साक्ष्य संश्लेषण और उत्तर निर्माण को अलग करना महत्वपूर्ण है।

शोध पत्र निष्कर्ष निकालता है कि प्राथमिकता डेटा का पदानुक्रमित अपघटन अधिक विश्वसनीय, व्याख्या योग्य और सक्षम तर्क मॉडल बनाने की दिशा में एक महत्वपूर्ण कदम है, जो विशिष्ट संज्ञानात्मक मांगों के अनुसार प्रशिक्षण रणनीतियों को अनुकूलित करने के लिए एक ट्यूनेबल तंत्र प्रदान करता है।