तकनीकी सारांश: ऑटोरेग्रेसिव डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (ADPO)

समस्या विवरण (Problem Statement)

डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO), ब्रैडली-टेरी (BT) मॉडल से विश्लेषणात्मक रूप से इष्टतम पॉलिसी (optimal policy) को व्युत्पन्न करके लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय प्राथमिकताओं के साथ संरेखित करने के लिए एक मानक विधि बन गया है, जो स्पष्ट रिवॉर्ड मॉडलिंग की आवश्यकता को समाप्त करता है। हालाँकि, लेखक मानक DPO फॉर्मूलेशन में एक सैद्धांतिक सीमा की पहचान करते हैं: जबकि LLMs स्वाभाविक रूप से ऑटोरेग्रेसिव (ऑटोरेग्रेसिव प्रकृति के माध्यम से टोकन को क्रमिक रूप से उत्पन्न करना) होते हैं, मानक DPO ऑब्जेक्टिव पूर्ण प्रतिक्रियाओं (complete responses) के स्तर पर BT मॉडल को लागू करता है, और यह प्रक्रिया पॉलिसी की ऑटोरेग्रेसिव प्रकृति को मानने के बाद होती है।

विशेष रूप से, मानक DPO ऑब्जेक्टिव फंक्शन को आउटपुट स्पेस $\mathcal{Y}$ पर BT मॉडल का उपयोग करके व्युत्पन्न करता है, और उसके बाद ही लॉग-प्रोबेबिलिटीज को टोकन-स्तरीय पदों (token-level terms) के योग में विस्तारित करता है। इसके परिणामस्वरूप एक लॉस फंक्शन प्राप्त होता है जहाँ टोकन-स्तरीय लॉग-अनुपातों का योग log-sigmoid फंक्शन के भीतर होता है। लेखक तर्क देते हैं कि यह क्रमिंग (ordering) प्रेफरेंस मॉडल के व्युत्पत्ति के दौरान ऑटोरेग्रेसिव धारणा का पूरी तरह से लाभ उठाने में विफल रहती है, जिससे अनुकूलन (optimization) की सूक्ष्मता (granularity) और सैद्धांतिक निरंतरता सीमित हो सकती है।

कार्यप्रणाली: ऑटोरेग्रेसिव DPO (ADPO)

यह शोध पत्र ऑटोरेग्रेसिव DPO (ADPO) प्रस्तावित करता है, जो एक नया संस्करण है जो ब्रैडली-टेरी मॉडल लागू करने से पहले ही ऑटोरेग्रेसिव धारणा को स्पष्ट रूप से शामिल करता है।

सैद्धांतिक फॉर्मूलेशन (Theoretical Formulation)

1. प्रिफिक्स क्लोजर और एनर्जी फंक्शन्स (Prefix Closure and Energy Functions): ADPO रिवॉर्ड फंक्शन के डोमेन को पूर्ण आउटपुट स्पेस $\mathcal{Y}$ से विस्तारित करके उसके प्रिफिक्स क्लोजर $\mathcal{Y}^*$ (अपूर्ण प्रतिक्रियाओं का सेट) तक ले जाता है। यह इन प्रिफिक्स के लिए "प्रिफिक्स-वाइज" एनर्जी फंक्शन्स $E^*_1$ और $E^*_2$ को परिभाषित करता है।
2. प्रिफिक्स-वाइज ब्रैडली-टेरी मॉडल: पूर्ण अनुक्रमों (sequences) पर प्राथमिकताओं को मॉडल करने के बजाय, ADPO एक प्रिफिक्स-वाइज BT मॉडल को परिभाषित करता है। एक पसंदीदा अनुक्रम $y_w$ की एक नापसंद किए गए अनुक्रम $y_l$ पर प्राथमिकता की संभावना को प्रत्येक प्रिफिक्स स्टेप $i$ पर प्राथमिकता की संभावनाओं के गुणनफल के रूप में तैयार किया जाता है।
3. लॉस का व्युत्पन्न (Derivation of the Loss): प्रिफिक्स-वाइज BT फ्रेमवर्क के भीतर रेफरेंस मॉडल $\pi_{ref}$ और सीखने योग्य मॉडल $\pi_\theta$ पर ऑटोरेग्रेसिव धारणा को लागू करके, लेखक एक नया लॉस फंक्शन व्युत्पन्न करते हैं।
   • मुख्य संरचनात्मक अंतर: मानक DPO में, लॉस $-\log \sigma(\sum_i \Delta_i)$ है। ADPO में, योग को log-sigmoid फंक्शन के बाहर स्थानांतरित कर दिया गया है:
     $$\mathcal{L}_{ADPO} = -\mathbb{E} \left[ \sum_{i=1}^{T'} \log \sigma \left( \beta \log \frac{\pi_\theta(y_{w,i}|y_{w,<i}, x)}{\pi_{ref}(y_{w,i}|y_{w,<i}, x)} - \beta \log \frac{\pi_\theta(y_{l,i}|y_{l,<i}, x)}{\pi_{ref}(y_{l,i}|y_{l,<i}, x)} \right) \right]$$
   • यह फॉर्मूलेशन प्राथमिकता अनुकूलन को एक एकल अनुक्रम-स्तरीय निर्णय के बजाय टोकन-स्तरीय (या उप-अनुक्रम स्तर के) निर्णयों की एक श्रृंखला के रूप में मानता है।

सैद्धांतिक विश्लेषण: लंबाई के माप (Length Measures)

शोध पत्र दो लंबाई मापों के बीच एक सैद्धांतिक अंतर प्रस्तुत करता है, जो DPO और ADPO के बीच संबंध को स्पष्ट करता है:

• टोकन लंबाई ($\mu$): एक अनुक्रम में टोकन की संख्या, जो LLM की ऑटोरेग्रेसिव प्रकृति का हिस्सा है।
• फीडबैक लंबाई ($\mu'$): वह सूक्ष्मता (granularity) जिस पर मानवीय फीडबैक लागू किया जाता है।
  • मानक DPO उस विशेष मामले के अनुरूप है जहाँ $\mu'(y) = 1$ सभी अनुक्रमों के लिए होता है (फीडबैक केवल पूर्ण प्रतिक्रिया पर दिया जाता है)।
  • ADPO $\mu'$ को $\mu$ से स्वतंत्र होने की अनुमति देता है, जिससे मनचाही सूक्ष्मता (जैसे टोकन-स्तर, वाक्य-स्तर, या निश्चित-विंडो स्तर) पर प्रशिक्षण सक्षम होता है।

लेखक सिद्ध करते हैं कि कोई भी रिवॉर्ड फंक्शन जो प्रिफिक्स-वाइज BT मॉडल के अनुरूप है, उसे एक ऑटोरेग्रेसिव मॉडल द्वारा पुन: पैरामीटराइज किया जा सकता है, जिससे यह सुनिश्चित होता है कि ADPO, KL-प्रतिबंधित रिवॉर्ड मैक्सिमाइजेशन समस्या के साथ सैद्धांतिक रूप से सुसंगत बना रहे।

मुख्य योगदान (Key Contributions)

1. ADPO फॉर्मूलेशन: ADPO का परिचय, जो ऊर्जा डोमेन को प्रिफिक्स क्लोजर $\mathcal{Y}^*$ तक विस्तारित करके DPO ऑब्जेक्टिव को व्युत्पन्न करता है, जिससे ऑटोरेग्रेसिव धारणा को BT मॉडल में स्पष्ट रूप से एकीकृत किया जाता है।
2. लॉस फंक्शन नवाचार: एक ऐसा लॉस फंक्शन व्युत्पन्न करना जहाँ टोकन-स्तरीय लॉग-अनुपातों का योग log-sigmoid फंक्शन से बाहर स्थानांतरित हो जाता है, जो सूक्ष्म-स्तर के प्रशिक्षण को सुगम बनाने के लिए एक सैद्धांतिक रूप से सुसंगत तरीका प्रदान करता है।
3. सूक्ष्मता पर सैद्धांतिक अंतर्दृष्टि: टोकन लंबाई ($\mu$) और फीडबैक लंबाई ($\mu'$) के बीच अंतर करना। शोध पत्र दर्शाता है कि DPO, ADPO का एक विशेष मामला है जहाँ $\mu' \equiv 1$, और $\mu'$ को बदलने से पूर्ण-प्रतिक्रिया से लेकर टोकन-स्तरीय अनुकूलन तक एल्गोरिदम का एक परिवार प्राप्त होता है।
4. पुन: पैरामीटराइजेशन पूर्णता: यह सिद्ध करना कि सौम्य धारणाओं के तहत, किसी भी रिवॉर्ड फंक्शन को प्रिफिक्स-वाइज फ्रेमवर्क के भीतर एक ऑटोरेग्रेसिव मॉडल द्वारा पुन: पैरामीटराइज किया जा सकता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कई LLM आर्किटेक्चर (Llama-3, Qwen, Gemma, DeepSeek-Math) पर गणितीय तर्क और संवादात्मक कार्यों पर ADPO का मूल्यांकन किया।

• गणितीय तर्क (GSM8K, MATH500):
  • ADPO वेरिएंट्स ने सभी मॉडल्स पर मानक DPO और टोकन-स्तरीय कंट्रास्टिव विधि cDPO को लगातार पछाड़ दिया।
  • सर्वश्रेष्ठ परिणाम cADPO (क्रिटिकल टोकन पहचान के साथ ADPO) द्वारा प्राप्त किए गए, जिसमें Qwen-3-8B ने GSM8K पर 91.74% सटीकता प्राप्त की।
  • सूक्ष्मता विश्लेषण (Granularity Analysis): "Static" (निश्चित विंडो आकार $k$) और "Adaptive" (निश्चित सेगमेंट संख्या $m$) परिवारों के प्रयोगों ने दिखाया कि सूक्ष्मता बढ़ने से सामान्यतः प्रदर्शन में सुधार होता है। विशेष रूप से, टोकन-स्तर ($k=1$) और उच्च-सेगमेंट एडेप्टिव सेटिंग्स ($m \ge 128$) ने पूर्ण-प्रतिक्रिया DPO की तुलना में बेहतर परिणाम दिए।
• संवादात्मक कार्य (AlpacaEval 2, Arena-Hard, MT-Bench):
  • ADPO ने DPO को पछाड़ा और सभी बेंचमार्क पर SimPO के बराबर या उससे बेहतर प्रदर्शन किया।
  • $m=256$ वाले एडेप्टिव परिवार ने AlpacaEval 2 पर उच्चतम लेंथ-कंट्रोल्ड विन रेट (45.8%) प्राप्त किया।
• प्रशिक्षण गतिशीलता (Training Dynamics): लॉग-प्रोबेबिलिटीज के विश्लेषण से पता चला कि ADPO, पसंदीदा और नापसंद किए गए अनुक्रमों के बीच अंतर को अधिक प्रभावी ढंग से बढ़ाता है, विशेष रूप से जैसे-जैसे सूक्ष्मता बढ़ती है।
• दक्षता (Efficiency): ADPO द्वारा पेश किए गए अतिरिक्त प्रिफिक्स-वाइज गणनाओं के परिणामस्वरूप मामूली प्रशिक्षण ओवरहेड (लगभग 5.7% वॉल-क्लॉक समय में वृद्धि) हुआ।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि ADPO, DPO का एक सैद्धांतिक रूप से सुसंगत विस्तार प्रदान करता है जो LLMs की ऑटोरेग्रेसिव प्रकृति के साथ बेहतर तालमेल बिठाता है। लॉग-सिग्मॉइड फंक्शन से योग को बाहर स्थानांतरित करके, ADPO मौलिक सिद्धांतों का उल्लंघन किए बिना मनचाही सूक्ष्मता पर अनुकूलन को सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य पहला है जो स्पष्ट रूप से टोकन लंबाई और फीडबैक लंबाई मापों के बीच अंतर करता है, जो एक एकीकृत ढांचा प्रदान करता है जिसमें पूर्ण-प्रतिक्रिया (DPO) और टोकन-स्तरीय दृष्टिकोण दोनों शामिल हैं। प्रयोगात्मक परिणाम बताते हैं कि सूक्ष्मता का लाभ उठाने से, बिना किसी महत्वपूर्ण कम्प्यूटेशनल लागत के, जटिल तर्क कार्यों में अधिक मजबूत संरेखण (alignment) प्राप्त होता है। शोध पत्र यह नोट करते हुए समाप्त होता है कि यद्यपि ADPO मूल KL-प्रतिबंधित ढांचे पर निर्भर करता है, भविष्य के कार्य डाइवर्जेंस मेट्रिक्स को सामान्य करने या गैर-ऑटोरेग्रेसिव मॉडल्स के लिए ऊर्जा परिभाषाओं को अनुकूलित करने का अन्वेषण कर सकते हैं।