💬 NLP

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching

यह शोध पत्र टोकन-स्तरीय ब्रेगमन प्रेफरेंस ऑप्टिमाइज़ेशन (TBPO) प्रस्तुत करता है, जो एक नवीन विधि है जो संरेखण गुणवत्ता (alignment quality), प्रशिक्षण स्थिरता और आउटपुट विविधता में सुधार करने के लिए मानक अनुक्रम-स्तरीय तुलनाओं से एक टोकन-स्तरीय ब्रैडली-टेरी प्रेफरेंस मॉडल व्युत्पन्न करती है, जबकि डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) की सरलता को बनाए रखती है।

मूल लेखक: Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखा रहे हैं। आप उसे एक ही कहानी के दो संस्करण दिखाते हैं: एक "विजेता" (अच्छा, सहायक, सुरक्षित) और एक "हारने वाला" (बुरा, अनुपयोगी, या खतरनाक)। आपका लक्ष्य रोबोट को इस तरह से सुधारना है कि वह "विजेता" संस्करण लिखना सीख जाए।

लंबे समय तक, इसे करने का मानक तरीका (जिसे DPO कहा जाता है) यह था कि पूरी कहानी को एक साथ ग्रेड किया जाए: "यह पूरी कहानी बहुत अच्छी है, वह पूरी कहानी बुरी है।" फिर रोबोट पूरी कहानी को बेहतर बनाने के लिए अपने मस्तिष्क को समायोजित करने की कोशिश करता है।

समस्या:
यह पेपर तर्क देता है कि यह एक मैराथन धावक को केवल उसके फिनिशिंग टाइम (समाप्ति समय) से आंकने जैसा है, बिना उसकी चाल (stride) को देखे। भाषा मॉडल एक बार में पूरी कहानी नहीं लिखते; वे एक बार में एक शब्द लिखते हैं। उनका हर एक शब्द पिछले शब्दों के आधार पर लिया गया एक छोटा सा निर्णय होता है। यदि रोबक पहले ही शब्द पर एक छोटी सी गलती कर देता है, तो पूरी कहानी पटरी से उतर सकती है, भले ही अंत में "पूरी कहानी" का ग्रेड सुधर गया हो।

मौजूदा "टोकन-लेवल" (token-level) विधियों ने इसे ठीक करने की कोशिश की, लेकिन वे अभी भी मूल रूप से पूरी कहानी के ग्रेड को शब्दों पर फैला रहे थे, न कि रोबोट को हर एक कदम पर सही चुनाव करना सिखा रहे थे।

समाधान: TokenRatio (TBPO)
लेखक एक नया तरीका प्रस्तावित करते हैं जिसे Token-level Bregman Preference Optimization (TBPO) कहा जाता है। वे इसे सरल उपमाओं का उपयोग करके इस प्रकार समझाते हैं:

1. "GPS टर्न-बाय-टर्न" की उपमा

कल्पना कीजिए कि आप न्यूयॉर्क से लॉस एंजिल्स जा रहे हैं।

पुराना तरीका (सीक्वेंस-लेवल): आप अंतिम गंतव्य देखते हैं। यदि आप एलए पहुँचते हैं, तो आपको एक गोल्ड स्टार मिलता है। यदि आप कनाडा पहुँच जाते हैं, तो आपको रेड लाइट मिलती है। आप उस गोल्ड स्टार को पाने के लिए अपनी ड्राइविंग को एडजस्ट करने की कोशिश करते हैं, लेकिन आपको यह नहीं पता होता कि वास्तव में कौन सा मोड़ गलत था।
TBPO तरीका (टोकन-लेवल): यह एक ऐसे GPS की तरह काम करता है जो आपको मोड़-दर-मोड़ स्कोर देता है। हर एक चौराहे पर (हर शब्द पर), यह पूछता है: "क्या आपने उस सड़क को चुना जो अच्छी कहानी की ओर ले जाती है, या बुरी कहानी की ओर?" यह रोबोट को केवल यह उम्मीद करने के बजाय कि अंतिम परिणाम अच्छा होगा, हर एक कदम पर सही चुनाव करना सिखाता है।

2. "दो अलग रास्तों" की समस्या

यहाँ वह पेचीदा हिस्सा है जिसे यह पेपर हल करता है। जब एक "विजेता" कहानी और एक "हारने वाली" कहानी की तुलना की जाती है, तो वे अक्सर बहुत जल्दी अलग दिखने लगती हैं।

परिदृश्य: कल्पना कीजिए कि विजेता कहानी शुरू होती है "The cat sat..." (बिल्ली बैठी...) से और हारने वाली कहानी शुरू होती है "The dog ran..." (कुत्ता दौड़ा...) से।
समस्या: यदि आप केवल अगले शब्द की तुलना करते हैं, तो आप केवल शब्द की तुलना नहीं कर रहे हैं; आप दो पूरी तरह से अलग शुरुआती बिंदुओं की तुलना कर रहे हैं। यह एक ऐसे धावक की तुलना करने जैसा है जिसने पहाड़ी के ऊपर से दौड़ना शुरू किया बनाम एक जिसने पहाड़ी के नीचे से शुरू किया। ऊपर वाले के पास अनुचित लाभ है।
सुधार: पेपर एक "करेक्शन फैक्टर" (जिसे बेसलाइन कहा जाता है) पेश करता है।
- TBPO-Q: यह संस्करण एक छोटा, हल्का "कैलकुलेटर" बनाता है जो यह अनुमान लगाता है कि शुरुआती बिंदु (प्रिफिक्स/prefix) कितना "अच्छा" था। यह उस लाभ को घटा देता है ताकि आप केवल अगले शब्द को परख सकें, न कि पूरे इतिहास को।
- TBPO-A: यह संस्करण वही गणित करता है लेकिन एक अलग ट्रिक (जिसे "एडवांटेज नॉर्मलाइजेशन" कहा जाता है) का उपयोग करता है ताकि बिना किसी अलग कैलकुलेटर के शुरुआती बिंदु के अंतर को खत्म किया जा सके।

3. "डेंसिटी रेश्यो" (Density Ratio) का जादू

पेपर एक फैंसी गणितीय अवधारणा Density Ratio Matching (विशेष रूप से जिसे Bregman Divergence कहा जाता है) का उपयोग करता है।

सरल उपमा: कल्पना कीजिए कि आपके पास लाल मार्बल्स (अच्छे शब्द) और नीले मार्बल्स (बुरे शब्द) का एक बैग है। आप रोबोट को लाल मार्बल्स चुनना सिखाना चाहते हैं।
केवल उन्हें गिनने के बजाय, पेपर का तरीका "अच्छी" कहानियों बनाम "बुरी" कहानियों में लाल और नीले मार्बल्स के अनुपात (ratio) को देखता है। यह रोबोट के आंतरिक अनुपात को "अच्छे" अनुपात के बिल्कुल समान बनाने की कोशिश करता है।
ऐसा करके, रोबोट एक ऐसी "पॉलिसी" (नियमों का समूह) सीखता है जो केवल अंतिम परिणाम के लिए नहीं, बल्कि हर एक क्षण के लिए इष्टतम (optimal) होती है।

उन्होंने क्या पाया?

लेखकों ने दो लोकप्रिय AI मॉडलों (Mistral और Llama 3) पर कई विभिन्न कार्यों में इस नए तरीके का परीक्षण किया:

बेहतर तर्क क्षमता (Reasoning): मॉडल गणित और तर्क पहेलियों (जैसे GSM8K और MMLU) में बेहतर हो गए।
बेहतर एलाइनमेंट (Alignment): वे अधिक सहायक बन गए और हानिकारक बातें कहने की संभावना कम हो गई।
अधिक विविधता (Variety): AI प्रशिक्षण की एक आम समस्या यह है कि मॉडल उबाऊ और दोहराव वाले हो जाते हैं (जैसे एक टूटा हुआ रिकॉर्ड)। TBPO ने मॉडलों को विविध और रचनात्मक बनाए रखा, जबकि अन्य तरीकों ने उन्हें अधिक रोबोटिक बना दिया।
दक्षता (Efficiency): उन्होंने जटिल, महंगे सुदृढीकरण लर्निंग (reinforcement learning) लूप की आवश्यकता के बिना ये परिणाम प्राप्त किए। यह मानक विधियों पर एक "प्लग-एंड-प्ले" सुधार था।

संक्षेप में:
पेपर कहता है, "एक साथ पूरा निबंध ग्रेड करना बंद करें। AI को हर एक शब्द के लिए सही चुनाव करना सिखाएं, जबकि इस तथ्य को भी ठीक करें कि कुछ कहानियों को शुरुआत में ही बढ़त मिल जाती है।" परिणाम एक ऐसा AI है जो अधिक स्मार्ट, अधिक सहायक और कम दोहराव वाला है।

तकनीकी सारांश: टोकन रेश्यो (TBPO)

1. समस्या विवरण

डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय प्राथमिकताओं के साथ संरेखित करने के लिए एक मानक बन गया है, क्योंकि यह सुदृढीकरण शिक्षण (Reinforcement Learning - RL) की जटिलता से बचता है। हालाँकि, एक मौलिक विसंगति मौजूद है: LLMs टेक्स्ट को ऑटोरेग्रेसिव रूप से उत्पन्न करते हैं (एक प्रीफिक्स के आधार पर प्रति-टोकन निर्णय लेते हैं), जबकि DPO और इसके वेरिएंट आमतौर पर पूरे अनुक्रमों (sequences) को अविभाज्य वस्तुओं के रूप में प्राथमिकताओं को मॉडल करते हैं।

मौजूदा "टोकन-लेवल" विस्तार (जैसे, TDPO, TIS-DPO) अनुक्रम-स्तर के ब्रैडली-टीटी (Bradley–Terry) ऑब्जेक्टिव को टाइमस्टेप्स में विभाजित करके इसे संबोधित करने का प्रयास करते हैं। पेपर का तर्क है कि ये विधियाँ अभी भी मौलिक रूप से एक अनुक्रम-स्तरीय मॉडल को अनुकूलित करती हैं, जिससे प्रति-प्रीफिक्स (स्टेट-वाइज) इष्टतमता (optimality) अप्रत्यक्ष रह जाती है। इससे दोषपूर्ण क्रेडिट असाइनमेंट (credit assignment) होता है, जहाँ शुरुआती टोकन में छोटी त्रुटियाँ कैस्केड (बढ़) सकती हैं, और मॉडल को हर जनरेशन स्टेप पर स्थानीय रूप से इष्टतम ट्रेड-ऑफ करने के लिए स्पष्ट रूप से प्रशिक्षित नहीं किया जाता है। मुख्य समस्या यह है कि केवल मानक अनुक्रम-स्तरीय युग्म तुलना डेटा का उपयोग करके, उस सरलता और दक्षता से समझौता किए बिना, टोकन-स्तरीय प्राथमिकता इष्टतमता को कैसे प्राप्त किया जाए।

2. कार्यप्रणाली: टोकन-लेवल ब्रेगमैन प्रेफरेंस ऑप्टिमाइज़ेशन (TBPO)

लेखक टोकन-लेवल ब्रेगमैन प्रेफरेंस ऑप्टिमाइज़ेशन (TBPO) का प्रस्ताव करते हैं, जो केवल अनुक्रम-स्तरीय डेटा पर निर्भर रहते हुए डेंसिटी रेश्यो मैचिंग (density ratio matching) के माध्यम से टोकन स्तर पर प्राथमिकताओं को स्पष्ट रूप से मॉडल करता है।

2.1. टोकन-लेवल ब्रैडली-टीटी मॉडल

एक पूर्ण रिस्पॉन्स को एक एकल इकाई मानने के बजाय, TBPO एक टोकन-स्तरीय ब्रैडली-टीटी मॉडल का प्रस्ताव करता है। एक प्रेफरेंस पेयर $(y_w, y_l)$ और एक विशिष्ट टाइम स्टेप $t$ के लिए, मॉडल जीतने वाले प्रीफिक्स $s^w_t = [x, y^w_{<t}]$ से अगले टोकन $y^w_t$ की तुलना हारने वाले प्रीफिक्स $s^l_t = [x, y^l_{<t}]$ से अगले टोकन $y^l_t$ के साथ करता है।

प्रेफरेंस प्रोबेबिलिटी को इस प्रकार परिभाषित किया गया है:
$p_{data}(y^w_t \succ y^l_t | s^w_t, s^l_t) = \sigma(S(s^w_t, y^w_t) - S(s^l_t, y^l_t))$
जहाँ $S(s, a)$ एक टोकन-स्तरीय स्कोर फंक्शन है और $\sigma$ सिग्मॉइड फंक्शन है।

2.2. दो इंस्टांशिएशन (Instantiations)

स्कोर फंक्शन $S$ के चयन के आधार पर यह ढांचा दो वेरिएंट प्रदान करता है:

TBPO-Q: यह रेफरेंस-पॉलिसी स्टेट-एक्शन वैल्यू फंक्शन $Q^{\pi_{ref}}$ का उपयोग करता है। यह प्रेफरेंस लेबल को वन-स्टेप लुकअहेड यूटिलिटीज के एक नॉइजी तुलना के रूप में मानता है।
TBPO-A: यह रेफरेंस-पॉलिसी एडवांटेज फंक्शन $A^{\pi_{ref}}$ का उपयोग करता है। यह पॉलिसी को हर स्टेट पर विनिंग और लूजिंग एक्सटेंशन के बीच एडवांटेज गैप को बढ़ाने के लिए प्रोत्साहित करता है।

2.3. डेंसिटी रेश्यो मैचिंग और प्रति-स्टेट वेट्स

एक महत्वपूर्ण सैद्धांतिक अंतर्दृष्टि यह है कि विभिन्न प्रीफिक्स (स्टेट्स) के बीच क्रियाओं की तुलना करने के लिए एक करेक्शन टर्म की आवश्यकता होती है। लेखक एक समानता (equality) व्युत्पन्न करते हैं जो इष्टतम पॉलिसी $\pi^*_\theta$ को रेफरेंस पॉलिसी $\pi_{ref}$ से जोड़ती है, जिसमें एक प्रति-स्टेट वेट $w_t$ शामिल है:
$\frac{\pi^*_\theta(y^w_t | s^w_t)}{\pi^*_\theta(y^l_t | s^l_t)} = \frac{\pi_{ref}(y^w_t | s^w_t)}{\pi_{ref}(y^l_t | s^l_t)} \times \left( \frac{p_{data}(y^w_t \succ y^l_t)}{p_{data}(y^l_t \succ y^w_t)} \right)^{1/\beta} \times w_t$

TBPO-Q में, $w_t$ दोनों प्रीफिक्स के पार्टिशन फंक्शन्स (सॉफ्ट-वैल्यूज) का अनुपात है।
TBBO-A में, $w_t$ दोनों प्रीफिक्स के बीच KL-डाइवर्जेंस बेसलाइन्स का अंतर है।

इसे व्यावहारिक बनाने के लिए, लेखक व्यावहारिक एस्टिमेटर्स प्रस्तावित करते हैं:

TBPO-Q: लॉग-पार्टिशन फंक्शन की भविष्यवाणी करने के लिए एक लाइटवेट MLP बेसलाइन हेड सीखता है, जो मुख्य LLM बैकबोन में ग्रेडिएंट्स को रोकता है।
TBPO-A: वर्तमान पॉलिसी और रेफरेंस पॉलिसी पर आधारित एक अनबायस्ड मोंटे कार्लो एस्टिमेटर (K3 एस्टिमेटर) का उपयोग करके KL-डाइवर्जेंस अंतर का अनुमान लगाता है।

2.4. ऑप्टिमाइज़ेशन ऑब्जेक्टिव

यह ढांचा प्रेफरेंस ऑप्टिमाइज़ेशन को एक ब्रेगमैन-डाइवर्जेंस डेंसिटी-रेश्यो मैचिंग समस्या के रूप में प्रस्तुत करता है। टोकन स्तर पर एम्पिरिकल डेटा रेश्यो और मॉडल रेश्यो के बीच ब्रेगमैन डाइवर्जेंस को कम करके, यह विधि एक सुलभ लॉस फंक्शन व्युत्पन्न करती है। यह लॉजिस्टिक/DPO लॉस को सामान्यीकृत करता है और टोकन-स्तरीय मॉडल द्वारा प्रेरित इष्टतम पॉलिसी को सुरक्षित रखता है। लॉस फंक्शन को पेयर के छोटे अनुक्रम के टाइमस्टेप्स पर औसत निकाला जाता है।

3. मुख्य योगदान

फ्रेमवर्क: TBPO का परिचय, जो केवल अनुक्रम-स्तरीय तुलना डेटा का उपयोग करके डेंसिटी रेश्यो मैचिंग के माध्यम से टोकन-स्तरीय प्राथमिकताओं को स्पष्ट रूप से मॉडल करने वाला पहला फ्रेमवर्क है।
सिद्धांत (Theory): एक कठोर व्युत्पत्ति जो दिखाती है कि TBPO ऑब्जेक्टिव को कम करने से पर्याप्त मॉडल क्षमता के तहत एक टोकन-स्तरीय इष्टतम पॉलिसी प्राप्त होती है। लेखक सिद्ध करते हैं कि मिनिमाइज़र वांछित इष्टतम पॉलिसी के अनुरूप है जिसे टोकन-स्तरीय ब्रैडली-टीटी मॉडल द्वारा परिभाषित किया गया है।
वेरिएंट्स: दो विशिष्ट इंस्टांशिएशन (TBPO-Q और TBPO-A) का प्रस्ताव जो स्टेट-डिपेंडेंट करेक्शन टर्म्स को अलग-अलग तरह से (लर्न किए गए बेसलाइन्स बनाम एडवांटेज नॉर्मलाइजेशन के माध्यम से) हैंडल करते हैं।
लचीलापन (Flexibility): यह फॉर्मूलेशन ब्रेगन जनरेटर फंक्शन (जैसे, ट्यूनिंग फ्लेक्सिबिलिटी के लिए स्केल्ड बासुज़ पावर डाइवर्जेंस का उपयोग करना) को बदलकर "प्लग-एंड-प्ले" पेयरवाइज प्रेफरेंस लॉस का एक परिवार प्रदान करता है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने Mistral 7B v0.1 और Llama 3 8B पर कई बेंचमार्क पर TBPO का मूल्यांकन किया:

सामान्य क्षमताएं: ओपन एलएलएम लीडरबोर्ड (ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K) पर, TBPO वेरिएंट लगातार मजबूत बेसलाइन्स (SFT, DPO, TDPO, TIS-DPO, BPO) से बेहतर प्रदर्शन करते हैं।
- Mistral 7B पर TBPO-Q ने उच्चतम औसत स्कोर (60.95) और Llama 3 8B पर TBPO-A ने (70.50) प्राप्त किया।
- रीजनिंग-हैवी कार्यों (जैसे, GSM8K, MMLU) में उल्लेखनीय लाभ देखे गए।
जेनरेशन क्वालिटी (MT-Bench): TBPO ने कम लॉस रेट के साथ पूर्व बेसलाइन्स के मुकाबले उच्च पेयरवाइज विन रेट हासिल किया, जैसा कि LLM जजों (Llama 3 70B और Mixtral-8x22B) द्वारा मूल्यांकन किया गया।
हेल्पफुलनेस और हार्मलेसनेस: Anthropic HH-RLHF डेटासेट पर, TBPO वेरिएंट्स ने उच्चतम लेंथ-कंट्रोल्ड (LC) विन रेट हासिल किया और प्रतिस्पर्धियों की तुलना में छोटे रिस्पॉन्स दिए। यह सुझाव देता है कि सुधार वर्बोसिटी (शब्दबहुलता) से नहीं बल्कि वास्तविक गुणवत्ता संरेखण से प्रेरित है।
विविधता (Diversity): कुछ टोकन-लेवल विधियों के विपरीत जो विविधता को कम कर देती हैं (उच्च Self-BLEU, कम एंट्रॉपी), TBPO ने बेहतर ट्रेड-ऑफ हासिल किया, जिससे लो Self-BLEU बनाए रखते हुए उच्च प्रेडिक्टिव एंट्रॉपी और Distinct-1 स्कोर बना रहा।

5. महत्व और दावे

पेपर दावा करता है कि TBPO भाषा जनरेशन की ऑटोरेग्रेसिव प्रकृति और अनुक्रम-स्तरीय प्रेफरेंस ऑप्टिमाइज़ेशन के बीच के अंतर को पाटता है। टोकन स्तर पर इष्टतमता को स्पष्ट रूप से लागू करके, TBPO अनुक्रम-स्तरीय विधियों के अप्रत्यक्ष क्रेडिट असाइनमेंट मुद्दों से बचता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण:

टोकन-लेवल इष्टतमता को पुनः प्राप्त करता है: यह एक सैद्धांतिक गारंटी प्रदान करता है कि सीखा गया पॉलिसी हर स्टेट (प्रीफिक्स) पर इष्टतम है, न कि केवल अनुक्रमों पर औसत रूप से।
सरलता बनाए रखता है: यह बिना किसी स्पष्ट रिवॉर्ड मॉडल या ऑन-पॉलिसी RL के "DPO-जैसे" सरलता को बनाए रखता है, जबकि इसमें केवल एक लाइटवेट बेसलाइन एस्टीमेशन घटक जोड़ा गया है।
स्थिरता और विविधता में सुधार करता है: अनुभवजन्य परिणाम बताते हैं कि TBPO मौजूदा टोकन-लेवल बेसलाइन्स की तुलना में बेहतर ट्रेनिंग स्थिरता और आउटपुट विविधता को बेहतर ढंग से संरक्षित करता है।

इस कार्य को एलाइनमेंट के लिए अधिक विश्वसनीय और बेहतर ढंग से समझ में आने वाले मशीन लर्निंग सिस्टम के डिजाइन में एक पद्धतिगत योगदान के रूप में प्रस्तुत किया गया है, बिना किसी विशिष्ट उच्च-जोखिम वाले डोमेन में तत्काल तैनाती का दावा किए।