🤖 AI

Distributionally Robust Listwise Preference Optimization

यह शोध पत्र एक प्लैकेट-लूस (Plackett-Luce) उद्देश्य पर आधारित एक सुलभ, वितरण रूप से सुदृढ़ (distributionally robust) लिस्टवाइज प्रेफरेंस ऑप्टिमाइज़ेशन फ्रेमवर्क प्रस्तावित करता है जो सबसे खराब स्थिति के सुधार (worst-case correction) को $O(K\log K)$ जटिलता तक कम करके रैंकिंग-लेबल अनिश्चितता को कुशलतापूर्वक संभालता है, जिससे ऑफलाइन और ऑनलाइन दोनों भाषा मॉडल संरेखण (language model alignment) में मजबूती और प्रदर्शन में सुधार होता है।

मूल लेखक: Xudong Wu, Jian Qian, Pangpang Liu, Vaneet Aggarwal, Jiayu Chen

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xudong Wu, Jian Qian, Pangpang Liu, Vaneet Aggarwal, Jiayu Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कहानियाँ, कविताएँ या कोड लिखना सिखा रहे हैं। इसे अच्छी तरह से करने के लिए, आपको इसे उदाहरण दिखाने होंगे कि इंसान क्या पसंद करते हैं। आमतौर पर, आप रोबोट को दो विकल्प दिखाते हैं: "कहानी A" और "कहानी B," और इंसान कहता है, "मुझे A ज्यादा पसंद है।" इसे पेयरवाइज़ (pairwise) लर्निंग कहा जाता है।

लेकिन वास्तविक दुनिया में, इंसानों को अक्सर विकल्पों की एक पूरी सूची (कहानी A, B, C और D) में से चुनना पड़ता है, और वे उन्हें रैंक भी कर सकते हैं। कभी-कभी, यह रैंकिंग अव्यवस्थित होती है। हो सकता है कि इंसान थक गया हो, शायद कहानियाँ बहुत समान हों, या शायद मूल्यांकन करने वाले टूल ने गलतियाँ की हों। यह लिस्टवाइज़ (listwise) लर्निंग है जिसमें नॉइज़ी लेबल्स (noisy labels) हैं।

यह पेपर रोबोट को सिखाने का एक नया तरीका पेश करता है जो विशेष रूप से इस अव्यवस्था को बिना भ्रमित हुए संभालने के लिए डिज़ाइन किया गया है। यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "भ्रमित जज"

अधिकांश वर्तमान तरीके यह मान लेते हैं कि जज (इंसान या रिवॉर्ड मॉडल) एकदम सटीक है। यदि जज कहता है कि "A, B से बेहतर है," तो रोबोट इस पर 100% विश्वास कर लेता है।

लेकिन क्या होगा यदि जज असंगत हो?

"निकट-टाई" (Near-Tie) की समस्या: दो कहानियाँ इतनी समान हैं कि जज यह तय करने के लिए सिक्का उछालता है कि कौन सी बेहतर है।
"टॉप-रैंक" (Top-Rank) की समस्या: जज गलती से एक बहुत ही खराब कहानी को सूची में सबसे ऊपर रख देता है।
"नॉइज़" (Noise) की समस्या: गुणवत्ता मापने वाला टूल रैंडम गलतियाँ करता है।

यदि रोबोट इन शोर वाली सूचियों से आँख मूंदकर सीखता है, तो वह गलत सबक सीख सकता है।

2. समाधान: "सेफ्टी नेट" दृष्टिकोण

लेखक एक विधि प्रस्तावित करते हैं जिसे डिस्ट्रिब्यूशनली रोबस्ट लिस्टवाइज़ प्रेफरेंस ऑप्टिमाइज़ेशन (Distributionally Robust Listwise Preference Optimization) कहा जाता है। आइए इसे तोड़ते हैं:

लिस्टवाइज़ (Listwise): केवल जोड़ों (A बनाम B) को देखने के बजाय, रोबルト पूरी सूची (A, B, C, D) को एक साथ देखता है।
रोबस्ट (Robust): रोबोट यह मान लेता है कि जज गलत हो सकता है। यह केवल उस रैंकिंग से नहीं सीखता जो उसे बताई गई है; बल्कि यह पूछता है, "क्या होगा अगर जज ने गलती की हो? सबसे खराब संभव रैंकिंग क्या हो सकती थी जिसका उन्होंने अर्थ निकाला होगा?"

उपमा: सख्त कोच
कल्पना कीजिए कि एक स्पोर्ट्स कोच खिलाड़ी को प्रशिक्षित कर रहा है।

पुराना तरीका: कोच कहता है, "तुमने यह दौड़ 10 सेकंड में पूरी की।" खिलाड़ी ठीक 10 सेकंड का लक्ष्य रखने के लिए प्रशिक्षण लेता है। यदि स्टॉपवॉच खराब थी और समय वास्तव में 12 सेकंड था, तो खिलाड़ी अब भ्रमित है।
इस पेपर का तरीका: कोच कहता है, "तुमने यह दौड़ पूरी की। स्टॉपवॉच ने 10 सेकंड दिखाया, लेकिन यह खराब भी हो सकती है। आइए सबसे खराब स्थिति मान लें: शायद तुमने वास्तव में 12 सेकंड में दौड़ पूरी की। आइए तुम्हें 12 सेकंड के लिए भी अच्छा बनने के लिए प्रशिक्षित करें।"

"सबसे खराब" परिदृश्य (सबसे अधिक भ्रमित करने वाली या शोर वाली रैंकिंग) के लिए प्रशिक्षण देकर, रोबोट बहुत अधिक स्थिर हो जाता है। यदि जज वास्तव में सही था, तो भी रोबोट अच्छा प्रदर्शन करेगा। यदि जज गलत था, तो रोबोट क्रैश नहीं होगा; वह बस थोड़ा कम पूर्ण प्रदर्शन करेगा लेकिन विश्वसनीय बना रहेगा।

3. जादुई ट्रिक: अनुमान लगाना नहीं, सॉर्ट करना

आप सोच सकते हैं, "यदि 4 कहानियाँ हैं, तो उन्हें रैंक करने के 24 अलग-अलग तरीके हैं (4x3x2x1)। 'सबसे खराब' को खोजने के लिए हर संभावना की जाँच करना बहुत समय लेगा।"

पेपर का सबसे बड़ा ब्रेकथ्रू एक गणितीय शॉर्टकट है।
उन्होंने खोजा कि "सबसे खराब" रैंकिंग (जो रोबोट को सबसे अधिक नुकसान पहुँचाएगी) को खोजने के लिए, आपको सभी 24 संभावनाओं की जाँच करने की आवश्यकता नहीं है। आपको बस रोबोट के वर्तमान स्कोर को उल्टे क्रम में सॉर्ट (sort) करने की आवश्यकता है।

उपमा: कल्पना कीजिए कि आपके पास ताश की एक गड्डी है। आप जानना चाहते हैं कि सबसे खराब हाथ (hand) कौन सा हो सकता है। पूरे डेक को लाखों बार फेंटकर सबसे खराब हाथ खोजने के बजाय, आप बस अपने पास मौजूद कार्डों को देखते हैं, उन्हें सबसे कम से सबसे अधिक के क्रम में सॉर्ट करते हैं, और महसूस करते हैं: "ओह, सबसे खराब हाथ वही है जहाँ सबसे कम कार्ड पहले चुने जाते हैं।"
परिणाम: यह एक ऐसे कार्य को जो अनंत समय ले सकता था (लाखों संयोजनों की जाँच करना) को एक ऐसे कार्य में बदल देता है जो एक सेकंड के एक अंश में पूरा हो जाता है (केवल एक सूची को सॉर्ट करना)। यह इस पद्धति को वास्तविक कंप्यूटरों पर उपयोग करने के लिए पर्याप्त तेज़ बनाता है।

4. परिणाम: मजबूत और स्मार्ट

लेखकों ने इसे दो तरीकों से परखा:

ऑफलाइन (लाइब्रेरी टेस्ट): उन्होंने रैंकिंग के एक डेटासेट को लिया और जानबूझकर उन्हें गड़बड़ कर दिया (शीर्ष कहानी को एक खराब कहानी के साथ बदल दिया, या समान कहानियों को आपस में बदल दिया)।
- परिणाम: जब लेबल साफ थे, तो उनकी विधि पुराने तरीकों की तरह ही अच्छी तरह काम करती थी। जब लेबल अव्यवस्थित थे, तो उनकी विधि शोर को अनदेखा करने और सही चीज़ सीखने में बहुत बेहतर थी।
ऑनलाइन (लाइव प्रैक्टिस): उन्होंने रोबोट को अपनी कहानियाँ बनाने दी और एक "रिवॉर्ड मॉडल" (एक AI जज) को उन्हें रैंक करने के लिए कहा।
- परिणाम: जब कहानियों की सूची बड़ी होती गई (विकल्प चुनने के लिए अधिक विकल्प), तो "रिवॉर्ड मॉडल" (जज) अधिक गलतियाँ करने लगा क्योंकि वह अभिभूत हो गया था। पुराने तरीके इस भ्रम से परेशान हो गए। नया "रोबस्ट" तरीका बड़ी सूचियों को बहुत बेहतर तरीके से संभालता है, जिससे एक स्मार्ट रोबोट तैयार होता है।

सारांश

यह पेपर AI को एक सेफ्टी नेट देता है। विकल्पों की रैंकिंग पर आँख मूंदकर भरोसा करने के बजाय, AI यह मान लेता है कि रैंकिंग थोड़ी गलत हो सकती है। यह एक साधारण सॉर्टिंग ट्रिक का उपयोग करके उस रैंकिंग के "सबसे खराब-मामले" (worst-case) संस्करण की गणना करता है, और उस सबसे खराब मामले में भी अच्छा बनने के लिए प्रशिक्षित होता है। यह AI को विश्वसनीय बनाता है जब डेटा अव्यवस्थित होता है, बिना इसकी गति को धीमा किए।

तकनीकी सारांश: डिस्ट्रीब्यूशनल रूप से सुदृढ़ लिस्टवाइज प्रेफरेंस ऑप्टिमाइजेशन (Distributionally Robust Listwise Preference Optimization)

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) अलाइनमेंट के लिए वर्तमान सुदृढ़ प्रेफरेंस ऑप्टिमाइजेशन विधियाँ मुख्य रूप से पेयरवाइज (pairwise) पर्यवेक्षण (जैसे कि ब्रैडली-टेरी या DPO मॉडल) पर ध्यान केंद्रित करती हैं और डेटासेट, प्रॉम्प्ट, या प्रेफरेंस-पेयर वितरण स्तर पर सुदृढ़ता (robustness) को संबोधित करती हैं। हालाँकि, आधुनिक प्रेफरेंस डेटासेट तेजी से लिस्टवाइज (listwise) होते जा रहे हैं, जिनमें एक ही प्रॉम्प्ट के लिए कई कैंडिडेट रिस्पॉन्स के पूर्ण या आंशिक रैंकिंग शामिल होती है।

लिस्टवाइज पर्यवेक्षण में एक महत्वपूर्ण अनिश्चितता का स्रोत अनसुलझा रहा है: कंडीशनल रैंकिंग-लेबल एम्बिग्युटी (conditional ranking-label ambiguity)। भले ही प्रॉम्प्ट और कैंडिडेट लिस्ट स्थिर हो, प्रेस्पेक्टिव रैंकिंग लेबल अविश्वसनीय हो सकता है क्योंकि:

एनोटेटर की विसंगति (Annotator inconsistency)।
उम्मीदवारों के बीच बहुत कम अंतर (Near-ties)।
लॉसवी रैंकवाइज फीडबैक (Lossy rankwise feedback)।
ऑनलाइन अलाइनमेंट में रिवॉर्ड मॉडल से उत्पन्न शोर (Noise)।

मौजूदा सुदृढ़ विधियाँ एक वास्तविक कैंडिडेट लिस्ट के आधार पर स्वयं रैंकिंग लेबल में अनिश्चितता को सीधे मॉडल नहीं करती हैं। यह शोध पत्र इस विशिष्ट प्रकार की अनिश्चितता के तहत सुदृढ़ लिस्टवाइज प्रेफरेंस ऑप्टिमाइजेशन का अध्ययन करने के लिए एक फ्रेमवर्क प्रस्तावित करता है।

कार्यप्रणाली (Methodology)

1. फॉर्मूलेशन: पॉइंटवाइज टोटल-वेरिएशन रस्टनेस (Pointwise Total-Variation Robustness)

लेखक एक निश्चित प्रॉम्प्ट $x$ और कैंडिडेट लिस्ट $Y = (y_1, \dots, y_K)$ के लिए रैंकिंग लेबल $\sigma^\star$ में अनिश्चितता को एक पॉइंटवाइज टोटल-वेरिएशन (TV) एम्बिग्युटी सेट का उपयोग करके मॉडल करते हैं।

एम्पिरिकल रैंकिंग $\sigma^\star$ को सिमेट्रिक ग्रुप $S_K$ पर एक डिराक पॉइंट मास (Dirac point mass) के रूप में माना जाता है।
एक एडवर्सरी (adversary) को इस वितरण को TV बॉल के रेडियस $\rho \in [0, 1]$ के भीतर विचलित करने की अनुमति है।
सुदृढ़ ऑब्जेक्टिव इस एम्बिग्युटी सेट पर वर्स्ट-केस एक्सपेक्टेड प्लैकट-लुस (Plackett-Luce - PL) लॉस को मिनिमाइज करता है:
$\ell_{\text{rob}}(\theta; x, Y, \sigma^\star) := \max_{P \in U_{TV}(\delta_{\sigma^\star}, \rho)} \mathbb{E}_{\sigma \sim P} [\ell_{PL}(\theta; x, Y, \sigma)]$

2. सैद्धांतिक सुलभता: सटीक अपघटन और सॉर्टिंग (Exact Decomposition and Sorting)

एक प्रमुख संरचनात्मक अंतर्दृष्टि यह है कि $K!$ संभावित परम्यूटेशन (permutations) पर इनर मैक्सिमाइजेशन (inner maximization) PL लॉस के गुणों के कारण सटीक रूप से सुलभ (exactly tractable) है।

लेम्मा 1 (सटीक अपघटन): सुदृढ़ लॉस, नॉमिनल PL लॉस और एक वर्स्ट-केस PL लॉस के कॉनवेक्स कॉम्बिनेशन में विघटित होता है:
$\ell_{\text{rob}} = (1-\rho)\ell_{PL}(\sigma^\star) + \rho \max_{\sigma \in S_K} \ell_{PL}(\sigma)$
थ्योरम 1 (वर्स्ट-केस रैंकिंग): वह वर्स्ट-केस रैंकिंग $\sigma_{wc}$ जो PL लॉस को अधिकतम करती है, वर्तमान इम्प्लिसिट स्कोर्स $g_\theta(x, y_i)$ को बढ़ते क्रम (ascending order) (सबसे कम स्कोर पहले) में सॉर्ट करके प्राप्त की जाती है।
जटिलता (Complexity): यह इनर मैक्सिमाइजेशन को $O(K!)$ गणना से घटाकर $O(K \log K)$ सॉर्टिंग ऑपरेशन में बदल देता है। इस प्रकार, सुदृढ़ लॉस नॉमिनल लॉस और एक एकल एडवर्सरियल लॉस टर्म का एक कंप्यूटेशनल रूप से कुशल संयोजन बन जाता है।

3. ऑप्टिमाइजेशन थ्योरी

शोध पत्र दो सेटिंग्स में अभिसरण (convergence) का विश्लेषण करता है:

ऑफलाइन फिक्स्ड-लिस्ट सेटिंग: एक लॉग-लीनियर पॉलिसी क्लास को मानते हुए, सुदृढ़ ऑब्जेक्टिव कॉन्वेक्स (convex) है। लेखक सिद्ध करते हैं कि प्रोजेक्टेड स्टोकेस्टिक सबग्रेडिएंट डिसेंट, $O(\epsilon^{-2})$ के सैंपल कॉम्प्लेक्सिटी के साथ ग्लोबल $\epsilon$ -सबऑप्टिमैलिटी प्राप्त करता है।
ऑनलाइन पॉलिसी-इंड्यूस्ड सेटिंग: जहाँ कैंडिडेट लिस्ट वर्तमान पॉलिसी $\pi_\theta$ से सैंपल की जाती है, वहाँ ऑब्जेक्टिव अब ग्लोबली कॉन्वेक्स नहीं है। लेखक वीक कॉन्वेक्सिटी (weak convexity) स्थापित करते हैं और एक स्पष्ट क्लार्क-सबग्रेडिएंट ऑरेकल (Clarke-subgradient oracle) का उपयोग करके $\tilde{O}(\epsilon^{-2})$ मोरे-एनवेलप (Moreau-envelope) स्टेशनैरिटी गारंटी सिद्ध करते हैं।

मुख्य योगदान (Key Contributions)

नवीन फॉर्मूलेशन: यह LLM अलाइनमेंट के लिए कंडीशनल रैंकिंग-लेबल अनिश्चितता के तहत सुदृढ़ लिस्टवाइज प्रेफरेंस ऑप्टिमाइजेशन का अध्ययन करने वाला पहला कार्य है। पिछले सुदृढ़ DPO तरीकों के विपरीत, जो डेटा या प्रॉम्प्ट वितरण को विचलित करते हैं, यह विधि स्वयं रैंकिंग लेबल को लक्षित करती है।
सटीक और सुलभ सुदृढ़ लॉस: लेखक प्रदर्शित करते हैं कि सुदृढ़ PL लॉस एक सटीक अपघटन स्वीकार करता है। वर्स्ट-केस रैंकिंग केवल बढ़ते-क्रम (ascending-score order) वाली रैंकिंग है, जिससे $O(K \log K)$ मूल्यांकन एल्गोरिदम सक्षम होता है। यह सुधार स्वाभाविक रूप से लिस्टवाइज है और $K \ge 3$ के लिए स्वतंत्र पेयरवाइज सुधारों में नहीं बदलता है।
मजबूत ऑप्टिमाइजेशन गारंटी:
- ऑफलाइन: कॉन्वेक्सिटी और प्रोजेक्टेड स्टोकेस्टिक सबग्रेडिएंट के लिए $O(\epsilon^{-2})$ सैंपल कॉम्प्लेक्सिटी।
- ऑनलाइन: वीक कॉन्वेक्सिटी और $\tilde{O}(\epsilon^{-2})$ मोरे-एनवेलप स्टेशनैरिटी।
- ये दरें तुलनीय लॉग-लीनियर ऑरेकल मॉडल के तहत संबंधित सुदृढ़ प्रेफरेंस-ऑप्टिमाइजेशन सिद्धांतों से मेल खाती हैं या उनसे बेहतर हैं।
अनुभवजन्य सत्यापन (Empirical Validation): प्रयोग दर्शाते हैं कि यह विधि क्लीन लेबल्स पर प्रदर्शन बनाए रखती है और स्ट्रक्चर्ड लेबल करप्शन (विशेष रूप से गंभीर टॉप-रैंक नॉइज़) के तहत सुदृढ़ता में काफी सुधार करती है। ऑनलाइन सेटिंग्स में, यह बड़े कैंडिडेट लिस्ट ( $K=4$ ) को रिवॉर्ड मॉडल द्वारा जनरेट किए जाने पर भी अधिक विश्वसनीय बनाती है।

प्रयोगात्मक परिणाम (Experimental Results)

ऑफलाइन मूल्यांकन

अल्ट्राफीडबैक (UltraFeedback) डेटासेट ( $K=4$ ) का उपयोग करते हुए, लेखकों ने सिंथेटिक लेबल करप्शन के तहत नॉमिनल BT (DPO), नॉमिनल PL और रस्ट (Robust) PL की तुलना की:

क्लीन लेबल्स: रस्ट PL ने नॉमिनल PL की तुलना में केवल मामूली प्रदर्शन गिरावट दिखाई।
करप्टेड लेबल्स: "नियर-टाई" और "टॉप-रैंक" करप्शन के तहत, रस्ट PL ने बेसलाइन्स से काफी बेहतर प्रदर्शन किया। सुधार सबसे अधिक गंभीर टॉप-रैंक करप्शन ( $\epsilon=1.0$ ) के तहत देखा गया, जहाँ रस्ट PL ने Qwen3-0.6B और Qwen3-8B दोनों मॉडल्स के लिए नॉमिनल PL की तुलना में केंडल $\tau$ (Kendall's $\tau$ ) में काफी सुधार किया।
तुलना: रस्ट PL ने मौजूदा सुदृढ़ DPO बेसलाइन्स (TV-DR-DPO, KLDP0) को भी पीछे छोड़ दिया जिन्हें लिस्टवाइज सेटिंग के लिए अनुकूलित किया गया था।

ऑनलाइन मूल्यांकन

एक फ्रोजन रिवॉर्ड मॉडल के साथ SAIL-स्टाइल पाइपलाइनों का उपयोग करके एक ऑनलाइन अलाइनमेंट सेटिंग में:

लिस्ट साइज सेंसिटिविटी: बिना सुदृढ़ता के केवल कैंडिडेट लिस्ट के आकार को $K=2$ से $K=4$ तक बढ़ाने से प्रदर्शन में लगातार सुधार नहीं हुआ, जो यह सुझाव देता है कि बड़ी लिस्ट रिवॉर्ड-मॉडल नॉइज़ को बढ़ा सकती है।
सुदृढ़ता का लाभ: रस्ट करेक्शन ( $\rho > 0$ ) को शामिल करने से $K=4$ वेरिएंट्स अधिक विश्वसनीय हो गए। Qwen3-0.6B और Qwen3-8B के लिए, रस्ट $K=4$ सेटिंग्स ने सबसे मजबूत रिवॉर्ड-मॉडल प्रेफरेंस स्कोर और रैंकिंग-एग्रीमेंट मेट्रिक्स (Top-1, Pairwise, Kendall's $\tau$ ) प्राप्त किए।
सामान्यीकरण (Generalization): सुधार बाहरी GPT-4 जज मेट्रिक्स में भी स्थानांतरित हुए, जो दर्शाता है कि सुदृढ़ता के लाभ प्रशिक्षण में उपयोग किए गए विशिष्ट रिवॉर्ड मॉडल से परे हैं।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि रस्ट PL एक कंजर्वेटिव रैंकिंग-लेबल रेगुलराइज़र प्रदान करता है। इसका प्राथमिक महत्व है:

एक अंतराल को भरना: यह लिस्टवाइज पर्यवेक्षण में रैंकिंग लेबल की विशिष्ट अनिश्चितता को लक्षित करता है, जो पिछले सुदृढ़ DPO कार्यों द्वारा संबोधित वितरण बदलावों से भिन्न है।
सैद्धांतिक सुदृढ़ता: यह ऑफलाइन और ऑनलाइन दोनों सेटिंग्स में कठोर अभिसरण गारंटी के साथ पहले सुलभ और सटीक समाधान प्रदान करता है।
व्यावहारिक विश्वसनीयता: यह ऑनलाइन अलाइनमेंट में बड़े कैंडिडेट लिस्ट के सुरक्षित उपयोग को सक्षम बनाता है, जिससे नॉइज़ी पर्यवेक्षण स्रोतों को क्लीन डेटा पर प्रदर्शन से समझौता किए बिना उपयोगी प्रेफरेंस सिग्नल में बदला जा सके।

लेखक $\rho$ के ट्यूनिंग की आवश्यकता के संबंध में सीमाओं को नोट करते हैं और भविष्य के कार्य के रूप में एडेप्टिव चॉइस और बड़े पैमाने के प्रयोगों का सुझाव देते हैं। वे इस बात पर जोर देते हैं कि तकनीकें पद्धतिगत और विश्लेषणात्मक हैं, और इनसे कोई तत्काल नकारात्मक सामाजिक प्रभाव होने की संभावना नहीं है।