Users as Annotators: LLM Preference Learning from Comparison Mode

तकनीकी सारांश: उपयोगकर्ता एनोटेटरों के रूप में: तुलना मोड से LLM प्रेफरेंस लर्निंग

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) का मानव प्राथमिकताओं (human preferences) के साथ संरेखण (alignment) आमतौर पर युग्मवार (pairwise) प्राथमिकता डेटा पर निर्भर करता है, जहाँ एनोटेटर दो मॉडल आउटपुट के बीच बेहतर प्रतिक्रिया का चयन करते हैं। पारंपरिक रूप से, यह डेटा पेशेवर मानव एनोटेटरों द्वारा एकत्र किया जाता है, जो एक महंगी और सीमित पैमाने की प्रक्रिया है। जबकि LLM प्लेटफॉर्म के अंत-उपयोगकर्ता (जैसे, ChatGPT में तुलना मोड के माध्यम से) प्राथमिकता डेटा का एक विशाल, स्केलेबल स्रोत प्रदान करते हैं, यह दृष्टिकोण गुणवत्ता नियंत्रण के गंभीर अभाव से ग्रस्त है। पेशेवर एनोटेटरों के विपरीत, उपयोगकर्ताओं को निरंतर निर्णय देने के लिए प्रोत्साहित नहीं किया जाता है और वे डेटा को यादृच्छिक (randomly) रूप से लेबल कर सकते हैं। मौजूदा गुणवत्ता नियंत्रण तकनीकें, जैसे कि "गोल्डन क्वेश्चन" या स्व-संगति (self-consistency) जाँच, इस सेटिंग में अव्यवहारिक हैं क्योंकि प्लेटफॉर्म उपयोगकर्ता प्रश्नों को नियंत्रित नहीं कर सकते या बार-बार एनोटेशन के लिए मजबूर नहीं कर सकते। मुख्य चुनौती ग्राउंड-ट्रुथ लेबल या विशेषज्ञ निरीक्षण के बिना उच्च-गुणवत्ता वाले, चौकस उपयोगकर्ता फीडबैक को शोर वाले, आकस्मिक इनपुट से अलग करने की है।

कार्यप्रणाली (Methodology)
यह शोध पत्र उपयोगकर्ता एनोटेशन गुणवत्ता का आकलन करने और डाउनस्ट्रीम एलाइनमेंट कार्यों (विशेष रूप से डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन, या DPO) के लिए डेटा को फ़िल्टर करने हेतु एक ढांचा प्रस्तावित करता है। कार्यप्रणाली के तीन प्रमुख घटक हैं:

1. असममित प्रतिक्रिया पीढ़ी (Asymmetric Response Generation): मानक प्रेफरेंस पाइपलाइनों के विपरीत, जहाँ एक ही मॉडल से दो प्रतिक्रियाएँ उत्पन्न की जाती हैं, यह ढांचा दो अलग-अलग LLMs ($P_A$ और $P_B$) से दो प्रतिक्रियाएँ ($y_{i1}, y_{i2}$) उत्पन्न करता है जिनके बीच प्रदर्शन का एक ज्ञात अंतर है। यह विषमता एक सांख्यिकीय आधार (statistical handle) बनाती है: एक चौकस उपयोगकर्ता अधिक बार मजबूत मॉडल को पसंद करने की उम्मीद करता है, जबकि एक आकस्मिक उपयोगकर्ता यादृच्छिक रूप से चुनता है।
2. उपयोगकर्ता व्यवहार मॉडल (User Behavioral Model): लेखक उपयोगकर्ता $j$ के एनोटेशन व्यवहार को एक गुप्त "तवज्जो/चौकसता" (attentiveness) पैरामीटर $\eta_j \in [0, 1]$ का उपयोग करके मॉडल करते हैं।
   • यदि $\eta_j = 1$, तो उपयोगकर्ता एक पूर्ण एनोटेटर के रूप में कार्य करता है, जो जनसंख्या द्वारा पसंद की गई प्रतिक्रिया को प्रायिकता $p(x_i)$ के साथ चुनता है।
   • यदि $\eta_j = 0$, तो उपयोगकर्ता यादृच्छिक रूप से (50/50) चुनता है।
   • उपयोगकर्ता $j$ द्वारा प्रतिक्रिया 1 चुनने की प्रायिकता को इस प्रकार मॉडल किया गया है: $P(z_{ij}=1|x_i) = 1/2 + \eta_j \cdot (p(x_i) - 1/2)$।
   • यहाँ, $p(x_i)$ जनसंख्या की वास्तविक प्राथमिकता प्रायिकता (कि मॉडल A, मॉडल B से बेहतर है) को दर्शाता है।
3. एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम: चूंकि $\eta_j$ अवलोकनीय नहीं है, इसलिए लेखक उपयोगकर्ता व्यवहार मॉडल के मापदंडों (जिसमें $\eta_j$ का वितरण और वैश्विक प्राथमिकता प्रायिकता $\mu$ शामिल है) का अनुमान लगाने के लिए एक EM एल्गोरिदम विकसित करते हैं।
   • E-step: प्रत्येक उपयोगकर्ता की एनोटेशन इतिहास और वर्तमान पैरामीटर अनुमानों के आधार पर उनके 'तवज्जो' ($\eta_j$) के पश्च वितरण (posterior distribution) की गणना करता है।
   • M-step: अपेक्षित पूर्ण-डेटा लॉग-लाइक्लीहुड (expected complete-data log-likelihood) को अधिकतम करने के लिए मॉडल मापदंडों को अपडेट करता है।
   • एल्गोरिदम एक ज्ञात या अनुमानित वैश्विक प्राथमिकता प्रायिकता $\mu$ (मॉडल A की मॉडल B पर औसत जीत दर) को मानता है ताकि पहचान क्षमता (identifiability) सुनिश्चित हो सके, हालांकि पेपर अज्ञात $\mu$ के लिए विस्तारों पर चर्चा करता है।
   • एक बार $\eta_j$ का अनुमान लग जाने के बाद, उपयोगकर्ताओं को एक थ्रेशोल्ड के आधार पर फ़िल्टर किया जाता है (उदाहरण के लिए, केवल उन्हें रखना जिनका पश्च प्रायिकता उच्च होने की संभावना है)।

प्रमुख योगदान

• नवीन एनोटेशन ढांचा: यह शोध पत्र विशेष रूप से LLM तुलना मोड में उपयोगकर्ता व्यवहार को कैप्चर करने के लिए डिज़ाइन किए गए पहले संभाव्यता मॉडल (probabilistic model) को पेश करता है, जो डेटा गुणवत्ता को निष्कर्ष निकालने के लिए दो अलग-अलग मॉडलों से प्रतिक्रिया पीढ़ी की विषमता का लाभ उठाता है।
• EM के माध्यम से सांख्यिकीय अनुमान: यह उपयोगकर्ता की चौकसता और अंतर्निहित प्राथमिकता वितरण का अनुमान लगाने के लिए एक EM एल्गोरिदम विकसित करता है। लेखक सैद्धांतिक गारंटी प्रदान करते हैं, जो दिखाते हैं कि विशिष्ट नियमितता शर्तों के तहत, एल्गोरिदम उपयोगकर्ताओं और नमूनों की संख्या बढ़ने के साथ वास्तविक मापदंडों की ओर अभिसरित (converge) होता है।
• एलाइनमेंट के लिए डेटा फ़िल्टरिंग: यह ढांचा एक व्यावहारिक पाइपलाइन का प्रदर्शन करता है जहाँ अनुमानित चौकसता का उपयोग प्रशिक्षण से पहले निम्न-गुणवत्ता वाले एनोटेशन को फ़िल्टर करने के लिए किया जाता है। यह बड़े पैमाने पर, बिना जांचे गए उपयोगकर्ता डेटा का उपयोग करने की अनुमति देता है जबकि शोर को कम करता है।

प्रायोगिक परिणाम
लेखक सिंथेटिक प्रयोगों और डाउनस्ट्रीम DPO कार्यों के माध्यम से अपने दृष्टिकोण को मान्य करते हैं:

• सिंथेटिक अभिसरण (Synthetic Convergence): सिमुलेशन पुष्टि करते हैं कि EM एल्गोरिदम प्रारंभिक स्थिति (initialization) की परवाह किए बिना वास्तविक मापदंडों की ओर अभिसरित होता है। एल्गोरिदम मॉडल मिसस्पेसिफिकेशन (जैसे, निरंतर वितरण के बजाय असतत वितरण का अनुमान लगाना) के प्रति भी मजबूत है।
• DPO प्रदर्शन: UltraFeedback और HelpSteer3 जैसे डेटासेट का उपयोग करके, लेखकों ने फ़िल्टर किए गए डेटा का उपयोग करके LLMs (जैसे, Qwen2.5-7B) को फाइन-ट्यून किया।
  • चौकस उपयोगकर्ताओं के लिए फ़िल्टरिंग (अनुमानित चौकसता के आधार पर शीर्ष 80% को रखना) ने अनफ़िल्टर्ड डेटा पर प्रशिक्षण की तुलना में DPO प्रदर्शन में लगातार सुधार किया।
  • सुधारों में उच्च औसत रिवॉर्ड स्कोर (कुछ मामलों में 10% से अधिक की वृद्धि) और बेसलाइन मॉडल्स के मुकाबले उच्च जीत दर शामिल थी।
  • उनके प्रयोगों ने यह भी रेखांकित किया: जबकि फ़िल्टरिंग गुणवत्ता में सुधार करती है, अत्यधिक फ़िल्टरिंग डेटा की मात्रा को कम कर देती है। उपयोगकर्ता की चौकसता के अंतर्निहित वितरण के आधार पर एक इष्टतम थ्रेशोल्ड मौजूद है।
  • दो जनरेशन मॉडलों के बीच का प्रदर्शन अंतर (जिसे $\mu$ द्वारा दर्शाया गया है) महत्वपूर्ण पाया गया; यदि $\mu$ 0.5 के बहुत करीब है, तो चौकस और आकस्मिक उपयोगकर्ता अविभेद्य हो जाते हैं, जिससे फ़िल्टरिंग प्रक्रिया बाधित होती है।

महत्व और दावे
यह शोध पत्र अंत-उपयोगकर्ताओं को प्रभावी एनोटेटरों में बदलकर LLM एलाइनमेंट के लिए एक स्केलेबल समाधान प्रदान करने का दावा करता है। उपयोगकर्ता व्यवहार को औपचारिक रूप देकर और शोर को फ़िल्टर करने के लिए एक सांख्यिकीय तंत्र पेश करके, यह कार्य उपयोगकर्ता-जनित प्राथमिकता डेटा के विशाल मात्रा के उपयोग को सक्षम बनाता है जिसे पहले प्रशिक्षण के लिए बहुत शोर वाला माना जाता था। लेखक इसे मौजूदा रोबस्ट प्रशिक्षण विधियों (जैसे रोबस्ट DPO) के पूरक दृष्टिकोण के रूप में देखते हैं, जो प्रशिक्षण के दौरान केवल शोर सहिष्णुता के बजाय प्रशिक्षण से पहले डेटा की गुणवत्ता पर ध्यान केंद्रित करता है। यह कार्य भविष्य के उपयोगकर्ता-प्रोत्साहन तंत्रों के लिए भी द्वार खोलता है, जैसे कि उनके अनुमानित चौकसता स्तरों के आधार पर उपयोगकर्ताओं को पुरस्कृत करना। प्रस्तावित EM एल्गोरिदम के लिए वैश्विक अभिसरण गारंटी के माध्यम से इसका सैद्धांतिक योगदान इस विशिष्ट व्यवहार मॉडल के लिए एक ठोस गणितीय आधार प्रदान करता है।