Robust Preference Alignment via Directional Neighborhood Consensus

यहाँ शोध पत्र "Robust Preference Alignment via Directional Neighborhood Consensus" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: प्रेफरेंस कवरेज गैप (The Preference Coverage Gap)

यह शोध पत्र बड़े भाषा मॉडलों (LLMs) को मानवीय प्राथमिकताओं (human preferences) के साथ संरेखित करने में एक महत्वपूर्ण सीमा को संबोधित करता है: प्रेफरेंस कवरेज गैप।

• मुख्य मुद्दा: मानवीय प्राथमिकताएँ एक विशाल, बहु-आयामी स्थान (जैसे, उपयोगिता और विस्तार/verbosity के बीच ट्रेड-ऑफ) में मौजूद होती हैं। हालाँकि, प्रशिक्षण डेटा आमतौर पर "औसत" या प्रमुख प्राथमिकताओं के एक संकीर्ण क्षेत्र में केंद्रित होता है।
• परिणाम: जब कोई उपयोगकर्ता एक ऐसी प्रतिक्रिया का अनुरोध करता है जो एक सूक्ष्म, व्यक्तिगत प्राथमिकता को दर्शाती है जो इस प्रशिक्षण वितरण से विचलित होती है (एक आउट-ऑफ-डिस्ट्रीब्यूशन या OOD परिदृश्य), तो मॉडल का प्रदर्शन अप्रत्याशित रूप से गिर जाता है।
• मौजूदा समाधानों की सीमाएँ: इसे ठीक करने के मौजूदा तरीकों में आमतौर पर महंगी रिट्रेनिंग (जैसे, डिस्ट्रीशनली रोबस्ट ऑप्टिमाइज़ेशन) या डेटा ऑग्मेंटेशन शामिल होता है, जो विविध प्राथमिकताओं के पूर्ण स्पेक्ट्रम तक अच्छी तरह से सामान्यीकृत (generalize) नहीं हो सकते हैं और कम्प्यूटेशनल रूप से महंगे होते हैं।

2. कार्यप्रणाली: रोबस्ट प्रेफरेंस सिलेक्शन (RPS)

लेखक रोबस्ट प्रेफरेंस सिलेक्शन (RPS) प्रस्तावित करते हैं, जो एक पोस्ट-हॉक, ट्रेनिंग-फ्री इन्फरेंस-टाइम विधि है। एक विशिष्ट, संभावित रूप से भंगुर (brittle) लक्षित प्राथमिकता वेक्टर ($v_{target}$) से सीधे प्रतिक्रिया उत्पन्न करने के बजाय, RPS डायरेक्शनल नेबरहुड कंसेंसस (directional neighborhood consensus) का लाभ उठाता है।

एल्गोरिदम (तीन चरण)

1. नेबरहुड निर्माण (Neighborhood Construction):
   • $v_{target}$ का सीधे उपयोग करने के बजाय, RPS $v_{target}$ के आसपास एक स्थानीय कोणीय पड़ोस (local angular neighborhood) से $k$ उम्मीदवार प्राथमिकता वेक्टर ($\theta_{max}$ के भीतर) नमूना (sample) लेता है।
   • ये पड़ोसी थोड़े अलग ट्रेड-ऑफ़ का प्रतिनिधित्व करते हैं जो मॉडल के बेहतर प्रशिक्षित क्षेत्रों के करीब होने की संभावना रखते हैं।
2. मल्टी-डायरेक्शनल जनरेशन (Multi-Directional Generation):
   • मॉडल प्रत्येक $k$ पड़ोसी प्राथमिकता वेक्टर के लिए एक अलग प्रतिक्रिया ($y_i$) उत्पन्न करता है।
   • यह उम्मीदवारों का एक विविध पूल बनाता है, जो प्रत्येक उस दिशा के लिए अनुकूलित है जहाँ मॉडल अधिक आत्मविश्वासी और रोबस्ट है।
3. कंसेंसस सिलेक्शन (Consensus Selection):
   • सभी $k$ उत्पन्न प्रतिक्रियाओं का मूल उपयोगकर्ता लक्षित प्राथमिकता ($v_{target}$) के विरुद्ध एक रिवॉर्ड मॉडल का उपयोग करके मूल्यांकन किया जाता है।
   • जिस प्रतिक्रिया का उच्चतम प्रोजेक्टेड रिवॉर्ड स्कोर ($v_{target}^T r(x, y_i)$) होता है, उसे अंतिम आउटपुट के रूप में चुना जाता है।

सैद्धांतिक ढांचा (Theoretical Framework)

यह शोध पत्र एक सैद्धांतिक औचित्य प्रदान करता है कि यह दृष्टिकोण एक मजबूत बेसलाइन (जो केवल एकल लक्ष्य दिशा $v_{target}$ से $k$ बार नमूना लेती है) से बेहतर प्रदर्शन क्यों करता है।

• मान्यता 1 (OOD प्रदर्शन गिरावट): मॉडल तब बेहतर प्रदर्शन करता है (उच्च अपेक्षित रिवॉर्ड) जब वह लक्ष्य वेक्टर ($v_{target}$) के बजाय प्रशिक्षण वितरण (नेबरहुड) के करीब के प्राथमिकता वेक्टर्स के लिए प्रतिक्रिया उत्पन्न करता है।
• मान्यता 2 (स्थानीय निरंतरता/Local Consistency): रिवॉर्ड लैंडस्केप स्थानीय रूप से सुचारू (smooth) है। यदि कोणीय दूरी कम है, तो एक पड़ोसी वेक्टर $v_i$ के लिए उत्पन्न प्रतिक्रिया अभी भी लक्ष्य वेक्टर $v_{target}$ के विरुद्ध उच्च स्कोर करेगी।
• थ्योरम 1 (श्रेष्ठता): इन मान्यताओं के तहत, नेबरहुड पूल से चुनी गई सर्वश्रेष्ठ प्रतिक्रिया का अपेक्षित अधिकतम स्कोर, लक्ष्य दिशा $v_{target}$ से बार-बार नमूना लेने से प्राप्त सर्वश्रेष्ठ प्रतिक्रिया के अपेक्षित अधिकतम स्कोर से कड़ाई से अधिक है। अनिवार्य रूप से, RPS एक "उच्च गुणवत्ता" वाला उम्मीदवार पूल बनाता है।

3. मुख्य योगदान

1. गैप की औपचारिक परिभाषा: लेखक प्रेफरेंस कवरेज गैप को एक महत्वपूर्ण OOD चुनौती के रूप में औपचारिक रूप से परिभाषित करते हैं जो संरेखित LLMs की विश्वसनीयता को कम करती है।
2. नवीन ट्रेनिंग-फ्री विधि: RPS का परिचय, जो मॉडल वेट्स को बदले बिना या रिट्रेनिंग की आवश्यकता के बिना मजबूती (robustness) को बढ़ाता है। यह पूरी तरह से प्रेफरेंस स्पेस में काम करता है।
3. सैद्धांतिक प्रमाण: एक कठोर प्रमाण जो दर्शाता है कि नेबरहुड जनरेशन, लक्ष्य दिशा से सीधे नमूना लेने की तुलना में एक स्टोकेस्टिक रूप से श्रेष्ठ (stochastically superior) उम्मीदवारों का सेट प्रदान करता है, बशर्ते कि स्थानीय निरंतरता बनी रहे।
4. व्यापक अनुभवजन्य सत्यापन: तीन अलग-अलग एलाइनमेंट प्रतिमानों (DPA, DPO, SFT) और तीन डेटासेट्स (UltraFeedback, HelpSteer, HelpSteer2) पर व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम

लेखकों ने विभिन्न मॉडलों में एक मजबूत बेसलाइन (लक्ष्य दिशा से $k=5$ बार नमूना लेना) के विरुद्ध RPS का मूल्यांकन किया:

• परीक्षण किए गए मॉडल: DPA-v1-Mistral-7B (डायरेक्शनल प्रेफरेंस एलाइनमेंट), Zephyr-7B-Beta (DPO), और Mistral-7B-Instruct-v0.2 (SFT)।
• प्रदर्शन:
  • RPS ने सभी सेटअपों में बेसलाइन के मुकाबले लगातार >50% की जीत दर (win rates) हासिल की।
  • OOD रोबस्टनेस: जैसे-जैसे लक्षित प्राथमिकता प्रशिक्षण वितरण से दूर होती गई (कोणीय दूरी बढ़ती गई), RPS का लाभ महत्वपूर्ण रूप से बढ़ गया।
  • पीक प्रदर्शन: HelpSteer2 डेटासेट के साथ SFT मॉडल पर, RPS ने 45° विचलन पर 69.1% की जीत दर हासिल की, और विशिष्ट दिशा परीक्षणों में 94.3% तक पहुँची।
  • DPA मॉडल: OOD प्राथमिकताओं पर सबसे नाटकीय सुधार दिखाया (उदाहरण के लिए, कोण बढ़ने के साथ ~53% से ~69% जीत दर तक पहुँचना), जो इस परिकल्पना की पुष्टि करता है कि विशिष्ट दिशाओं पर प्रशिक्षित मॉडल उन क्षेत्रों के बाहर भंगुर होते हैं।
• दक्षता: RPS नगण्य ओवरहेड (negligible overhead) लाता है। चूंकि यह बेसलाइन के समान ही उम्मीदवारों ($k=5$) को उत्पन्न करता है, इसलिए VRAM उपयोग और इन्फरेंस लेटेंसी लगभग समान है (अंतर < 0.01%)।
• मानवीय मूल्यांकन: मानव रेटर्स (MTurk के माध्यम से) और एक माध्यमिक LLM जज (Claude Sonnet 4.5) ने पुष्टि की कि RPS प्रतिक्रियाएं उपयोगकर्ता के इरादे के साथ अधिक संरेखित थीं, विशेष रूप से अधिक विस्तृत और सूक्ष्म उत्तर प्रदान करने में।

5. महत्व और प्रभाव

• व्यावहारिकता: RPS रिट्रेनिंग की भारी कम्प्यूटेशनल लागत के बिना LLM विश्वसनीयता में सुधार के लिए एक "प्लग-एंड-प्ले" समाधान प्रदान करता है। यह मॉडल-अज्ञेयवादी (model-agnostic) है और मौजूदा एलाइनमेंट पाइपलाइनों के साथ काम करता है।
• विश्वसनीयता: व्यक्तिगत, सूक्ष्म अनुरोधों पर मॉडलों की भंगुरता (brittleness) को कम करके, RPS अधिक विश्वसनीय AI सिस्टम बनाने में मदद करता है जो उपयोगकर्ताओं की विविध प्राथमिकताओं को संभाल सकते हैं।
• प्रतिमान परिवर्तन (Paradigm Shift): यह कार्य ध्यान को किसी विशिष्ट बिंदु से प्रतिक्रिया उत्पन्न करने के लिए "मजबूर" करने से हटाकर, एक स्थानीय नेबरहुड को "खोजने" और सबसे अच्छा फिट चुनने की ओर ले जाता है, जो सिद्धांत और अनुभवजन्य साक्ष्य दोनों पर आधारित है।
• भविष्य की दिशाएं: लेखक उच्च-आयामी प्रेफरेंस स्पेस की आंतरिक विमा (intrinsic dimensionality) के सापेक्ष नेबरहुड आकार ($k$) को स्केल करने पर भविष्य के कार्य का सुझाव देते हैं।

संक्षेप में, यह शोध पत्र औसत मॉडल प्रशिक्षण और विविध उपयोगकर्ता आवश्यकताओं के बीच के अंतर को पाटने के लिए एक सैद्धांतिक रूप से आधारित, कुशल और अत्यधिक प्रभावी तरीका प्रस्तुत करता है, जो वास्तविक दुनिया के आउट-ऑफ-डिस्ट्रीब्यूशन परिदृश्यों में LLMs की मजबूती को महत्वपूर्ण रूप से बढ़ाता है।