🤖 machine learning

Towards a theory of inference-time alignment with unknown rewards

यह शोध पत्र एक नवीन "अलाइनमेंट आयाम" (alignment dimension) को परिभाषित करके अज्ञात पुरस्कारों के तहत इन्फरेंस-टाइम अलाइनमेंट के लिए एक PAC लर्निंग फ्रेमवर्क स्थापित करता है जो पूर्णतः सीखने की क्षमता (learnability) को स्पष्ट करता है, और एक कमजोर संदर्भ नीति (weak reference policy) को एक मजबूत शिक्षार्थी में बदलने के लिए वन-इनक्लूजन ग्राफ का उपयोग करने वाला एक टूर्नामेंट-आधारित एल्गोरिदम प्रस्तावित करता है।

मूल लेखक: Steve Hanneke, Hongao Wang, Mingyue Xu

प्रकाशित 2026-08-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Steve Hanneke, Hongao Wang, Mingyue Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, एक केंद्रीय चुनौती यह सुनिश्चित करना है कि कंप्यूटर प्रोग्राम इस तरह से व्यवहार करें जो मानवीय इरादों के अनुरूप हों। जबकि आधुनिक प्रणालियाँ धाराप्रवाह टेक्स्ट उत्पन्न कर सकती हैं और जटिल समस्याओं को हल कर सकती हैं, वे कभी-कभी ऐसे आउटपुट भी देती हैं जो निरर्थक, हानिकारक या केवल अनुपयोगी होते हैं। इसे ठीक करने के लिए, शोधकर्ताओं ने इन मॉडलों को मानवीय मूल्यों के साथ "संरेखित" (align) करने के तरीके विकसित किए हैं। एक सामान्य दृष्टिकोण में मॉडल को बड़ी मात्रा में ऐसे डेटा पर प्रशिक्षित करना शामिल है जहाँ मनुष्यों या अन्य एआई ने विभिन्न प्रतिक्रियाओं को रैंक किया है, जिससे सिस्टम को बुरे उत्तरों के बजाय अच्छे उत्तरों को प्राथमिकता देना सिखाया जाता है। एक अन्य दृष्टिकोण, जिसे 'इन्फरेंस-टाइम अलाइनमेंट' (inference-time alignment) कहा जाता है, मॉडल के आंतरिक कोड को नहीं बदलता है। इसके बजाय, यह उपयोग के समय एक फ़िल्टर की तरह कार्य करता है: सिस्टम कई संभावित उत्तर उत्पन्न करता है, और एक अलग स्कोरिंग तंत्र उपयोगकर्ता को दिखाने के लिए सबसे अच्छा उत्तर चुनता है। यह विधि लोकप्रिय है क्योंकि यह लचीली है और इसमें पूरे सिस्टम को फिर से प्रशिक्षित करने की महंगी प्रक्रिया की आवश्यकता नहीं होती है। हालाँकि, भले ही ये तकनीकें व्यवहार में अच्छी तरह काम करती हैं, वैज्ञानिक सटीक रूप से यह समझाने में संघर्ष करते रहे हैं कि वे वास्तव में क्यों काम करती हैं या गणितीय दृष्टिकोण से उनकी सफलता की सीमाएँ क्या हैं।

पर्ड्यू यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने अब इस अंतर को भरने की दिशा में एक बड़ा कदम उठाया है, जिसमें इन्फरेंस-टाइम अलाइनमेंट को समझने के लिए एक नया सांख्यिकीय ढांचा तैयार किया गया है। उन्होंने इस समस्या को एक सीखने के कार्य के रूप में देखा जहाँ एक "कमजोर" शुरुआती बिंदु को डेटा का उपयोग करके एक "मजबूत" परिणाम में सुधारा जाता है। एक संदर्भ मॉडल की कल्पना करें जो आम तौर पर सक्षम है लेकिन कभी-कभी गलतियाँ करता है; यह एक आधार (baseline) के रूप में कार्य करता है जो संभावित उत्तरों की एक सूची उत्पन्न करता है। लक्ष्य मानव प्राथमिकताओं के एक डेटासेट का उपयोग करके एक नई प्रणाली को यह सिखाना है कि उस सूची में से हर बार विश्वसनीय रूप से एकल सर्वश्रेष्ठ उत्तर कैसे चुना जाए। शोधकर्ताओं ने एक मौलिक प्रश्न पूछा: केवल डेटा से, बिना यह जाने कि स्कोरिंग सिस्टम कैसे काम करता है, इस चयन कौशल को सीखना वास्तव में किन परिस्थितियों में संभव है? उन्होंने पाया कि उत्तर पूरी तरह से उन नियमों की जटिलता पर निर्भर करता है जिनका उपयोग उत्तरों के मूल्यांकन के लिए किया जाता है।

टीम ने पाया कि निर्णयन नियमों (judging rules) के सभी सेटों को सीखा नहीं जा सकता है। उन्होंने इन नियमों की जटिलता को मापने का एक नया तरीका पेश किया, जिसे वे "अलाइनमेंट डायमेंशन" (alignment dimension) कहते हैं। इस डायमेंशन को नियमों के विरोधाभासी या भ्रमित करने के तरीकों की संख्या के माप के रूप में समझें। यदि यह संख्या परिमित (finite) है, जिसका अर्थ है कि नियमों में प्रबंधनीय स्तर की जटिलता है, तो पर्याप्त डेटा मिलने पर एक ऐसा एल्गोरिदम डिजाइन करना संभव है जो अंततः लगभग पूर्ण सटीकता के साथ सही उत्तर चुनने में सक्षम होगा। यदि डायमेंशन अनंत (infinite) है, तो नियम सीखने के लिए बहुत अधिक अराजक हैं, चाहे कितना भी डेटा एकत्र किया जाए। यह निष्कर्ष एक पूर्ण गणितीय गारंटी प्रदान करता है: एक रिवॉर्ड सिस्टम सीखने योग्य है यदि और केवल यदि उसका अलाइनमेंट डायमेंशन परिमित है। यह पिछले सिद्धांतों से एक महत्वपूर्ण बदलाव है, जो अक्सर यह मान लेते थे कि शोधकर्ताओं के पास पहले से ही स्कोरिंग सिस्टम की पूर्ण समझ है या नियम इतने सरल थे जिन्हें मापदंडों की एक निश्चित संख्या द्वारा वर्णित किया जा सकता था।

इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक विशिष्ट शिक्षण प्रक्रिया तैयार की जो एक टूर्नामेंट की तरह कार्य करती है। जब सिस्टम को एक उत्तर चुनने की आवश्यकता होती है, तो वह केवल डेटा को एक बार देखकर अनुमान नहीं लगाता है। इसके बजाय, वह संभावित उत्तरों के जोड़ों की तुलना एक-दूसरे से करता है। प्रत्येक जोड़े के लिए जहाँ एक समूह स्पष्ट रूप से दूसरे का उपसमुच्चय (subset) नहीं है, सिस्टम यह तय करने के लिए एक विशेष तुलना एल्गोरिदम चलाता है कि कौन सा समूह सही उत्तर होने की अधिक संभावना रखता है। सभी संभावित जोड़ों में इन तुलनाओं को चलाकर, सिस्टम क्षेत्र को सीमित करता है जब तक कि वह एक छोटे, अत्यधिक विश्वसनीय सेट तक नहीं पहुँच जाता जिससे अंतिम उत्तर का चयन किया जा सके। यह विधि इस तथ्य का लाभ उठाकर काम करती है कि शुरुआती मॉडल, हालांकि अपूर्ण है, उसमें एक अच्छा उत्तर उत्पन्न करने की निरंतर संभावना होती है। पर्याप्त उम्मीदवारों का नमूना लेकर और फिल्टर करने के लिए टूर्नामेंट लॉजिक का उपयोग करके, सिस्टम इसकी सफलता दर को अनिश्चित रूप से उच्च स्तर तक बढ़ा सकता है।

यह शोध पत्र यह भी स्पष्ट करता है कि यह नया सिद्धांत क्या खारिज करता है। यह दिखाता है कि केवल प्रशिक्षण सेट से सर्वश्रेष्ठ उत्तरों को याद करने का प्रयास करना, जिसे 'एम्पिरिकल रिस्क मिनिमाइजेशन' (empirical risk minimization) कहा जाता है, अपने आप में पर्याप्त नहीं है। कुछ मामलों में, एक प्रणाली को डेटा की विशिष्ट संरचना और परीक्षण के समय नए उम्मीदवारों को नमूना लेने की क्षमता पर निर्भर रहने की आवश्यकता हो सकती है, न कि केवल उस चीज़ को याद रखने पर जो उसने प्रशिक्षण के दौरान देखा था। शोधकर्ताओं ने प्रदर्शित किया कि रिवॉर्ड सिस्टम के कुछ प्रकारों के लिए, मानक लर्निंग एल्गोरिदम बिना इस अतिरिक्त सैंपलिंग चरण के सफल नहीं हो सकता, चाहे कितनी भी प्रशिक्षण डेटा उपलब्ध हो। उनका कार्य सुझाव देता है कि सफल अलाइनमेंट की कुंजी रिवॉर्ड नियमों की जटिलता और परीक्षण के समय कई विकल्प उत्पन्न करने की क्षमता के बीच के तालमेल में निहित है।

यह शोध एआई अलाइनमेंट के एक कठोर सिद्धांत की ओर एक मौलिक कदम है। सटीक स्थितियों को परिभाषित करके जिनके तहत अलाइनमेंट संभव है, लेखकों ने भविष्य के विकास के लिए एक स्पष्ट लक्ष्य प्रदान किया है। वे इस क्षेत्र को 'ट्रायल एंड एरर' (परीक्षण और त्रुटि) से आगे ले गए हैं, एक गणितीय प्रमाण प्रदान करते हुए जो इंजीनियरों को ठीक से बताता है कि उनकी अलाइनमेंट रणनीतियाँ कब काम करेंगी और कब विफल होंगी। जबकि वर्तमान अध्ययन बाइनरी रिवॉर्ड्स पर केंद्रित है—जहाँ एक उत्तर या तो अच्छा है या बुरा—यह ढांचा अधिक जटिल, वास्तविक-मूल्य वाले स्कोरिंग सिस्टम को समझने के द्वार खोलता है। अंतिम लक्ष्य सिद्धांतों का एक सेट स्थापित करना है जो सुरक्षित और अधिक विश्वसनीय एआई सिस्टम के निर्माण में मार्गदर्शन कर सके, यह सुनिश्चित करते हुए कि जैसे-जैसे ये मॉडल अधिक शक्तिशाली होते जाते हैं, मानवीय इरादों का पालन करने की उनकी क्षमता गणितीय रूप से गारंटीकृत बनी रहे।

तकनीकी सारांश: अज्ञात पुरस्कारों के साथ इन्फरेंस-टाइम अलाइनमेंट के सिद्धांत की ओर

समस्या का निरूपण (Problem Formulation)
यह कार्य इन्फरेंस-टाइम अलाइनमेंट (inference-time alignment) के सांख्यिकीय शिक्षण आधारों को संबोधित करता है, जो एक ऐसा प्रतिमान (paradigm) है जहाँ एक जनरेटिव मॉडल की प्रतिक्रियाओं को टेस्ट टाइम पर एक रिवॉर्ड सिग्नल के आधार पर चुना या निर्देशित किया जाता है, बिना मॉडल पैरामीटर्स को अपडेट किए (RLHF के विपरीत)। लेखक इसे अनजान पुरस्कारों (unknown rewards) के तहत एक वीक-टू-स्ट्रॉन्ग लर्निंग समस्या के रूप में निरूपित करते हैं।

इस परिवेश में शामिल हैं:

रेफरेंस पॉलिसी ( $\pi_{ref}$ ): एक "वीक लर्नर" (जैसे, एक प्री-ट्रेंड या SFT मॉडल) जो संभावित प्रतिक्रियाएँ उत्पन्न करता है। यह माना गया है कि इसमें किसी भी इनपुट $x$ के लिए एक "अच्छी" प्रतिक्रिया (रिवॉर्ड $r^*(x, y) = 1$ ) उत्पन्न करने की निरंतर संभावना $\gamma$ होती है।
रिवॉर्ड क्लास ( $\mathcal{R}$ ): बाइनरी रिवॉर्ड फंक्शन $r: \mathcal{X} \times \mathcal{Y} \to \{0, 1\}$ का एक सेट। वास्तविक रिवॉर्ड $r^*$ अज्ञात है लेकिन $\mathcal{R}$ के भीतर स्थित है।
डेटा जनरेशन: ट्रेनिंग डेटा में $m$ i.i.d. सैंपल शामिल हैं। प्रत्येक सैंपल में एक इनपुट $x_i$ और $\pi_{ref}(\cdot|x_i)$ से प्राप्त $k$ प्रतिक्रियाओं का एक "स्लेट" $\{y_i^{(1)}, \dots, y_i^{(k)}\}$ शामिल होता है। लर्नर अच्छी प्रतिक्रियाओं के इंडेक्स का सेट $A_{r^*}(z_i) = \{j : r^*(x_i, y_i^{(j)}) = 1\}$ देखता है।
लक्ष्य: एक ऐसा लर्निंग एल्गोरिदम डिजाइन करना जो, एक टेस्ट इनपुट $x$ और $\pi_{ref}$ से $k$ उम्मीदवारों के स्लेट को देखते हुए, एक ऐसा इंडेक्स $j$ चुने कि $r^*(x, y^{(j)}) = 1$ होने की उच्च संभावना ( $1-\epsilon$ ) हो।

लेखक अपने कार्य को मौजूदा सैद्धांतिक साहित्य से अलग करते हुए, प्री-एस्टीमेटेड रिवॉर्ड मॉडल तक पहुँच की धारणा को हटा देते हैं। इसके बजाय, वे इसे शून्य से सीखने (learning from scratch) के रूप में देखते हैं, जहाँ रिवॉर्ड फंक्शन को स्वयं सीमित प्रेफरेंस डेटा से इन्फर किया जाना चाहिए।

कार्यप्रणाली और मुख्य अवधारणाएं (Methodology and Core Concepts)
यह शोध पत्र रिवॉर्ड क्लास की सीखने की क्षमता (learnability) को समझाने के लिए एक नया कॉम्बिनेटोरियल डायमेंशन पेश करता है:

अलाइनमेंट डायमेंशन ( $d_{ALN}(\mathcal{R})$ ):
एक इनपुट सेट $\{x_1, \dots, x_d\}$ को $\mathcal{R}$ द्वारा तब अलाइनमेंट-शैटर्ड (alignment shattered) कहा जाता है यदि प्रतिक्रियाओं के जोड़े $(y_i^{(0)}, y_i^{(1)})$ मौजूद हों जिससे किसी भी बाइनरी वेक्टर $b \in \{0, 1\}^d$ के लिए, एक रिवॉर्ड फंक्शन $r_b \in \mathcal{R}$ मौजूद हो जो $r_b(x_i, y_i^{(b_i)}) = 1$ और $r_b(x_i, y_i^{(1-b_i)}) = 0$ को संतुष्ट करता हो। अलाइनमेंट डायमेंशन ऐसे शैटर्ड सेट का आकार है।
नॉन-डोमिनेटिंग नटराज डायमेंशन (Non-Dominating Natarajan Dimension):
सीखने की क्षमता सिद्ध करने के लिए, लेखक आंशिक कॉन्सेप्ट क्लासेज (partial concept classes) के लिए उपयोग किए जाने वाले वन-इनक्लूजन ग्राफ (OIG) एल्गोरिदम से संबंधित समस्या को जोड़ते हैं। वे प्रेरित सेट-वैल्यूड एक्सेप्टेंस क्लास के लिए एक "नॉन-डोमिनेटिंग नटराज डायमेंशन" को परिभाषित करते हैं। वे सिद्ध करते हैं कि यह डायमेंशन अलाइनमेंट डायमेंशन द्वारा ऊपरी सीमा (upper-bounded) से सीमित है।
लर्निंग एल्गोरिदम (नॉन-डोमिनेटिंग पेयर्स पर टूर्नामेंट):
प्रस्तावित लर्निंग प्रक्रिया ट्रांसडक्टिव (transductive) है और टेस्ट टाइम पर संचालित होती है:

एक टेस्ट स्लेट $Z$ के लिए, एल्गोरिदम गैर-खाली उपसमुच्चयों (subsets) के सभी जोड़े $(A, B)$ पर विचार करता है जहाँ एक दूसरे का उपसमुच्चय नहीं है ( $A \not\subseteq B$ और $B \not\subseteq A$ )।
प्रत्येक जोड़े के लिए, यह एक ट्रेनिंग उपसमुच्चय बनाता है जिसमें वास्तविक एक्सेप्टेंस सेट या तो $A$ था या $B$ था।
यह भविष्यवाणी करने के लिए कि वास्तविक एक्सेप्टेंस सेट $A$ है या $B$ , इस उपसमुच्चय पर OIG एल्गोरिदम चलाता है।
यह प्रक्रिया एक "टूर्नामेंट" बनाती है जो संभव एक्सेप्टेंस सेट्स को एक चेन (chain) तक सीमित कर देती है। अंतिम भविष्यवाणी जीवित बचे सेट्स के इंटरसेक्शन (intersection) में शामिल कोई भी रिस्पॉन्स इंडेक्स है।

मुख्य परिणाम (Key Results)
यह शोध पत्र अलाइनमेंट लर्नेबिलिटी का पूर्ण लक्षण वर्णन स्थापित करता है:

थ्योरम 1: एक रिवॉर्ड क्लास $\mathcal{R}$ तब अलाइनमेंट लर्न करने योग्य है यदि और केवल यदि उसका अलाइनमेंट डायमेंशन $d_{ALN}(\mathcal{R})$ परिमित (finite) है।
अपार सीमा (Theorem 2): यदि $d_{ALN}(\mathcal{R}) < \infty$ , तो प्रस्तावित टूर्नामेंट एल्गोरिदम डायमेंशन, $\epsilon$ , $\delta$ , और $\gamma$ के परिमित फलनों के रूप में $m$ सैंपल साइज और इन्फरेंस-टाइम स्लेट साइज $k$ के साथ $(\epsilon, \delta)$ -लर्नेबिलिटी प्राप्त करता है।
लोअर बाउंड (Theorem 3): यदि $d_{ALN}(\mathcal{R}) = \infty$ , तो कोई भी लर्निंग एल्गोरिदम परिमित सैंपल्स के साथ अलाइनमेंट लर्न करने की क्षमता प्राप्त नहीं कर सकता। प्रमाण एक कठिन उदाहरण (hard instance) का निर्माण करता है, जो प्रोबेबिलिस्टिक मेथड का उपयोग करके दिखाता है कि अनंत डायमेंशनशीलता ऐसी डिस्ट्रीब्यूशन के अस्तित्व को दर्शाती है जहाँ लर्नर वास्तविक रिवॉर्ड फंक्शन को नहीं पहचान सकता।

महत्व और दावे (Significance and Claims)
लेखक इस कार्य को सामान्य अलाइनमेंट समस्याओं के लिए एक कठोर सांख्यिकीय शिक्षण सिद्धांत की दिशा में एक अग्रणी कदम के रूप में प्रस्तुत करते हैं। पेपर के योगदान के संबंध में मुख्य दावे निम्नलिखित हैं:

नया ढांचा (Novel Framework): यह रिवॉर्ड को पूरी तरह से डेटा से सीखने वाले सांख्यिकीय शिक्षण समस्या के रूप में इन्फरेंस-टाइम अलाइनमेंट को औपचारिक रूप देने वाला पहला कार्य है, जो उन पूर्व कार्यों से भिन्न है जो एक अच्छे रिवॉर्ड एस्टीमेट तक पहुँच मानकर चलते हैं।
सैद्धांतिक लक्षण वर्णन (Theoretical Characterization): अलाइनमेंट डायमेंशन की शुरूआत लर्नेबिलिटी के लिए एक आवश्यक और पर्याप्त स्थिति प्रदान करती है, जो बाइनरी क्लासिफिकेशन में VC डायमेंशन के समान है, लेकिन विशेष रूप से कई उम्मीदवारों में से एक अच्छी प्रतिक्रिया चुनने की बाधाओं के लिए अनुकूलित है।
मौजूदा प्रतिमानों से अंतर: लेखक स्पष्ट करते हैं कि उनका परिवेश मल्टीक्लास लर्निंग (जहाँ एक लेबल सही होता है) और लिस्ट लर्निंग (जहाँ लेबल की एक सूची आउटपुट की जाती है) से भिन्न है। उनके परिवेश में, कई प्रतिक्रियाएँ सही हो सकती हैं, लेकिन लर्नर को उनमें से एक को सफलतापूर्वक पहचानना होगा।
दायरे पर विनम्रता (Modesty on Scope): लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि उनका वर्तमान निरूपण बाइनरी रिवॉर्ड और रियलाइजेबल सेटिंग्स को मानता है। वे स्पष्ट रूप से कहते हैं कि उनकी लर्निंग प्रक्रिया गैर-मानक है (टेस्ट-टाइम कंप्यूटेशन और टुपल ऑर्डरिंग धारणाओं पर निर्भर) और भविष्य के कार्य के लिए सिंगल-रिस्पॉन्स ट्रेनिंग डेटा, रियल-वैल्यूड रिवॉर्ड्स, या प्रेफरेंस-बेस्ड लर्निंग (ब्रैडली-टेरी मॉडल्स) तक विस्तार करना एक खुला विषय है।

पेपर निष्कर्ष निकालता है कि अलाइनमेंट डायमेंशन को मौलिक जटिलता माप (complexity measure) के रूप में स्थापित करना यह समझने के लिए एक सैद्धांतिक आधार प्रदान करता है कि इन्फरेंस-टाइम अलाइनमेंट कब और कैसे संभव है, जो व्यावहारिक अलाइनमेंट के लिए अधिक व्यवस्थित सिद्धांतों को निर्देशित कर सकता है।

इसी तरह के और पेपर