तकनीकी सारांश: आर्टिफिशियल इंटेलिजेंस एल्गोरिदम में प्राथमिकताओं (Preferences) का इष्टतम उपयोग

1. समस्या विवरण (Problem Statement)

यह शोध पत्र आर्टिफिशियल इंटेलिजेंस (AI) प्रणालियों की तैनाती में एक मौलिक वास्तुशिल्प विकल्प (architectural choice) को संबोधित करता है: डाउनस्ट्रीम प्राथमिकताओं (जैसे, विषम लागत, सुरक्षा प्राथमिकताएं, या उपयोगिता भार/utility weights) को कहाँ लागू किया जाना चाहिए?

विकल्प दो पाइपलाइनों के बीच है:

1. प्राथमिकता एम्बेडिंग (Preference Embedding): एल्गोरिदम को सीधे एक ऐसे लॉस फंक्शन (loss function) के साथ प्रशिक्षित करना जो विशिष्ट प्राथमिकताओं को समाहित करता है (जैसे, क्लास-वेटेड क्रॉस-एन्ट्रॉपी)। मॉडल एक ऐसे सिग्नल को आउटपुट करने के लिए सीखता है जो एक विशिष्ट निर्णय नियम के लिए अनुकूलित (optimized) हो।
2. पृथक्करण (Separation - Post-Processing): एल्गोरिदम को एक "प्राथमिकता-मुक्त" उद्देश्य के साथ प्रशिक्षित करना ताकि वह कैलिब्रेटेड संभावनाओं (अंतर्निहित सत्य) को सीख सके, और फिर 'एक्स पोस्ट' (ex post) के माध्यम से एक निर्णय नियम (जैसे, थ्रेशोल्डिंग) द्वारा प्राथमिकताओं को लागू करना।

जबकि शास्त्रीय निर्णय सिद्धांत (classical decision theory) यह सुझाव देता है कि पूर्वानुमानों को रैंक करने के लिए प्राथमिकताएं लॉस फंक्शन में होनी चाहिए, यह शोध पत्र तर्क देता है कि जब सीखना अंतर्जात (endogenous) होता है (अर्थात, लॉस फंक्शन यह निर्धारित करता है कि एल्गोरिदम क्या सीखता है), तो प्राथमिकताएं एम्बेड करने से सूचना प्राप्ति की प्रक्रिया विकृत हो सकती है। यह शोध पत्र जांच करता है कि क्या विश्वासों (beliefs) के सीखने और प्राथमिकताओं के अनुप्रयोग को अलग करने से व्यापक श्रेणी के निर्णय समस्याओं में बेहतर कल्याण (welfare) प्राप्त होता है।

2. कार्यप्रणाली और ढांचा (Methodology and Framework)

2.1 सूचना डिजाइन और कॉनवेक्स ऑर्डर (Information Design and Convex Order)

शोध पत्र प्रशिक्षण को एक सूचना संरचना के अंतर्जात विकल्प के रूप में मॉडल करता है, जो बेयसियन पर्सुएशन (Bayesian persuasion) और सूचना डिजाइन (information design) (कामेनिका और जेंट्ज़को, 2011) पर आधारित है।

• प्रतिनिधित्व (Representation): एक प्रशिक्षित भविष्यवक्ता (predictor) को एक बाइनरी स्टेट $Y \in \{0, 1\}$ के बारे में प्रेरित पोस्टीरियर विश्वासों $Q$ के वितरण के रूप में दर्शाया जाता है।
• कॉनवेक्स ऑर्डर (Convex Order): यह शोध पत्र सूचना संरचनाओं की तुलना करने के लिए कॉनवेक्स ऑर्डर ($\succeq_{cx}$) का उपयोग करता है। एक वितरण $Q$, $Q'$ की तुलना में अधिक सूचनात्मक है यदि $Q$, $Q'$ का 'मीन-प्रिजर्विंग स्प्रेड' (mean-preserving spread) है (अर्थात, $Q'$ एक 'मीन-प्रिजर्विंग कॉन्ट्रैक्शन' है)।
• कल्याण लिंक (Welfare Link): लेम्मा 1 के अनुसार, किसी भी अपेक्षित-उपयोगिता निर्णय समस्या का अप्रत्यक्ष मूल्य फलन (indirect value function) $V(q)$ विश्वास $q$ के संबंध में कॉनवेक्स (convex) होता है। फलस्वरूप, लेम्मा 2 यह स्थापित करता है कि अधिक सूचनात्मक पोस्टीरियर्स (कॉनवेक्स ऑर्डर में) किसी भी अपेक्षित-उपयोगिता निर्णय समस्या के लिए कम सूचनात्मक पोस्टीरियर्स पर कमजोर रूप से प्रभावी (weakly dominate) होते हैं।

2.2 घर्षण के साथ सीखना (Learning with Frictions)

मॉडल प्रशिक्षण को अपेक्षित बेयस जोखिम (expected Bayes risk) को कम करने और सीखने के घर्षणों (learning frictions) ($C(Q)$) को सहने के बीच एक ट्रेड-ऑफ के रूप में मानता है।

• धारणा 1 (Assumption 1): एक प्रशिक्षित एल्गोरिदम एक पोस्टीरियर वितरण $Q$ चुनता है जो $E[H(Q)] + C(Q)$ को कम करता है, जहाँ $H$ प्रशिक्षण लॉस का बेयस जोखिम है और $C$ घर्षणों (जैसे, रेगुलराइजेशन, क्षमता सीमाएं, अनुकूलन लागत) का प्रतिनिधित्व करता है।
• धारणा 2 (Monotone Frictions): सीखने के घर्षण कॉनवेक्स ऑर्डर में मोनोटोनिक (monotone) होते हैं; अधिक सूचनात्मक सिग्नल बनाना स्वाभाविक रूप से अधिक महंगा होता है।
• धारणा 3 (सूचना के मूल्य में कमी - Diminishing Value of Information): यह मुख्य मूल सिद्धांत (primitive) है। यह प्रस्तावित करता है कि प्राथमिकताओं को एम्बेड करने (एक प्राथमिकता सूचकांक $t$ को बढ़ाने) से अतिरिक्त सूचनात्मकता का सीमांत मूल्य (marginal value) कम हो जाता है। औपचारिक रूप से, एक प्राथमिकता-एम्बेडेड लॉस और एक प्राथमिकता-मुक्त लॉस के बीच बेयस जोखिम में वृद्धि, विश्वास का एक कॉन्वेक्स फलन (convex function) है। इसका तात्पर्य यह है कि प्राथमिकता एम्बेडिंग सीखने के प्रोत्साहन को "फ्लैट" (flatten) कर देती है, जिससे विश्वासों के फैलाव (dispersion) में वृद्धि के प्रति बेयस जोखिम में कमी कम संवेदनशील हो जाती है।

2.3 निर्णय-चरण के घर्षण (Decision-Stage Frictions - Rational Inattention)

यह संबोधित करने के लिए कि पृथक्करण कब विफल हो सकता है, शोध पत्र रेशनल इनअटेंशन (Rational Inattention) (सिम्स, 2003) पर आधारित एक निर्णय-चरण घर्षण पेश करता है।

• धारणा 5 (Assumption 5): उपयोगकर्ता संसाधित म्यूचुअल इंफॉर्मेशन (mutual information) के अनुपात में संज्ञानात्मक लागत (cognitive costs) का सामना करते हैं। यदि उपयोगकर्ता बिना लागत के सिग्नल को पुनर्गठित या विकृत नहीं कर सकता (एक "सीमित मेनू"), तो वह अत्यधिक सूचनात्मक लेकिन संज्ञानात्मक रूप से मांग वाले (प्राथमिकता-मुक्त) सिग्नल के बजाय कम सूचनात्मक लेकिन संज्ञानात्मक रूप से सस्ते (प्राथमिकता-एम्बेडेड) सिग्नल को पसंद कर सकता है।

3. मुख्य परिणाम (Key Results)

3.1 संकुचन परिणाम (The Contraction Result - Theorem 1)

धारणाओं 1, 3 और 4 (इष्टतम पोस्टीरियर्स की तुलनात्मकता) के तहत, शोध पत्र सिद्ध करता है कि प्राथमिकता एम्बेडिंग, सीखे गए पोस्टीरियर वितरण के 'मीन-प्रिजर्विंग कॉन्ट्रैक्शन' (mean-preserving contraction) को प्रेरित करती है।

• यदि $t_1 > t_0$ (जहाँ $t$ प्राथमिकता एम्बेडिंग की डिग्री को दर्शाता है), तो इष्टतम पोस्टीरियर $Q_{t_0}$ (प्राथमिकता-मुक्त), $Q_{t_1}$ (प्राथमिकता-एम्बेडेड) को कॉनवेक्स-ऑर्डर में डोमिनेट करता है।
• तंत्र (Mechanism): प्राथमिकता एम्बेडिंग बेयस जोखिम की वक्रता (curvature) को कम करती है, जिससे बिखरे हुए (सूचनात्मक) पोस्टीरियर्स उत्पन्न करने का सीमांत लाभ कम हो जाता है। निश्चित सीखने के घर्षणों को देखते हुए, ऑप्टिमाइज़र एक कम बिखरे हुए (कम सूचनात्मक) सिग्नल को चुनने की प्रतिक्रिया देता है।

3.2 मजबूत पृथक्करण सिद्धांत (The Robust Separation Principle - Theorem 2)

चूंकि अप्रत्यक्ष उपयोगिता विश्वासों के संबंध में कॉनवेक्स है, इसलिए संकुचन परिणाम एक मजबूत कल्याण प्रभुत्व (welfare dominance) का संकेत देता है:

• परिणाम: किसी भी अपेक्षित-उपयोगिता निर्णय समस्या के लिए, एक प्राथमिकता-मुक्त स्ट्रिक्टली प्रॉपर स्कोरिंग नियम के साथ प्रशिक्षण लेना और एक्स पोस्ट प्राथमिकताओं को लागू करना, प्राथमिकता-एम्बेडेड लॉस के साथ प्रशिक्षण लेने की तुलना में कमजोर रूप से बेहतर (weakly dominates) है।
• निहितार्थ: यह मॉड्यूलर AI पाइपलाइनों के लिए एक निर्णय-समस्या-अज्ञेयवादी (decision-problem-agnostic) आधार प्रदान करता है। पृथक्करण सूचना के "विकल्प मूल्य" (option value) को सुरक्षित रखता है, जिससे एक ही भविष्यवक्ता विविध, बदलते या विवादित उद्देश्यों की सेवा कर सकता है।

3.3 प्राथमिकता-मुक्त लॉस के बीच चयन (Choice Among Preference-Free Losses - Proposition 4)

शोध पत्र स्पष्ट करता है कि "प्राथमिकता-मुक्त" का अर्थ एक अद्वितीय लॉस नहीं है। स्ट्रिक्टली प्रॉपर स्कोरिंग नियमों के बीच, यह एक वक्रता क्रम (curvature order) स्थापित करता है:

• एक लॉस जिसका बेयस जोखिम अधिक अवतल (concave) है (उदाहरण के लिए, विशिष्ट सामान्यीकरण के तहत लॉग लॉस बनाम ब्रायर लॉस), अधिक सूचनात्मक पोस्टीरियर्स प्रेरित करता है और यदि लर्निंग फ्रिक्शन स्थिर है, तो सभी निर्णय समस्याओं के लिए कमजोर रूप से बेहतर प्रदर्शन करता है।

3.4 जब एम्बेडिंग श्रेष्ठ हो (When Embedding Dominates - Theorem 3)

शोध पत्र उन स्थितियों की पहचान करता है जहाँ प्राथमिकता एम्बेडिंग इष्टतम है, विशेष रूप से तब जब निर्णय-चरण के घर्षण (decision-stage frictions) बाध्यकारी (binding) हों।

• रिवर्सल स्थिति (Reversal Condition): यदि समृद्ध संभावabilistic सिग्नल को संसाधित करने की संज्ञानात्मक लागत अधिक ($\lambda_{cog}$) है, और एम्बेडिंग से होने वाली सूचना की हानि ($\Delta I$), ध्यान बचत ($\Delta MI$) की तुलना में छोटी है, तो सूचना को अपस्ट्रीम में एम्बेड करना कल्याण में सुधार कर सकता है।
• व्याख्या: एम्बेडिंग सूचना संपीड़न (information compression) के एक रूप के रूप में कार्य करती है जो उपयोगकर्ता के संज्ञानात्मक बोझ को कम करती है, जो जटिल संभावनाओं के बजाय सरल ह्यूरिस्टिक्स (heuristics) के प्रति प्राथमिकता या "एल्गोरिदमिक एवरजन" (algorithmic aversion) को तर्कसंगत बनाती है।

3.5 RLHF पर अनुप्रयोग (RLHF - Theorems 4, 5, and Proposition 6)

इस ढांचे को लार्ज लैंग्वेज मॉडल्स (LLMs) में मानव फीडबैक से सुदृढीकरण सीखना (Reinforcement Learning from Human Feedback - RLHF) पर लागू किया गया है:

• RLHF एक एम्बेडिंग के रूप में: RLHF को जनरेटर के आउटपुट डिस्ट्रीब्यूशन को एक विशिष्ट रिवॉर्ड स्केलराइजेशन (reward scalarisation) की ओर एक्सपोनेंशियल टिल्टिंग (exponential tilting) के रूप में व्याख्यायित किया जाता है।
• स्थिर उद्देश्य (Fixed Objectives - Theorem 4): यदि परिनियोजन (deployment) उद्देश्य स्थिर है और रिवॉर्ड के अनुरूप है, तो RLHF औसत स्वीकार्यता स्तर को बदलकर (First-Order Stochastic Dominance) कल्याण में सुधार करता है।
• उद्देश्य अनिश्चितता (Objective Uncertainty - Theorem 5): यदि उद्देश्य भिन्न होते हैं (जैसे, विभिन्न उपयोगकर्ता, बदलती सुरक्षा नीतियां), तो एक एकल स्केलराइजेशन को एम्बेड करना एक "कैपेबिलिटी टैक्स" (capability tax) लगाता है। जनरेटर एक विशिष्ट उद्देश्य के लिए विशिष्ट हो जाता है और वैकल्पिक उद्देश्यों के लिए लचीलापन (विकल्प मूल्य) खो देता है।
• रिवॉर्ड मिसस्पेसिफिकेशन (Reward Misspecification - Proposition 6): मिसस्पेसिफाइड रिवॉर्ड्स की उपस्थिति में आक्रामक अनुकूलन ($\lambda$ छोटा होना) गुडहार्ट के नियम (Goodhart's law) को बढ़ाता है, जिससे जनरेटर उन स्प्यूरियस फीचर्स (spurious features) की ओर बढ़ता है जो वास्तविक गुणवत्ता के बजाय केवल प्रॉक्सी रिवॉर्ड के साथ सह-संबंधित होते हैं।

4. महत्व और दावे (Significance and Claims)

शोध पत्र दो प्रतिस्पर्धी अंतर्ज्ञानों को सुलझाकर मॉड्यूलर AI डिजाइन के लिए सैद्धांतिक आधार प्रदान करने का दावा करता है:

1. लागत-संवेदनशील सीखना (Cost-Sensitive Learning): विषम त्रुटियों को संभालने के लिए लॉस को वेट करने का अभ्यास।
2. कैलिब्रेशन और थ्रेशोल्डिंग (Calibration and Thresholding): संभावनाओं को सीखने और बाद में थ्रेशोल्ड लागू करने का अभ्यास।

मुख्य योगदान:

• निर्णय-समस्या-अज्ञेयता (Decision-Problem Agnosticism): पूर्व के कार्यों के विपरीत, जो विशिष्ट डाउनस्ट्रीम उद्देश्यों की आवश्यकता रखते थे, ये कल्याण परिणाम किसी भी अपेक्षित-उपयोगिता निर्णय समस्या के लिए समान रूप से लागू होते हैं।
• अंतर्जात सीखना (Endogenous Learning): शोध पत्र लॉस फंक्शन के स्थिर दृष्टिकोण (जहाँ लॉस केवल रैंकिंग को प्रभावित करता है) से आगे बढ़कर यह दिखाता है कि लॉस फंक्शन मौलिक रूप से मॉडल द्वारा अर्जित सूचना को बदल देते हैं।
• डिजाइन मार्गदर्शन (Design Guidance):
  • विकल्पशीलता बनाए रखें (Preserve Optionality): जब उद्देश्य अनिश्चित, विवादास्पद या परिवर्तनशील हों, तो पृथक्करण (कैलिब्रेटेड संभावनाओं को सीखना, फिर पोस्ट-प्रोसेसिंग करना) इष्टतम है।
  • प्राथमिकताएं एम्बेड करें (Embed Preferences): जब निर्णय-चरण के घर्षण (संज्ञानात्मक बाधाएं, विलंबता, या जटिल नियमों को लागू करने में असमर्थता) हावी होते हैं, तो एम्बेडिंग कल्याण में सुधार कर सकती है क्योंकि यह थ्रेशोल्ड गणना को स्वचालित करती है और संज्ञानात्मक भार को कम करती है।
  • निष्पक्षता और सुरक्षा (Fairness and Safety): ये परिणाम निष्पक्षता और सुरक्षा के लिए एक "प्राथमिकता-मुक्त" प्रेडिक्टिव कोर बनाए रखने के लिए एक आर्थिक तर्क प्रदान करते हैं, जिसमें बाधाओं को बिना कोर मॉडल को पुनः प्रशिक्षित किए, पारदर्शी पोस्ट-प्रोसेसिंग परतों के माध्यम से लागू किया जा सकता है।

शोध पत्र निष्कर्ष निकालता है कि इष्टतम डिजाइन श्रम के विभाजन (division of labor) को अधिकतम करता है: ऐसी सामान्य क्षमताएं विकसित करें जो सूचना को संरक्षित करती हैं, और निर्णय के समय विवेक (judgment) लागू करें, जब तक कि डाउनस्ट्रीम कार्यान्वयन घर्षण पृथक्करण को अव्यवहारिक न बना दें।