तकनीकी सारांश: LLM तर्क में मूल्य मिसअलाइनमेंट के ऊपर अतार्किकता (Irrationality)

समस्या विवरण

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT), रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF), और डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) जैसी विधियों के माध्यम से लक्षित वैल्यू फंक्शन के साथ लार्ज लैंग्वेज मॉडल्स (LLMs) को संरेखित (align) करने में महत्वपूर्ण प्रगति के बावजूद, एक गंभीर अंतराल बना हुआ है। भले ही एक LLM प्रशिक्षण के दौरान अच्छी तरह से संरेखित हो, वह इन्फरेंस (inference) के दौरान संरेखित मूल्य को अधिकतम करने में विफल हो सकता है। यह शोध पत्र तर्क देता है कि 'वैल्यू मिसअलाइनमेंट' (जहाँ सीखा गया वैल्यू फंक्शन स्वयं गलत है) विफलता का एकमात्र स्रोत नहीं है; बल्कि, अतार्किक तर्क (irrable reasoning) बना रहता है। इस अतार्किकता को मॉडल द्वारा अपने सैंपल्ड उम्मीदवारों में से सर्वश्रेष्ठ उपलब्ध प्रतिक्रिया का चयन करने में असमर्थता के रूप में परिभाषित किया गया है, भले ही वे उच्च-उपयोगिता (high-utility) वाले उम्मीदवार मॉडल के आउटपुट डिस्ट्रीब्यूशन के भीतर मौजूद हों।

कार्यप्रणाली (Methodology)

तर्कसंगत मूल्य जोखिम का औपचारिक रूप (Formalization of Rational Value Risk)

लेखक इस घटना को रैशनल वैल्यू रिस्क (RVR) के रूप में गणितीय रूप से औपचारिक रूप देते हैं।

• तर्कसंगत तर्क (Rational Reasoning): इसे एक दिए गए वैल्यू फंक्शन के तहत सबसे तीव्र दिशा में अपेक्षित उपयोगिता (expected utility) को अधिकतम करने वाली रणनीति के रूप में परिभाषित किया गया है।
• रैशनल वैल्यू रिस्क ($R$): एक मॉडल की तैनात तर्क रणनीति ($d_\theta$) और उसके तर्कसंगत समकक्ष ($d^\circ_\theta$) के बीच उपयोगिता का अंतर।
  $$R(d_\theta) = \mathbb{E}_{x \sim \rho, o \sim P(\cdot|x,y^\circ)}[U(o)] - \mathbb{E}_{x \sim \rho, y \sim d_\theta, o \sim P(\cdot|x,y)}[U(o)]$$
  जहाँ $y^\circ$ तर्कसंगत उत्तर है और $y$ तैनात रणनीति द्वारा उत्पन्न उत्तर है।

कंप्यूट-बाउंडेड एस्टीमेशन (Compute-Bounded Estimation)

चूंकि सीमित संसाधनों के कारण पूर्णतः तर्कसंगत तर्क करना अव्यावहारिक है, इसलिए यह शोध पत्र एक कंप्यूट-बाउंडेड रेशनल रीजनिंग फ्रेमवर्क पेश करता है।

1. उम्मीदवार सेट (Candidate Set): एक दिए गए प्रॉम्प्ट के लिए, मॉडल से $K$ स्वतंत्र नमूने (samples) लिए जाते हैं।
2. अनुभवजन्य उपयोगिता (Empirical Utility): प्रत्येक उम्मीदवार की उपयोगिता का अनुमान $L$ वेरीफायर कॉल्स (या नियतात्मक जांच) के माध्यम से लगाया जाता है।
3. एस्टिमेटर (Estimator): एम्पिरिकल रेशनल वैल्यू रिस्क ($\hat{R}_{M,K,L}$) की गणना $K$ उम्मीदवारों में पाए गए अधिकतम अनुभवजन्य उपयोगिता (जो सर्वोत्तम संभव तैनाती का प्रतिनिधित्व करता है) और तैनात रणनीति की औसत अनुभवजन्य उपयोगिता के बीच के अंतर के रूप में की जाती है।

त्रुटि अपघटन (Error Decomposition)

RVR के एस्टीमेशन एरर को तीन अलग-अलग घटकों में विभाजित किया गया है:

1. कैंडिडेट एप्रोक्सिमेशन एरर (Candidate Approximation Error): वह जोखिम कि $K$ नमूनों का सीमित सेट एक उच्च-उपयोगिता वाला उत्तर नहीं खोज पाता है।
2. प्रॉम्प्ट सैंपलिंग एरर (Prompt Sampling Error): सीमित संख्या में प्रॉम्प्ट्स ($M$) पर मूल्यांकन करने से उत्पन्न होने वाली सांख्यिकीय त्रुटि।
3. वेरिफिकेशन एरर (Verification Error): स्टोकेस्टिक या अपूर्ण वेरीफायर ($L$) द्वारा पेश की गई त्रुटि।
   शोध पत्र में थ्योरम 1 के माध्यम से यह दिखाया गया है कि कुल त्रुटि, कैंडिडेट एप्रोक्सिमेशन एरर और प्रॉम्प्ट संख्या एवं वेरीफायर कॉन्फिडेंस पर निर्भर पद के योग द्वारा सीमित (bounded) है।

प्रयोगात्मक सेटअप (Experimental Setup)

यह अध्ययन विविध बेंचमार्क पर 7B से 72B पैरामीटर्स और प्रोप्रायटरी API वाले मॉडल्स की एक विस्तृत श्रृंखला का मूल्यांकन करता है:

• संवादात्मक कार्य (Conversational Tasks): UltraFeedback, AlpacaEval (स्टोकेस्टिक वेरीफायर का उपयोग करके)।
• सत्यापनीय तर्क (Verifiable Reasoning): GSM8K, MATH, HumanEval, और MathArena (नियतात्मक या लगभग-नियतात्मक वेरीफायर का उपयोग करके)।
• मॉडल्स: Llama-3.1, Qwen-2.5, Tülu-3 परिवार, और प्रोप्रायटरी मॉडल्स (GPT-5.2, GPT-5.5, DeepSeek-V4)।
• चर (Variables): प्रयोग सैंपलिंग टेम्परेचर, सेल्फ-कंसिस्टेंसी वोटिंग बजट, और रीजनिंग लेंथ (टोकन बजट) को बदलते हैं।

मुख्य परिणाम

प्रयोग चार प्राथमिक परिकल्पनाओं की पुष्टि करते हैं:

1. H1: रैशनल वैल्यू रिस्क व्यापक है।
   सभी मॉडल्स और बेंचमार्क्स में, RVR लगातार सकारात्मक है। मॉडल्स अक्सर उच्च-उपयोगिता वाले उम्मीदवार (उच्च Rational Expected Utility, REU) उत्पन्न करते हैं लेकिन उन्हें लगातार तैनात करने में विफल रहते हैं (कम Actual Expected Utility, AEU)। उदाहरण के लिए, MathArena बेंचमार्क पर, GPT-5.2 जैसे मजबूत मॉडल्स भी 0.360 का RVR प्रदर्शित करते हैं, जो कुल उपयोगिता विसंगति का 70.6% हिस्सा है।

2. H2: वैल्यू अलाइनमेंट RVR को कम करता है लेकिन समाप्त नहीं करता।
   पोस्ट-ट्रेनिंग अलाइनमेंट चरण (SFT $\to$ DPO $\to$ RLVR) आम तौर पर AEU में सुधार करते हैं और RVR को कम करते हैं। हालांकि, RLVR के बाद भी एक महत्वपूर्ण जोखिम बना रहता है। कुछ मामलों में (जैसे, MathArena पर Tülu-3-70B), अलाइनमेंट उच्च-उपयोगिता वाले उत्तरों को सैंपल करने की मॉडल की क्षमता (REU बढ़ाना) में सुधार करता है, लेकिन RVR कुल त्रुटि के अनुपात में वास्तव में बढ़ जाता है, जो यह दर्शाता है कि तैनात रणनीति अभी भी सर्वश्रेष्ठ उम्मीदवारों का चयन करने में विफल रहती है।

3. H3: RVR इन्फरेंस-टाइम स्ट्रैटेजी के प्रति अत्यधिक संवेदनशील है।

• टेम्परेचर (Temperature): सैंपलिंग टेम्परेचर बढ़ाने से अक्सर REU में सुधार होता है (बेहतर उम्मीदवार खोजने के माध्यम से) लेकिन RVR बढ़ जाता है क्योंकि मॉडल सर्वश्रेष्ठ एक को लगातार चुनने में विफल रहता है।
• सेल्फ-कंसिस्टेंसी (Self-Consistency): वोटिंग बजट (सेल्फ-कंसिस्टेंसी) बढ़ाने से AEU में सुधार करके RVR काफी कम हो जाता है, जबकि REU स्थिर रहता है।

4. H4: लंबा तर्क (Reasoning) घटते रिटर्न के साथ तर्कसंगतता में सुधार करता है।
   तर्क की लंबाई (टोकन बजट) बढ़ाने से RVR कम हो सकता है, लेकिन इसके लाभ नॉन-मोनोटोनिक (non-monotonic) हैं और एक निश्चित सीमा (जैसे, $T \ge 256$ या $1024$) के बाद घटते जाते हैं। MathArena जैसे कठिन डिप्लॉयमेंट बेंचमार्क पर, लंबा तर्क REU में थोड़ा सुधार करता है लेकिन AEU को सुधारने में विफल रहता है, जिससे RVR उच्च बना रहता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह LLM तर्क में रैशनल वैल्यू रिस्क को औपचारिक रूप से परिभाषित करने और मापने वाला पहला कार्य है, जो स्पष्ट रूप से इन्फरेंस-टाइम इरैशनैलिटी (inference-time irrationality) को वैल्यू मिसअलाइनमेंट से अलग करता है।

• विशिष्ट मूल्यांकन आयाम: लेखक तर्क देते हैं कि तर्कसंगतता (rationality) एक विशिष्ट आयाम है जो वैल्यू अलाइनमेंट का पूरक है। एक मॉडल पूरी तरह से संरेखित (यह जानना कि क्या मूल्यवान है) हो सकता है फिर भी अतार्किक (इन्फरेंस के दौरान उस ज्ञान पर कार्य करने में विफल होना)।
• डायग्नोस्टिक टूल: यह फ्रेमवर्क यह पहचानने के लिए एक डायग्नोस्टिक टूल के रूप में कार्य करता है कि प्रदर्शन अंतराल (performance gaps) उच्च-गुणवत्ता वाले उत्तर उत्पन्न करने में अक्षमता (सैंपलिंग विफलता) के कारण हैं या उन्हें चुनने में अक्षमता (डिप्लॉयमेंट विफलता) के कारण हैं।
• सीमाएँ: यह कार्य अंतिम उत्तरों पर आधारित उपयोगिता पर केंद्रित है, न कि रीजनिंग ट्रेजेक्टरीज (reasoning trajectories) पर। यह RVR को ठीक करने के लिए नए एल्गोरिदम का प्रस्ताव नहीं करता है, बल्कि भविष्य के इन्फरेंस-टाइम एल्गोरिदम (जैसे, वेरीफायर-गाइडेड सर्च) के लिए एक आधार प्रदान करता है जो अप्राप्त उपयोगिता (unrealized utility) को कम कर सकें।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि वर्तमान LLMs में "वैल्यू मिसअलाइनमेंट के ऊपर अतार्किकता" एक व्यापक मुद्दा है, जो यह सुझाव देता है कि भविष्य के रीजनिंग प्रदर्शन में सुधार के लिए न केवल यह कि मॉडल क्या सीखता है, बल्कि यह भी संबोधित करना होगा कि वह इन्फरेंस के समय कैसे तर्क करता है और उत्तरों का चयन करता है।