तकनीकी सारांश: तर्क या प्रवाह? बेस्ट-ऑफ-N चयन में संभावabilistic आत्मविश्वास का विश्लेषण

समस्या विवरण

हाल के वर्षों में, लार्ज लैंग्वेज मॉडल्स (LLMs) ने अपनी तर्क क्षमताओं को बढ़ाने के लिए बेस्ट-ऑफ-N (Best-of-N) चयन रणनीतियों का लाभ उठाया है। इस दृष्टिकोण में कई तर्क संबंधी प्रक्षेपों (अक्सर चेन-ऑफ-थॉट, या CoT के माध्यम से) का नमूना लेना और एक स्कोरिंग फंक्शन के आधार पर इष्टतम (optimal) एक का चयन करना शामिल है। जबकि बाहरी रिवॉर्ड मॉडल मौजूद हैं, हाल के रुझान सीधे LLM के आउटपुट टोकन वितरण (जैसे आत्म-निश्चितता, लॉग-लाइक्लीहुड, एंट्रॉपी) से प्राप्त संभाव्यता आत्मविश्वास मेट्रिक्स (probabilistic confidence metrics) की ओर झुक रहे हैं क्योंकि वे गणनात्मक रूप से अधिक कुशल हैं।

इन मेट्रिक्स के पीछे निहित मुख्य धारणा यह है कि उच्च संभाव्यता आत्मविश्वास उच्च तर्क निष्ठा (reasoning fidelity) और वैध अंतर-चरण कारण निर्भरताओं (inter-step causal dependencies) को दर्शाता है। हालांकि, पूर्व कार्य सुझाव देते हैं कि CoT प्रक्षेप अविश्वसनीय हो सकते हैं, जो मॉडल की आंतरिक निर्णय लेने की प्रक्रिया के बजाय केवल 'पोस्ट-हॉक युक्तिकरण' (post-hoc rationalizations) के रूप में कार्य करते हैं। यह शोध पत्र इस मौलिक धारणा को चुनौती देता है कि वर्तमान संभाव्यता मेट्रिक्स वास्तव में वैध तर्क के लिए आवश्यक तार्किक संरचना और कारण निर्भरताओं को पकड़ते हैं, और यह सवाल उठाता है कि क्या वे केवल सतही प्रवाह (surface-level fluency) या इन-डिस्ट्रीब्यूशन प्रायर्स (in-distribution priors) को माप रहे हैं।

कार्यप्रणाली

यह जांचने के लिए कि क्या संभाव्यता आत्मविश्वास मेट्रिक्स अंतर-चरण कारणता (inter-step causality) पर निर्भर करते हैं या स्थानीय प्रवाह (local fluency) पर, लेखक कारणता व्यवधानों (causality perturbations) का एक ढांचा पेश करते हैं। ये व्यवधान तर्क चरणों के बीच तार्किक प्रवाह और निर्भरताओं को व्यवस्थित रूप से बाधित करते हैं, जबकि स्थानीय वाक्य प्रवाह और अर्थपूर्ण सुसंगतता को बनाए रखते हैं।

अध्ययन पांच रीजनिंग बेंचमार्क (MATH-500, GPQA-Diamond, GSM8K, LogiQA, AR-LSAT) और तीन LLM परिवारों (Qwen, Llama, Phi) में तीन अलग-अलग प्रकार के व्यवधानों का मूल्यांकन करता है:

1. अटेंशन-स्तर के व्यवधान (Attention-Level Disruptions):

   • मास्किंग (Masking): मेट्रिक गणना के दौरान तर्क चरणों के बीच एक हार्ड अटेंशन मास्क लगाया जाता है। यह मॉडल को प्रत्येक चरण का स्वतंत्र रूप से मूल्यांकन करने के लिए मजबूर करता है ($p(s_k | x, s_{<k})$ बन जाता है $p(s_k | x, s_{<k}^{local})$), जिससे वह ऑटोरेग्रेसिव कॉज़ल चेन टूट जाती है जहाँ चरण $k$, चरण $k-1$ पर निर्भर होता है।
   • क्वेरी मास्किंग (Query Masking): एक चरम मामला जहाँ इनपुट क्वेरी पर निर्भरता को भी हटा दिया जाता है, जिससे चरणों का मूल्यांकन केवल उनके आंतरिक टोकन इतिहास के आधार पर किया जाता है।

2. पैरामीटर-स्तर के व्यवधान (Parameter-Level Disruptions):

   • मूल्यांकन एक काफी छोटे मॉडल (जैसे Qwen2.5-0.5B) का उपयोग करके किया जाता है, जो जेनरेटर (जैसे Qwen3-8B) की तुलना में छोटा है। छोटे मॉडल सामान्य उत्तर प्रारूपों और स्थानीय प्रवाह के लिए मजबूत प्रायर्स (priors) बनाए रखते हैं, लेकिन जटिल, दीर्घ-रेंज कारण निर्भरताओं को मॉडल करने की क्षमता में कमी होती है।

3. डेटा-स्तर के व्यवधान (Data-Level Disruptions):

   • पैराफ्रेसिंग (Paraphrasing): प्रत्येक तर्क चरण को स्वतंत्र रूप से पुनर्गठित किया जाता है ताकि अर्थ को सुरक्षित रखते हुए चरणों को जोड़ने वाले वाक्यात्मक और शाब्दिक संकेतों को बदला जा सके।
   • शफलिंग (Shuffling): तर्क चरणों के क्रम को यादृच्छिक (randomize) किया जाता है, जिससे अनुक्रमिक कारण प्रगति नष्ट हो जाती है, जबकि व्यक्तिगत चरण प्रवाहपूर्ण रहते हैं।
   • ट्रंकेशन (Truncation): तर्क प्रक्षेप के अंतिम हिस्सों को हटा दिया जाता है, जिससे पूर्ण बहु-चरणीय श्रृंखला बनाम प्रारंभिक प्रीफिक्स पर निर्भरता का परीक्षण किया जाता है।

लेखक इन बाधित स्थितियों के तहत चयन सटीकता (selection accuracy) (उन प्रश्नों का अंश जहाँ चयनित आउटपुट सही है) को मापते हैं और मूल, अपरिवर्तित मेट्रिक्स के साथ इसकी तुलना करते हैं।

प्रमुख योगदान

1. असंवेदनशीलता का अनुभवजन्य प्रमाण (Empirical Evidence of Insensitivity): यह शोध पत्र इस बात के पुख्ता प्रमाण प्रदान करता है कि अत्याधुनिक संभाव्यता आत्मविश्वास मेट्रिक्स अंतर-चरण कारण संरचना में व्यवधानों के प्रति काफी हद तक असंवेदनशील हैं। विविध मॉडलों और बेंचमार्क में, चयन सटीकता केवल मामूली रूप से (अक्सर <1%) घटती है या कभी-कभी सुधर भी जाती है जब कारण निर्भरताओं को काट दिया जाता है।
2. प्रवाह बनाम तर्क (Fluency vs. Reasoning): निष्कर्षों से पता चलता है कि वर्तमान मेट्रिक्स मुख्य रूप से स्थानीय प्रवाह और उत्तर प्रारूप प्रायर्स को कैप्चर करते हैं न कि तर्क प्रक्रिया की वैधता को। मेट्रिक्स तब भी मजबूत रहते हैं जब प्रक्षेप की तार्किक सुसंगतता को नष्ट कर दिया जाता है।
3. कॉन्ट्रास्टिव कॉजलिटी मेट्रिक (Contrastive Causality Metric): इस अंतर को दूर करने के लिए, लेखक एक नया मेट्रिक, $R_{causal}$, प्रस्तावित करते हैं, जिसे इस प्रकार परिभाषित किया गया है:
   $$R_{causal}(y) = R(y) - \alpha \cdot \hat{R}(y)$$
   जहाँ $R(y)$ मूल मेट्रिक है और $\hat{R}(y)$ अटेंशन-स्तर मास्किंग के तहत गणना किया गया मेट्रिक है (जो स्थानीय प्रवाह का प्रतिनिधित्व करता है)। प्रवाह घटक को घटाकर, यह मेट्रिक स्पष्ट रूप से अंतर-चरण कारण निर्भरताओं के कारण होने वाले संकेतों को अलग करता है।

परिणाम

• अटेंशन-स्तर: क्रॉस-स्टेप अटेंशन को मास्क करने से सटीकता में न्यूनतम गिरावट आई। Qwen के लिए, मास्किंग ने मामूली सुधार (0.75%) भी दिया। यहाँ तक कि Phi के लिए भी, जिसने बड़ी गिरावट (~6-7%) दिखाई, प्रदर्शन रैंडम बेसलाइन से काफी ऊपर रहा।
• पैरामीटर-स्तर: एक छोटे मूल्यांकनकर्ता मॉडल (0.5B बनाम 8B) का उपयोग करने से चयन सटीकता में नगण्य परिवर्तन हुआ (उदाहरण के लिए, Qwen में औसतन केवल 0.7% का परिवर्तन हुआ), जो यह दर्शाता है कि इन मेट्रिक्स के प्रभावी ढंग से कार्य करने के लिए सूक्ष्म तर्क क्षमता की आवश्यकता नहीं है।
• डेटा-स्तर:
  • शफलिंग: चरणों के क्रम को यादृच्छिक करने से कोई व्यवस्थित गिरावट नहीं हुई; कुछ मामलों में, सटीकता में सुधार हुआ।
  • पैराफ्रेसिंग: वाक्य के अर्थ को सुरक्षित रखने वाले शाब्दिक परिवर्तनों से प्रदर्शन में नगण्य गिरावट आई।
  • ट्रंकेशन: प्रक्षेपों के अंत से 30k टोकन हटाने (केवल छोटे प्रीफिक्स छोड़ने) से सटीकता में पर्याप्त गिरावट नहीं आई, जो यह सुझाव देता है कि प्रभावी रैंकिंग के लिए पूर्ण तर्क श्रृंखला आवश्यक नहीं है।

महत्व और दावे

शोध पत्र का दावा है कि बेस्ट-ऑफ-N चयन के लिए संभाव्यता आत्मविश्वास मेट्रिक्स पर निर्भरता तर्क की शुद्धता के प्रॉक्सी (proxies) के रूप में इन मेट्रिक्स की विश्वसनीयता को बढ़ा-चढ़ाकर (overestimate) दिखा सकती है। कारण व्यवधानों के प्रति स्पष्ट असंवेदनशीलता यह संकेत देती है कि ये मेट्रिक्स बहु-चरणीय तर्क सुसंगतता को निष्ठापूर्वक कैप्चर नहीं कर रहे हैं।

परिणामस्वरूप, लेखक तर्क देते हैं कि क्षेत्र को सरल संभाव्यता-आधारित चयन से आगे बढ़ने की आवश्यकता है। प्रस्तावित कॉन्ट्रास्टिव कॉजलिटी मेट्रिक यह प्रदर्शित करता है कि स्पष्ट रूप से कारण निर्भरताओं को अलग करने से अधिक विश्वसनीय आउटपुट चयन प्राप्त होता है। यह कार्य वर्तमान मूल्यांकन प्रथाओं और तर्क की वास्तविक तार्किक संरचना के बीच एक महत्वपूर्ण मिसअलाइनमेंट (misalignment) को उजागर करता है, और जनरेटिव एआई में "तर्क की गुणवत्ता" को कैसे मापा जाता है, इसके पुनर्मूल्यांकन का आग्रह करता है।