💬 NLP

PiCSAR: Probabilistic Confidence Selection And Ranking for Reasoning Chains

यह शोधपत्र PiCSAR को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) विधि है जो इसके तर्क (reasoning) और उत्तर के संयुक्त लॉग-लाइक्लीहुड (joint log-likelihood) के आधार पर सर्वश्रेष्ठ उम्मीदवार चयन करके लार्ज लैंग्वेज मॉडल की तर्क सटीकता में सुधार करती है, जिससे मौजूदा बेसलाइन की तुलना में कम नमूनों के साथ विविध बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।

मूल लेखक: Joshua Ong Jun Leang, Zheng Zhao, Aryo Pradipta Gema, Sohee Yang, Wai-Chung Kwan, Xuanli He, Wenda Li, Pasquale Minervini, Eleonora Giunchiglia, Shay B. Cohen

प्रकाशित 2026-05-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joshua Ong Jun Leang, Zheng Zhao, Aryo Pradipta Gema, Sohee Yang, Wai-Chung Kwan, Xuanli He, Wenda Li, Pasquale Minervini, Eleonora Giunchiglia, Shay B. Cohen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो गणित के होमवर्क की ढेरी को ग्रेड कर रहे हैं। आपने अपने छात्रों (AI मॉडल्स) से एक कठिन समस्या हल करने के लिए कहा है। केवल एक उत्तर देने के बजाय, प्रत्येक छात्र अपनी पूरी विचार प्रक्रिया को चरण-दर-चरण लिखता है, और फिर एक अंतिम उत्तर देता है।

कभी-कभी, एक छात्र एक लंबी, भ्रामक कहानी लिखता है जो सही उत्तर पर समाप्त होती है। अन्य मामलों में, एक छात्र एक संक्षिप्त, स्पष्ट व्याख्या लिखता है जो गलत उत्तर पर समाप्त होती है। या, वे एक भ्रमित करने वाला ढेर लिख सकते हैं जो गलती से सही संख्या तक पहुँच जाता है।

समस्या: आप सबसे अच्छे को कैसे चुनते हैं?

पारंपरिक रूप से, शिक्षक (या AI सिस्टम) विजेता चुनने के दो मुख्य तरीकों का उपयोग करते हैं:

"बहुमत मत" (सेल्फ-कंसिस्टेंसी - Self-Consistency): यदि तीन छात्र कहते हैं कि उत्तर "4" है और एक कहता है कि "3" है, तो आप "4" चुनते हैं। लेकिन क्या होगा यदि उन तीनों ने एक ही तरह की मूर्खतापूर्ण गलती की हो? तो आप गलत उत्तर चुन लेंगे।
"विशेषज्ञ ग्रेडर" (रिवॉर्ड मॉडल - Reward Models): आप हर एक होमवर्क पेपर को पढ़ने और उसे एक स्कोर देने के लिए एक विशेष, महंगे AI को काम पर रखते हैं। लेकिन इस विशेषज्ञ को प्रशिक्षित करना कठिन, महंगा है, और यह कभी-कभी भ्रमित भी हो सकता है।

समाधान: PiCSAR (द "कॉन्फिडेंस डिटेक्टिव")

यह शोध पत्र PiCSAR (प्रोबेबिलिस्टिक कॉन्फिडेंस सिलेक्शन एंड रैंकिंग) पेश करता है। इसे एक नए शिक्षक के रूप में नहीं, बल्कि एक सुपर-स्मार्ट स्कोरिंग मशीन के रूप में सोचें जो छात्र की अपनी आवाज़ का उपयोग करके उन्हें ग्रेड करती है। इसे किसी अतिरिक्त प्रशिक्षण या महंगे विशेषज्ञों की आवश्यकता नहीं है।

PiCSAR कैसे काम करता है, इसके लिए एक सरल उपमा का उपयोग करते हुए:

दो-भाग वाला स्कोरकार्ड

जब PiCSAR एक छात्र के होमवर्क को देखता है, तो वह दो चीजों के आधार पर एक स्कोर की गणना करता है:

"फ्लो" स्कोर (तर्क संबंधी आत्मविश्वास - Reasoning Confidence):
कल्पना कीजिए कि छात्र एक कहानी सुना रहा है। PiCSाR पूछता है: "क्या यह कहानी स्वाभाविक रूप से बहती है? क्या अगला वाक्य पिछले वाक्य के बाद एक तार्किक, आत्मविश्वासी कदम महसूस होता है?"

यदि छात्र हकलाता है, खुद को दोहराता है, या अतार्किक रूप से कूदता-फांदता है, तो "फ्लो" स्कोर गिर जाता है।
यदि तर्क सुचारू, सीधा और आत्मविश्वासी है, तो स्कोर बढ़ जाता है।
मुख्य अंतर्दृष्टि: PiCSAR उन कहानियों को पसंद करता है जो संक्षिप्त और अर्थपूर्ण हैं, न कि उन लंबी, भ्रामक कहानियों को जो केवल पन्ने भरने के लिए लिखी गई हैं।

"निष्कर्ष" स्कोर (उत्तर संबंधी आत्मविश्वास - Answer Confidence):
एक बार जब कहानी पूरी हो जाती है, तो PiCSAR पूछता है: "जो कुछ भी अभी कहा गया है, उसे देखते हुए, छात्र इस अंतिम उत्तर के बारे में कितना आश्वस्त है?"

यह उस विशिष्ट क्षण को देखता है जब छात्र अंतिम संख्या लिखता है। यदि मॉडल उस संख्या के बारे में बहुत निश्चित है जो तर्क के आधार पर है, तो स्कोर बढ़ जाता है।
यदि तर्क कमजोर था लेकिन छात्र ने सही नंबर का अनुमान लगा लिया, तो यह स्कोर कम रहता है।

जादुई ट्रिक:
PiCSAR इन दोनों स्कोर को जोड़ देता है। यह उस होमवर्क पेपर को चुनता है जिसका कुल स्कोर सबसे अधिक होता है।

यह बेहतर क्यों है?

इस शोध पत्र ने कई गणित और विज्ञान पहेलियों (जैसे AIME गणित प्रतियोगिता) पर इसका परीक्षण किया। यहाँ उन्होंने क्या पाया:

यह "बहुमत मत" को मात देता है: कभी-कभी बहुमत गलत होता है क्योंकि उन सभी ने एक ही खराब तर्क का पालन किया होता है। PiCSAR उस छात्र को पहचान लेता है जिसके पास सबसे अच्छा तर्क और सबसे आत्मविश्वासी निष्कर्ष था, भले ही वह अकेला सही होने वाला व्यक्ति हो।
यह कुशल है: आमतौर पर, एक अच्छा परिणाम प्राप्त करने के लिए, आपको 32 अलग-अलग उत्तर उत्पन्न करने पड़ते हैं और सबसे अच्छा चुनना पड़ता है। PiCSAR अक्सर केवल 6 प्रयासों के साथ सबसे अच्छा उत्तर ढूंढ सकता है। यह पूरे ढेर को खोदने के बजाय, उस एक सुई को खोजने जैसा है जो सबसे अधिक चमक रही है।
यह "बड़े दिमाग" और "छोटे दिमाग" दोनों पर काम करता है: यह विशाल, शक्तिशाली AI मॉडलों पर बहुत अच्छा काम करता है, लेकिन यह छोटे, सस्ते मॉडलों को भी कठिन समस्याओं को हल करने में मदद करता है, उन्हें उनके सबसे अच्छे प्रयास को चुनने में सहायता करके।

"सूचना घनत्व" की खोज (The "Information Density" Discovery)

शोधकर्ताओं ने यह भी गौर किया कि स्मार्ट छात्र कैसे सोचते हैं।

"उच्च-आत्मविश्वास" वाले छात्र संक्षिप्त, सघन (dense) उत्तर लिखते थे। उनके हर वाक्य में नई, उपयोगी जानकारी जुड़ी थी।
"कम-आत्मविश्वास" वाले छात्र बहुत लंबे उत्तर लिखते थे, लेकिन वे लूप्स, दोहराव और "फालतू बातों" (fluff) से भरे होते थे। वे केवल जगह भरने के लिए बातें कर रहे थे।
PiCSAR स्वाभाविक रूप से इस "फालतू बात" से नफरत करता है। यह उन छात्रों को पुरस्कृत करता है जो बिना किसी फालतू बात के सीधे मुद्दे पर आते हैं और उच्च आत्मविश्वास दिखाते हैं।

सारांश

PiCSAR एक मुफ्त, उपयोग में आसान टूल है जो AI मॉडल्स को उनका सबसे अच्छा उत्तर चुनने में मदद करता है, यह पूछते हुए कि:

"क्या आपने इस पर स्पष्ट रूप से विचार किया?" (तर्क संबंधी आत्मविश्वास)
"क्या आप उस सोच के आधार पर अपने उत्तर के बारे में आश्वस्त हैं?" (उत्तर संबंधी आत्मविश्वास)

इसे कुछ भी नया सीखने की आवश्यकता नहीं है; यह बस AI के अपने आत्मविश्वास स्तरों को सुनकर सही रास्ता खोज लेता है। परिणाम? स्मार्ट उत्तर, कम कंप्यूटर संसाधनों की बर्बादी, और कठिन समस्याओं पर बेहतर प्रदर्शन।

यहाँ शोध पत्र "PiCSAR: Probabilistic Confidence Selection and Ranking for Reasoning Chains" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) और लार्ज रीजनिंग मॉडल्स (LRMs) ने चेन-ऑफ-थॉट (CoT) और टेस्ट-टाइम स्केलिंग (कई उम्मीदवारों को जेनरेट करना और सर्वश्रेष्ठ का चयन करना) जैसी तकनीकों के माध्यम से जटिल तर्क कार्यों में महत्वपूर्ण सुधार दिखाया है। हालाँकि, $N$ उम्मीदवारों में से सही रीजनिंग चेन का चयन करना (Best-of-N) एक चुनौती बना हुआ है:

मौजूदा विधियों की सीमाएँ:
- Greedy Decoding: अक्सर जटिल बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करने में विफल रहता है।
- Self-Consistency (SC): सबसे अधिक बार आने वाले अंतिम उत्तर को चुनता है। यह उस उत्तर तक पहुँचने वाले रीजनिंग पाथ (तर्क पथ) की गुणवत्ता की अनदेखी करता है, जिससे संभावित रूप से एक बार-बार आने वाले लेकिन तार्किक रूप से त्रुटिपूर्ण चेन के चयन का जोखिम रहता है।
- Universal Self-Consistency (USC): पूर्ण प्रतिक्रिया के लिए अधिकतम निरंतरता (majority agreement) पर निर्भर करते हुए सबसे सुसंगत पूर्ण प्रतिक्रिया चुनने का प्रयास करता है, जो महत्वपूर्ण रीजनिंग-स्तर के संकेतों (सुसंगतता, संभाव्यता) की अनदेखी करता है और कॉन्टेक्स्ट विंडो की सीमाओं से ग्रस्त होता है।
- प्रशिक्षित रिवॉर्ड मॉडल्स (Trained Reward Models): हालांकि प्रभावी हैं, लेकिन बाहरी रिवॉर्ड मॉडल्स को प्रशिक्षित करना कम्प्यूटेशनल रूप से महंगा है और डिस्ट्रीब्यूशन शिफ्ट के प्रति संवेदनशील है।
मुख्य चुनौती: एक ऐसा ट्रेनिंग-फ्री (प्रशिक्षण-मुक्त) स्कोरिंग फंक्शन डिजाइन करना जो ग्राउंड-ट्रुथ उत्तरों तक पहुँच के बिना, मॉडल के आंतरिक आत्मविश्वास संकेतों (internal confidence signals) का प्रभावी ढंग से उपयोग करते हुए, सही रीजनिंग चेन की पहचान कर सके।

2. कार्यप्रणाली: PiCSAR

लेखक PiCSAR (Probabilistic Confidence Selection And Ranking) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री विधि है जो रीजनिंग पाथ और अंतिम उत्तर के संयुक्त लॉग-लाइक्लीहुड (joint log-likelihood) के आधार पर कैंडिडेट जेनरेशन को स्कोर करती है।

A. स्कोरिंग फंक्शन (The Scoring Function)

PiCSAR चयन समस्या को प्रॉम्प्ट ( $x$ ) दिए जाने पर रीजनिंग चेन ( $r$ ) और उत्तर ( $y$ ) के संयुक्त स्थान पर मैक्सिमम ए पोस्टेरिओरी (MAP) डिकोडिंग के सन्निकटन (approximation) के रूप में फ्रेम करता है। स्कोर को दो पूरक पदों (complementary terms) में विभाजित किया गया है:

$\text{Score}(r, y) = \underbrace{\log p(r \mid x)}_{\text{Reasoning Confidence}} + \underbrace{\log p(y \mid \langle a \rangle, r, x)}_{\text{Answer Confidence}}$

रीजनिंग कॉन्फिडेंस ( $\log p(r \mid x)$ ):
- यह प्रॉम्प्ट के दिए जाने पर विशिष्ट रीजनिंग चेन $r$ को जेनरेट करने में मॉडल के आत्मविश्वास को दर्शाता है।
- इसकी गणना जेनरेशन के दौरान टोकन-लेवल लॉग-प्रोबेबिलिटी के योग के रूप में की जाती है।
- मुख्य डिज़ाइन विकल्प: लेखक अननॉर्मलाइज्ड (unnormalized) लॉग-लाइक्लीहुड का उपयोग करते हैं। यह स्वाभाविक रूप से संक्षिप्त और प्रत्यक्ष रीजनिंग पथों का पक्ष लेता है क्योंकि लंबे अनुक्रम (sequences) अधिक नकारात्मक लॉग-प्रोबेबिलिटी जमा करते हैं (जो अत्यधिक विस्तृत या गोलाकार तर्क/hallucinations को दंडित करता है)।
आंसर कॉन्फिडेंस ( $\log p(y \mid \langle a \rangle, r, x)$ ):
- यह उत्पन्न रीजनिंग के आधार पर अंतिम उत्तर $y$ में मॉडल की निश्चितता को दर्शाता है।
- हस्तक्षेप (Intervention): यह सुनिश्चित करने के लिए कि उत्तर की संभावना विभिन्न चेनों के बीच तुलनीय हो (बाद के टेक्स्ट के कारण होने वाले भ्रम से बचने के लिए), मॉडल एक स्पष्ट निर्देश प्रॉम्प्ट $\langle a \rangle$ (जैसे, "जब आप एक संभावित रीजनिंग देखें जिसके बाद <sep> हो, तो अंतिम उत्तर दें") पर आधारित होता है। यह मॉडल को पिछले टेक्स्ट की जेनेरेटिव प्रोबेबिलिटी के बजाय तार्किक निहितार्थ (logical entailment) का मूल्यांकन करने के लिए मजबूर करता है।

B. एल्गोरिदम (Algorithm)

Generate: मॉडल से $k$ रीजनिंग चेन $\{r_1, \dots, r_k\}$ को सैंपल करें।
Extract: प्रत्येक चेन से अंतिम उत्तर $y_i$ निकालें।
Score: ऊपर दिए गए फॉर्मूले का उपयोग करके प्रत्येक जोड़ी $(r_i, y_i)$ के लिए संयुक्त स्कोर की गणना करें।
Select: उच्चतम स्कोर वाले उम्मीदवार को चुनें।

C. डिकपलिंग क्षमता (Decoupling Capability)

PiCSAR की एक अनूठी विशेषता यह है कि Answer Confidence टर्म को रीजनिंग जेनरेट करने वाले मॉडल ( $M_{gen}$ ) से अलग एक अन्य मॉडल ( $M_{eval}$ ) द्वारा अनुमानित किया जा सकता है। प्रयोगों से पता चलता है कि छोटे मॉडल बड़े मॉडल्स द्वारा जेनरेट की गई रीजनिंग चेन के तार्किक निहितार्थ का प्रभावी ढंग से मूल्यांकन कर सकते हैं, जिससे लचीला और लागत-कुशल परिनियोजन (deployment) सक्षम होता है।

3. मुख्य योगदान (Key Contributions)

नया स्कोरिंग तंत्र: एक सरल, ट्रेनिंग-फ्री संभावabilistic फ्रेमवर्क पेश किया जो फ्रीक्वेंसी-आधारित विधियों (जैसे Self-Consistency) से बेहतर प्रदर्शन करते हुए, रीजनिंग संभाव्यता और उत्तर निश्चितता को संयुक्त रूप से अनुकूलित करता है।
सूचना घनत्व विश्लेषण (Information Density Analysis): यह पाया गया कि सही रीजनिंग चेन उच्च "सूचना घनत्व" (उच्च-विश्वास शिखर और वाक्य संख्या का अनुपात) प्रदर्शित करती हैं। सही चेन अनिवार्य रूप से लंबी नहीं होतीं; वे अक्सर अधिक संक्षिप्त होती हैं और उत्तर की ओर तेजी से अभिसरण (converge) करती हैं।
कॉन्फिडेंस-एक्यूरेसी सहसंबंध: यह सिद्ध किया गया कि रीजनिंग कॉन्फिडेंस और आंसर कॉन्फिडेंस दोनों ही शुद्धता (correctness) के मजबूत भविष्यवक्ता हैं, जिसमें रीजनिंग कॉन्फिडेंस एक काफी मजबूत भविष्यवक्ता है (t-tests के माध्यम से सांख्यिकीय रूप से सत्यापित)।
पोर्टेबिलिटी: यह दिखाया गया कि आंसर कॉन्फिडेंस सिग्नल मॉडल्स के बीच पोर्टेबल है, जिससे छोटे, सस्ते मॉडल महंगे जनरेटर के मूल्यांकनकर्ता के रूप में कार्य कर सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 5 LLMs (Llama-3.1, Gemma-2, Qwen3) और 3 LRMs (DeepSeek-R1 डिस्टिल्ड मॉडल्स, Qwen3 थिंकिंग मोड के साथ) पर GSM8K, MATH500, GPQA-Diamond, TheoremQA, और AIME 2024/2025 जैसे बेंचमार्क पर PiCSAR का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains):
- LRMs: PiCSAR ने AIME 2024 (+11.7% DeepSeek-Llama-8B पर) और AIME 2025 (+9.81%) में पर्याप्त लाभ प्राप्त किया। इसने 19/21 तुलनाओं में बेसलाइन्स को पछाड़ दिया।
- LLMs: सभी मॉडल्स में निरंतर सुधार। उदाहरण के लिए, Llama-3.1-70B पर, PiCSAR ने Self-Certainty की तुलना में GPQA-Diamond सटीकता में 7.07% का सुधार किया।
सैंपल एफिशिएंसी (Sample Efficiency): PiCSAR अत्यधिक सैंपल-कुशल है। केवल $k=6$ सैंपल्स का उपयोग करके, इसने अक्सर उन बेसलाइन्स (Self-Consistency, USC) को भी पछाड़ दिया जिन्होंने $k=16$ या $k=32$ का उपयोग किया था।
प्रशिक्षित रिवॉर्ड मॉडल्स के साथ तुलना: ज़ीरो-शॉट और ट्रेनिंग-फ्री होने के बावजूद, PiCSAR ने MATH500 और GSM8K पर भारी प्रशिक्षित रिवॉर्ड मॉडल्स (जैसे Skywork-Reward-V2) के बराबर या उनसे बेहतर प्रदर्शन किया।
सांख्यिकीय महत्व: Friedman और Nemenyi पोस्ट-हॉक परीक्षणों ने पुष्टि की कि PiCSार सभी बेसलाइन्स से महत्वपूर्ण रूप से बेहतर है ( $p < 0.05$ )।

5. महत्व और निहितार्थ (Significance and Implications)

लागत-प्रभावी स्केलिंग: PiCSAR रिवॉर्ड मॉडल्स को प्रशिक्षित करने या भारी मात्रा में सैंपल्स जेनरेट करने के कम्प्यूटेशनल ओवरहेड के बिना रीजनिंग सटीकता में सुधार करने का एक तरीका प्रदान करता है।
रीजनिंग में अंतर्दृष्टि: यह कार्य इस धारणा को चुनौती देता है कि "अधिक सोचना" (लंबी चेन) हमेशा बेहतर होता है। यह रेखांकित करता है कि अभिसरण (convergent) और उच्च-विश्वास वाली रीजनिंग, लंबाई की तुलना में शुद्धता का बेहतर संकेतक है।
व्यावहारिक परिनियोजन: जेनरेशन और इवैल्यूएशन को अलग करने की क्षमता हाइब्रिड सिस्टम की अनुमति देती है जहाँ महंगे मॉडल जटिल रीजनिंग जेनरेट करते हैं, और छोटे, स्थानीय मॉडल तार्किक निष्कर्षों को सत्यापित करते हैं, जिससे इन्फरेंस लागत अनुकूलित होती है।
सामान्यीकरण (Generalizability): यह विधि फाइन-ट्यूनिंग के बिना किसी भी LLM या LRM के लिए लागू की जा सकती है, जो इसे बड़े पैमाने पर रीजनिंग मॉडल्स के वर्तमान युग में एक बहुमुखी उपकरण बनाती है।

निष्कर्षतः, PiCSAR रीजनिंग चेन चयन के लिए एक मजबूत, संभावabilistic दृष्टिकोण प्रदान करता है जो मॉडल के आंतरिक आत्मविश्वास संकेतों का लाभ उठाता है, और यह सिद्ध करता है कि केवल सैंपलिंग बजट बढ़ाने के बजाय उच्च-गुणवत्ता वाले रीजनिंग पथों का सावधानीपूर्वक चयन करना अधिक महत्वपूर्ण है।