तकनीकी सारांश: जिसे हम हल नहीं कर सकते उसका निर्णय लेना

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) की हालिया प्रगति ने शोध-स्तर के गणित को समझाने योग्य प्रयास उत्पन्न करने की क्षमता प्रदर्शित की है। हालाँकि, एक महत्वपूर्ण बाधा बनी हुई है: सत्यापन (verification)। समाधानों को मान्य करने के लिए या तो दुर्लभ विशेषज्ञ समय की आवश्यकता होती है या "ओरेकल-फ्री" (oracle-free) मूल्यांकनकर्ताओं जैसे LLM जजों और रिवॉर्ड मॉडल्स पर निर्भर रहना पड़ता है, जो अक्सर अविश्वसनीय, पक्षपाती और शैलीगत संकेतों या अधिकार-जैसे कथनों द्वारा गुमराह होने के प्रति संवेदनशील होते हैं।

मुख्य चुनौती यह है कि उन शोध-स्तर के प्रश्नों के लिए समाधानों की शुद्धता का मूल्यांकन कैसे किया जाए जहाँ ग्राउंड-ट्रुथ उत्तर उपलब्ध नहीं हैं, समस्याएँ वर्तमान अत्याधुनिक मॉडलों द्वारा अनसुलझी हैं, और विशेषज्ञ सत्यापन स्केलेबल नहीं है। मौजूदा ओरेकल-फ्री विधियाँ (जैसे, मेजॉरिटी वोटिंग, रिवॉर्ड मॉडल, LLM जज) इस उच्च-कठिनाई वाले शासन में सही और गलत समाधानों के बीच अंतर करने में संघर्ष करती हैं, और अक्सर वैध तर्क (reasoning) और "प्लासिबल लेकिन गलत" मतिभ्रम (hallucinations) के बीच अंतर करने में विफल रहती हैं।

कार्यप्रणाली: परिणाम-आधारित उपयोगिता (Consequence-Based Utility - CBU)

लेखक परिणाम-आधारित उपयोगिता (CBU) प्रस्तावित करते हैं, जो "परिणामों द्वारा समर्थन" (support by consequences) की गणितीय अवधारणा पर आधारित एक ओरेकल-फ्री मूल्यांकन ढांचा है। केंद्रीय परिकल्पना यह है कि एक सही समाधान में विधि-स्तर की जानकारी होती है जो संबंधित समस्याओं पर प्रभावी ढंग से स्थानांतरित (transfer) होती है, जबकि एक गलत समाधान नहीं होता है।

मुख्य तंत्र

1. नेबरहुड निर्माण (Neighborhood Construction): एक लक्षित शोध-स्तर के प्रश्न $Q$ और एक संभावित समाधान $C$ के लिए, सिस्टम नेबरहुड प्रश्नों $\mathcal{N}(Q)$ का एक सेट बनाता है। ये $Q$ के वेरिएंट (जैसे, संशोधित पैरामीटर या संबंधित प्रमेय) हैं जिन्हें सत्यापन योग्य (ज्ञात ग्राउंड-ट्रुथ वाले) और मूल से थोड़े आसान बनाया गया है, फिर भी $C$ के तर्क का उपयोग करके हल किए जा सकते हैं।
2. इन-कॉन्टेक्स्ट ट्रांसफर (In-Context Transfer): संभावित समाधान $C$ का उपयोग एक सॉल्वर मॉडल $M_\theta$ के लिए एक इन-कॉन्टेक्स्ट एक्सेम्पलर (प्रदर्शन) के रूप में किया जाता है। सॉल्वर को $(Q, C)$ की स्थिति में प्रत्येक प्रश्न $Q^* \in \mathcal{N}(Q)$ को हल करने के लिए प्रेरित किया जाता है।
3. उपयोगिता स्कोरिंग (Utility Scoring): उपयोगिता स्कोर $U(C)$ को नेबरहुड प्रश्नों पर सॉल्वर की औसत सटीकता के रूप में परिभाषित किया जाता है जब $C$ को संदर्भ के रूप में प्रदान किया जाता है।
   $$U(C) = \frac{1}{|\mathcal{N}(Q)|} \sum_{Q^* \in \mathcal{N}(Q)} \mathbb{E}_{\tilde{C} \sim M_\theta(\cdot|Q,C,Q^*)} [v(Q^*, \tilde{C})]$$
   जहाँ $v$ सॉल्वर के आउटपुट की शुद्धता की जाँच करने वाला एक वेरीफायर है।
4. रैंकिंग: उम्मीदवारों को उनके प्रेरित उपयोगिता स्कोर द्वारा रैंक किया जाता है। उच्च स्कोर यह संकेत देता है कि उम्मीदवार अधिक सहायक, हस्तांतरणीय तर्क प्रदान करता है, जिससे सुझाव मिलता है कि इसके सही होने की अधिक संभावना है।

डेटासेट: EXPERTMATH

इस दृष्टिकोण का मूल्यांकन करने के लिए, लेखक EXPERTMATH पेश करते हैं, जो एक बेंचमार्क है जिसमें शामिल हैं:

• 192 विशेषज्ञ-लिखित शोध-स्तर के प्रश्न (प्रतिनिधित्व सिद्धांत, बीजगणितीय संयोजन विज्ञान, ज्यामिति और होमोटोपी थ्योरी तक फैला हुआ)। इनमें से आधे अग्रणी मॉडलों (जैसे, GPT-5, Gemini-3-Pro) द्वारा अनसुलझे हैं।
• मौजूदा साहित्य से प्राप्त 425 LLM-जनित प्रश्न।
• ग्राउंड ट्रुथ: प्रत्येक समस्या को एक विशेषज्ञ-लिखित समाधान और नौ LLM-जनित संभावित समाधानों (चार सही, पांच गलत) के साथ जोड़ा गया है, जिनका मनुष्यों द्वारा मैन्युअल रूप से सत्यापन किया गया है।

मुख्य योगदान

1. परिणाम-आधारित उपयोगिता (CBU): एक नवीन, ओरेकल-फ्री सत्यापन विधि जो समाधान के टेक्स्ट के सीधे निरीक्षण के बजाय संबंधित, सत्यापन योग्य प्रश्नों पर डाउनस्ट्रीम प्रदर्शन के आधार पर समाधानों को स्कोर करती है।
2. EXPERTMATH बेंचमार्क: विशेषज्ञ-सत्यापित समाधानों और LLM-जनित उम्मीदवारों वाला एक उच्च-कठिनाई वाला शोध-स्तर के गणित का डेटासेट, जो विशेष रूप से उन समस्याओं पर मूल्यांकन विधियों का परीक्षण करने के लिए डिज़ाइन किया गया है जिन्हें वर्तमान मॉडल सीधे हल नहीं कर सकते।
3. अनुभवजन्य श्रेष्ठता (Empirical Superiority): यह प्रदर्शन करना कि CBU मौजूदा ओरेकल-फ्री बेसलाइन्स, जिनमें LLM जज, रिवॉर्ड मॉडल (RM), और जेनेरेटिव रिवॉर्ड मॉडल (GenRM) शामिल हैं, को लगातार पीछे छोड़ देता है।
4. त्रुटि विश्लेषण और विफलता मोड: LLM जजों के विशिष्ट विफलता मोड (जैसे, वर्बोसिटी/शब्दबहुलता पर अत्यधिक निर्भरता, अनुचित संपीड़न या अधिकार-जैसे संकेतों) की पहचान, जिनसे CBU सफलतापूर्वक बचता है क्योंकि यह उन समाधानों को दंडित करता है जो तर्क को स्थानांतरित करने में विफल रहते हैं।

प्रयोगात्मक परिणाम

GPT-OSS-120B और Qwen3-235B-A22B जैसे मॉडलों का उपयोग करके EXPERTMATH पर मूल्यांकन:

• रैंकिंग गुणवत्ता: CBU बेसलाइन्स की तुलना में रैंकिंग मेट्रिक्स में महत्वपूर्ण सुधार करता है।
  • GPT-OSS-120B के लिए जो सॉल्वर/इवैल्यूएटर के रूप में कार्य करता है, CBU Acc@1 (शीर्ष-रैंक किए गए समाधान की सटीकता) को 67.2% से 76.3% और AUC को 71.4% से 79.6% तक सुधारता है।
  • छोटे मॉडलों (जैसे, GPT-OSS-20B AUC 69.0 से 79.2) के लिए भी समान लाभ देखे गए।
• सॉल्वर-इवैल्यूएटर गैप: CBU उन प्रश्नों पर भी सही और गलत समाधानों के बीच एक बड़ा अंतर बनाए रखता है जिन्हें अंतर्निहित सॉल्वर स्वयं हल नहीं कर सकता है। जबकि LLM जजों की सही और गलत समाधानों के बीच अंतर करने की क्षमता समस्या की कठिनाई बढ़ने के साथ तेजी से घटती है, CBU मजबूत बना रहता है।
• पूर्वानुमान शक्ति (Predictive Power): CBU स्कोर पर प्रशिक्षित लॉजिस्टिक रिग्रेशन क्लासिफायर, LLM जज स्कोर पर प्रशिक्षित क्लासिफायर की तुलना में बाइनरी शुद्धता की भविष्यवाणी करने में उच्च सटीकता प्राप्त करते हैं (जैसे, बैकबोन केAcross +6 से +18 प्रतिशत अंक की वृद्धि)।
• शैली के प्रति मजबूती: LLM जजों के विपरीत, जो अक्सर लंबे या "अधिकारपूर्ण" लगने वाले गलत समाधानों से भ्रमित होते हैं, CBU उन समाधानों को डाउनरैंक करता है जिनमें अनुचित संपीड़न (कदमों की कमी) और गलत तर्क होता है क्योंकि वे नेबरहुड प्रश्नों के लिए हस्तांतरणीय जानकारी प्रदान करने में विफल रहते हैं।

महत्व और दावे

पेपर का दावा है कि परिणाम-आधारित उपयोगिता (CBU) शोध-स्तर के वैज्ञानिक आउटपुट के लिए मानव विशेषज्ञ सत्यापन के लिए एक स्केलेबल, विश्वसनीय विकल्प प्रदान करती है। इसका महत्व निम्नलिखित में निहित है:

• ओरेकल-फ्री सत्यापन: यह विशिष्ट लक्षित प्रश्न के लिए ग्राउंड-ट्रुथ ओरेकल की आवश्यकता के बिना "अनसुलझने योग्य" समस्याओं के मूल्यांकन को सक्षम बनाता है।
• मूल्यांकन प्रतिमान में बदलाव: यह मूल्यांकन को "स्थिर निरीक्षण" (एक प्रमाण के पाठ को परखना) से "गतिशील उपयोगिता" (एक प्रमाण की संबंधित समस्याओं को हल करने में सक्षम बनाने की क्षमता को परखना) में बदल देता है।
• व्यावहारिक प्रयोज्यता: लेखक एक व्यावहारिक मार्गदर्शिका प्रदान करते हैं, जो दिखाते हैं कि CBU तब भी प्रभावी रहता है जब नेबरहुड प्रश्न LLM द्वारा उत्पन्न किए जाते हैं (बशर्ते लक्षित प्रश्न पर्याप्त कठिन हों) और मध्यम संख्या में रोलआउट (जैसे, $n \ge 8$) के साथ स्थिर अनुमान प्राप्त किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि CBU विशेष रूप से उच्च-दांव वाले वैज्ञानिक सत्यापन के लिए उपयुक्त है जहाँ सही और गलत परिकल्पनाओं के बीच उच्च-विश्वास पृथक्करण की आवश्यकता होती है, और जहाँ पारंपरिक LLM जज सूक्ष्म तर्क त्रुटियों या शैलीगत पूर्वाग्रहों के कारण विफल हो जाते हैं।