IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs

तकनीकी सारांश: ISOSCI

समस्या विवरण (Problem Statement)
लार्ज लैंग्वेज मॉडल्स (LLMs) में हालिया प्रगति ने जटिल वैज्ञानिक कार्यों पर प्रदर्शन के प्राथमिक चालक के रूप में "तर्क" (reasoning) को रेखांकित किया है, जिसे अक्सर GPQA, SciBench और MMLU-STEM जैसे बेंचमार्क द्वारा प्रमाणित किया जाता है। हालाँकि, ये बेंचमार्क दो अलग-अलग क्षमताओं को मिला देते हैं: डोमेन-विशिष्ट ज्ञान का निष्कर्षण (retrieval) और तार्किक तर्क प्रक्रियाओं (logical reasoning procedures) का अनुप्रयोग। जब कोई मॉडल किसी विज्ञान संबंधी समस्या में विफल होता है, तो यह अस्पष्ट रहता है कि विफलता तथ्यात्मक स्मरण (factual recall) की कमी के कारण हुई है या आवश्यक तर्क चरणों को निष्पादित करने में असमर्थता के कारण। फलस्वरूप, यह स्पष्ट नहीं है कि क्या तर्क तंत्र (जैसे, चेन-ऑफ-थॉट प्रॉम्प्टिंग, रीजनिंग-विशिष्ट प्रशिक्षण) वास्तव में तार्किक अनुमान को बेहतर बनाते हैं या मुख्य रूप से प्रासंगिक डोमेन ज्ञान को सतह पर लाने का कार्य करते हैं। मौजूदा बेंचमार्क इन कारकों को अलग करने के लिए संरचनात्मक नियंत्रणों का अभाव रखते हैं।

कार्यप्रणाली: ISOSCI बेंचमार्क (Methodology: The ISOSCI Benchmark)
इस समस्या के समाधान के लिए, लेखक ISOSCI पेश करते हैं, जो आइसोमोर्फिक क्रॉस-डोमेन विज्ञान समस्या युग्मों (isomorphic cross-domain science problem pairs) का एक बेंचमार्क है। इसका मुख्य डिजाइन सिद्धांत यह है कि आवश्यक डोमेन ज्ञान को बदलते हुए तर्क संरचना (reasoning structure) को स्थिर रखा जाए।

• आइसोमोर्फिक युग्म (Isomorphic Pairs): प्रत्येक समस्या $q$ को एक अलग वैज्ञानिक डोमेन (भौतिकी, रसायन विज्ञान, जीव विज्ञान, या पृथ्वी विज्ञान) से एक प्रतिरूप $q'$ के साथ जोड़ा जाता है। ये युग्म चार शर्तों को पूरा करते हैं:
  1. वे विभिन्न डोमेन से संबंधित हैं।
  2. वे बिल्कुल समान तार्किक संरचना प्रकार साझा करते हैं (जैसे, फॉर्मूला रिकॉल, यूनिट कन्वर्जन, संरक्षण नियम का अनुप्रयोग)।
  3. $q'$ के लिए समाधान प्रक्रिया $q$ की प्रक्रिया का एक बायजेक्शन (bijection) है, जिसमें डोमेन-विशिष्ट परमाणुओं (फॉर्मूला, स्थिरांक) को नए डोमेन के समकक्षों से बदल दिया जाता है।
  4. प्रत्येक समस्या के लिए आवश्यक ज्ञान सेट (knowledge sets) विसंयुक्त (disjoint) हैं।
• डेटासेट निर्माण (Dataset Construction): बेंचमार्क में 144 युग्म (288 समस्याएँ) शामिल हैं जो GPQA, SciBench और MMLU-STEM से प्राप्त सीड समस्याओं (seed problems) से व्युत्पन्न हैं, जिसमें अर्थ विज्ञान (Earth Science) के लिए सिंथेटिक जनरेशन का उपयोग किया गया है। एक तीन-चरणीय पाइपलाइन (सीड संग्रह, पार्टनर जनरेशन, स्वचालित सत्यापन) संरचनात्मक समानता और ज्ञान स्वतंत्रता सुनिश्चित करती है। सत्यापन में LLM जजों का एक पैनल और मानव विशेषज्ञ ऑडिट शामिल है, जो मानव सर्वसम्मति के साथ उच्च सहमति प्राप्त करता है।
• मूल्यांकन प्रोटोकॉल (Evaluation Protocol): अध्ययन चार मॉडल परिवारों (OpenAI, Google, Qwen, DeepSeek) के पांच मॉडल युग्मों का मूल्यांकन करता है। इसमें "पारंपरिक" युग्म (विभिन्न प्रशिक्षण उद्देश्यों वाले अलग-अलग मॉडल) और "टॉगल" युग्म (रीजनिंग सक्षम बनाम अक्षम वाला एक ही मॉडल) शामिल हैं। मॉडलों का मूल्यांकन ISOSCI और तीन अन्य बेंचमार्क (GPQA, MMLU-STEM, SciBench) पर किया जाता है।
• डिकपलिंग मेट्रिक ($p_{know}$): लेखक रीजनिंग-मोड लाभों को निर्धारित करने के लिए एक मेट्रिक प्रस्तावित करते हैं। एक लाभ ज्ञान-निर्भर (knowledge-dependent) है यदि रीजनिंग कॉन्फ़िगरेशन एक आइसोमोर्फिक युग्म के एक सदस्य पर प्रदर्शन में सुधार करता है लेकिन दूसरे पर नहीं। एक लाभ संरचना-अपरिवर्तनीय (structure-invariant) है यदि यह दोनों पर प्रदर्शन में सुधार करता है। मेट्रिक $p_{know}$ कुल लाभों के अनुपात में ज्ञान-निर्भर लाभों की गणना करता है।

मुख्य योगदान (Key Contributions)

1. निर्माण पद्धति (Construction Methodology): तर्क संरचना को डोमेन ज्ञान से अलग करने वाले आइसोमोर्फिक क्रॉस-डोमेन समस्या युग्मों उत्पन्न करने के लिए एक स्केलेबल ढांचा।
2. $p_{know}$ मेट्रिक: तर्क संबंधी लाभों को ज्ञान-निर्भर और संरचना-अपरिवर्तनीय घटकों में विभाजित करने की एक मात्रात्मक विधि।
3. ISOSCI बेंचमार्क: चार वैज्ञानिक डोमेन में फैले 144 आइसोमोर्फिक युग्मों का एक सार्वजनिक रूप से जारी डेटासेट, जो तर्क लाभों की प्रकृति पर अनुभवजन्य निष्कर्षों के साथ आता है।

परिणाम (Results)

• ज्ञान निर्भरता का प्रभुत्व (Dominance of Knowledge Dependence): पांच मॉडल युग्मों और 69 देखे गए रीजनिंग-मोड लाभों में से, 91.3% (63/69) संरचना-अपरिवर्तनीय होने के बजाय ज्ञान-निर्भर थे। यह इंगित करता है कि जब रीजनिंग मोड प्रदर्शन में सुधार करते हैं, तो वे तार्किक प्रक्रिया के निष्पादन को बेहतर बनाने के बजाय विशिष्ट डोमेन तथ्यों को पुनः प्राप्त करने या लागू करने में मदद करते हैं।
• न्यूनतम टॉगल लाभ (Minimal Toggle Benefits): उच्च-क्षमता वाले मॉडलों के लिए, रीजनिंग टॉगल को सक्षम करने से डोमेन केAcross (across) मामूली सटीकता लाभ (5 प्रतिशत अंक से कम) प्राप्त हुआ। Gemini 2.0 Flash मॉडल के लिए, टॉगल का कोई सांख्यिकीय रूप से महत्वपूर्ण प्रभाव नहीं था।
• बेंचमार्क-आधारित निष्कर्ष (Benchmark-Dependent Conclusions): अध्ययन बेंचमार्क के आधार पर मॉडल के प्रदर्शन में एक तीव्र उलटफेर को उजागर करता है। o3-mini मॉडल, जो GPQA Diamond (एक बेंचमार्क जो गहरे वैचारिक तर्क को प्राथमिकता देता है) पर GPT-4o-mini की तुलना में +19.2pp से बेहतर प्रदर्शन करता है, ISOSCI पर GPT-4o-mini से −24.7pp से कम प्रदर्शन करता है। यह दर्शाता है कि रीजनिंग मॉडलों की उपयोगिता के बारे में निष्कर्ष पूरी तरह से बेंचमार्क के डिज़ाइन पर निर्भर हैं।
• रीजनिंग लाभ की प्रकृति (Nature of Reasoning Gains): डेटा सुझाव देता है कि लघु-क्षितिज प्रक्रियात्मक विज्ञान कार्यों (short-horizon procedural science tasks) पर, रीजनिंग तंत्र मुख्य रूप से विस्तारित ज्ञान पुनर्प्राप्ति (extended knowledge retrieval) के रूप में कार्य करते हैं, जिससे जेनरेशन के दौरान प्रासंगिक तथ्यों के सतह पर आने की संभावना बढ़ जाती है, न कि तार्किक अनुमान क्षमताओं को बढ़ाने के रूप में।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि यह धारणा कि चेन-ऑफ-थॉट रीजनिंग स्वाभाविक रूप से लघु-क्षितिज प्रक्रियात्मक वैज्ञानिक समस्या-समाधान में सुधार करती है, इन निष्कर्षों द्वारा चुनौती दी जाती है। लेखक तर्क देते हैं कि ISOSCI द्वारा कवर किए गए समस्या प्रकारों के लिए, रीजनिंग सुधार काफी हद तक बेहतर ज्ञान उपयोग का एक प्रॉक्सी (proxy) हैं। अध्ययन का दावा है कि कोई भी एकल बेंचमार्क वैज्ञानिक क्षमता की पूर्ण तस्वीर प्रदान नहीं करता है; एक मॉडल जो वैचारिक व्युत्पत्ति (conceptual derivation - GPQA) में मजबूत है, वह संरचित ज्ञान पुनर्प्राप्ति (structured knowledge retrieval - ISOSCI) में कमजोर हो सकता है। लेखक ISOSCI को एक नैदानिक उपकरण (diagnostic tool) के रूप में स्थापित करते हैं ताकि यह निर्धारित किया जा सके कि मॉडल की वैज्ञानिक क्षमताएं कहाँ और कैसे विफल होती हैं, जो ज्ञान के अंतराल और तर्क की कमी के बीच अंतर करती हैं। वे निष्कर्ष निकालते हैं कि जबकि आइसोमोर्फिक-युग्म पद्धति और $p_{know}$ मेट्रिक अधिक सटीक मूल्यांकन का समर्थन करते हैं, वर्तमान निष्कर्ष लघु-क्षितिज प्रक्रियात्मक समस्याओं के लिए विशिष्ट हैं, जिससे दीर्घ-क्षितिज या ओपन-एंडेड रीजनिंग पर उनकी प्रयोज्यता एक खुला प्रश्न बना हुआ है।