ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition

यहाँ शोधपत्र "ResearchBench: Inspiration-Based Task Decomposition के माध्यम से वैज्ञानिक खोज में LLMs का बेंचमार्किंग" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) रिसर्च को-पायलट के रूप में आशाजनक दिखते हैं, लेकिन उनकी उच्च-गुणवत्ता वाले वैज्ञानिक परिकल्पनाओं (hypotheses) को खोजने की विशिष्ट क्षमता का मूल्यांकन करने के लिए समर्पित बेंचमार्क की कमी के कारण अभी तक अनिश्चित रहा है। मौजूदा बेंचमार्क सामान्य बुद्धिमत्ता या संकीर्ण कार्यों (जैसे कोड जनरेशन, बायोमेडिकल विचार जनरेशन) पर ध्यान केंद्रित करते हैं, लेकिन वे पूर्ण वैज्ञानिक खोज प्रक्रिया का मूल्यांकन करने में विफल रहते हैं।

मुख्य चुनौती यह है कि वैज्ञानिक खोज को अक्सर एक "असाध्य" (intractable) ब्लैक बॉक्स के रूप में देखा जाता है। लेखक तर्क देते हैं कि इस प्रक्रिया को संज्ञानात्मक विज्ञान (cognitive science) के सिद्धांतों के आधार पर उप-कार्यों के एक पर्याप्त सेट (sufficient set) में विभाजित किया जा सकता है: रचनात्मक विचार अक्सर असंबंधित ज्ञान के सुसंगत जुड़ाव से उत्पन्न होते हैं। विशेष रूप से, एक परिकल्पना ($h$) एक शोध पृष्ठभूमि ($b$) को प्रेरणाओं ($i$) के साथ जोड़कर बनाई जाती है।

2. कार्यप्रणाली (Methodology)

A. सैद्धांतिक ढांचा: पर्याप्त कार्य विभाजन (Sufficient Task Decomposition)

लेखक एक विभाजन रणनीति अपनाते हैं जहाँ तीन उप-कार्यों को पूरी तरह से हल करना समग्र खोज कार्य को हल करने की गारंटी देता है:

1. प्रेरणा पुनर्प्राप्ति (Inspiration Retrieval): शोध प्रश्न/पृष्ठभूमि ($b$) के आधार पर प्रासंगिक ज्ञान/शोध पत्रों ($i$) को खोजना। यह एक आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) कार्य है क्योंकि वास्तविक प्रेरणाएँ अक्सर प्रश्न के प्रति अर्थ संबंधी (semantically) रूप से स्पष्ट नहीं होती हैं।
2. परिकल्पना संयोजन (Hypothesis Composition): एक नवीन परिकल्पना ($h = f(b, i)$) तैयार करने के लिए पृष्ठभूमि और पुनर्प्राप्त प्रेरणाओं का संश्लेषण करना।
3. परिकल्पना रैंकिंग (Hypothesis Ranking): सबसे वैध और नवीन परिकल्पनाओं की पहचान करने के लिए उत्पन्न परिकल्पनाओं का मूल्यांकन और रैंकिंग करना।

B. बेंचमार्क निर्माण (ResearchBench)

• डेटा स्रोत: 12 विषयों (सेल बायोलॉजी, केमिस्ट्री, अर्थ विज्ञान, पदार्थ विज्ञान, भौतिकी, ऊर्जा विज्ञान, पर्यावरण विज्ञान, जीव विज्ञान, व्यवसाय, कानून, गणित, खगोल विज्ञान) में 2024 या उसके बाद प्रकाशित 1,386 उच्च-गुणवत्ता वाले शोध पत्र।
• एंटी-कंटैमिनेशन (Anti-Contamination): केवल पोस्ट-2024 के शोध पत्रों का चयन करके, यह बेंचमार्क LLM प्रीट्रेनिंग डेटा के साथ ओवरलैप को न्यूनतम करता है। यह ढांचा मॉडल कटऑफ बढ़ने के साथ नए शोध पत्रों को स्वचालित रूप से निकालने के लिए डिज़ाइन किया गया है।
• स्वचालित एजेंटिक फ्रेमवर्क (Automated Agentic Framework): एक LLM-आधारित एजेंट प्रत्येक पेपर से चार घटकों को निकालता है:
  • शोध प्रश्न (Research Question)
  • पृष्ठभूमि सर्वेक्षण (Background Survey)
  • प्रेरणाएँ (Inspirations - वे उद्धृत पेपर जिन्होंने इस कार्य को प्रेरित किया)
  • मुख्य परिकल्पना (Main Hypothesis)
  • वैधीकरण (Validation): ढांचा "आवश्यक" (Necessary) और "पर्याप्त" (Sufficient) चेकर शामिल करता है ताकि यह सुनिश्चित हो सके कि निकाली गई प्रेरणाएँ गैर-अतिरेक (non-redundant) हैं और परिकल्पना बनाने के लिए सामूहिक रूप से पर्याप्त हैं।
• विशेषज्ञ सत्यापन (Expert Validation): पाँच डोमेन विशेषज्ञों (PhD छात्रों) ने 62 पेपरों के रैंडम सैंपल पर विभाजन का सत्यापन किया, जिससे 91.9% सटीकता (प्रमुख मुद्दों के लिए) और 82.3% (मामूली मुद्दों सहित) प्राप्त हुई।

C. मूल्यांकन प्रोटोकॉल (Evaluation Protocol)

• प्रेरणा पुनर्प्राप्ति (Inspiration Retrieval): मॉडल्स को एक शोध प्रश्न और 75 उम्मीदवार पेपरों का पूल दिया जाता है (2-3 ग्राउंड-ट्रुथ प्रेरणाएँ + 72 नेगेटिव्स)। मजबूती का परीक्षण करने के लिए नेगेटिव्स को तीन "दूरी स्तरों" (उद्धृत पेपर, समान विषय, विभिन्न विषय) पर चुना जाता है। प्रदर्शन को हिट रेशियो (Hit Ratio) द्वारा मापा जाता है (टॉप-k चयन में ग्राउंड-ट्रुथ प्रेरणाओं का अंश)।
• परिकल्पना संयोजन (Hypothesis Composition): मॉडल्स पृष्ठभूमि और पुनर्प्राप्त प्रेरणाओं का उपयोग करके परिकल्पनाएँ उत्पन्न करते हैं। गुणवत्ता को प्रमुख बिंदु कवरेज के आधार पर ग्राउंड-ट्रुथ परिकल्पनाओं के विरुद्ध 6-पॉइंट लिकर्ट स्केल पर स्कोर किया जाता है।
• परिकल्पना रैंकिंग (Hypothesis Ranking): मॉडल्स एक ग्राउंड-ट्रुथ परिकल्पना और नेगेटिव परिकल्पनाओं के बीच युग्म तुलना (pairwise comparison) करते हैं। पोजीशन बायस (Position Bias) को कम करने के लिए, जोड़े को उलटे क्रम के साथ दो बार तुलना किया जाता है।

3. मुख्य योगदान (Key Contributions)

1. प्रथम बड़े पैमाने का बेंचमार्क: ResearchBench का परिचय, जो विशेष रूप से 12 विविध विषयों में वैज्ञानिक खोज के पर्याप्त उप-कार्यों पर LLMs का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
2. स्वचालित, कंटैमिनेशन-प्रतिरोधी पाइपलाइन: एक एजेंटिक फ्रेमवर्क विकसित करता है जो उच्च सटीकता के साथ शोध घटकों को निकालता है, जिससे मैन्युअल एनोटेशन या डेटा कंटैमिनेशन के बिना स्केलेबल बेंचमार्क अपडेट संभव होता है।
3. व्यापक OOD विश्लेषण: आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) प्रेरणा पुनर्प्राप्ति पर पहला बड़े पैमाने का अध्ययन प्रदान करता है, जो दर्शाता है कि LLMs स्पष्ट अर्थ संबंधी समानता से परे नवीन ज्ञान संबंधों को सामने ला सकते हैं।
4. "रिसर्च हाइपोथेसिस माइन्स" अवधारणा: एक नया प्रतिमान प्रस्तावित करता है जहाँ LLMs परिकल्पनाओं की खदानें (mines) के रूप में कार्य करते हैं, जहाँ मॉडल की क्षमता "खदान की समृद्धि" का प्रतिनिधित्व करती है और इन्फरेंस कंप्यूट "खनिकों की संख्या" का प्रतिनिधित्व करता है।

4. मुख्य परिणाम (Key Results)

A. प्रेरणा पुनर्प्राप्ति (Inspiration Retrieval - OOD Task)

• उच्च प्रदर्शन: LLMs प्रेरणाओं को खोजने में उत्कृष्ट हैं, भले ही वे अर्थ संबंधी रूप से स्पष्ट न हों।
  • जब शीर्ष 4% उम्मीदवारों का चयन किया गया, तो GPT-4o ने 45.65% का हिट रेशियो प्राप्त किया (ग्राउंड-ट्रुथ प्रेरणाएँ शामिल हैं)।
  • छोटे मॉडल्स (जैसे Llama-3.1-8B) ने भी ~37.87% प्राप्त किया।
• स्केलिंग लॉ (Scaling Law): प्रदर्शन 8B पैरामीटर्स तक तेजी से बढ़ता है लेकिन 70B पैरामीटर्स के आसपास एक बाधा (bottleneck) आती है, जो इस विशिष्ट OOD पुनर्प्राप्ति कार्य के लिए वर्तमान आर्किटेक्चर की सीमा का सुझाव देती है।
• बायस (Bias): मॉडल्स उन पेपर्स को प्राथमिकता देते हैं जो अर्थ संबंधी दूरी (उद्धृत या समान विषय) के करीब होते हैं, लेकिन फिर भी वे दूरस्थ, क्रॉस-डिसिप्लिनरी प्रेरणाओं को सफलतापूर्वक पुनर्प्राप्त करते हैं।

B. परिकल्पना संयोजन (Hypothesis Composition)

• मध्यम प्रदर्शन: मॉडल्स पृष्ठभूमि और प्रेरणाओं को जोड़ सकते हैं लेकिन गहरे एकीकरण के लिए संघर्ष करते हैं।
  • शीर्ष मॉडल्स (जैसे Qwen Plus, GPT-4o) 53–57% के आसपास नॉर्मलाइज्ड स्कोर प्राप्त करते हैं।
  • त्रुटियाँ अक्सर प्रमुख तत्वों के गायब होने या प्रेरणाओं के सतही संयोजन से उत्पन्न होती हैं।

C. परिकल्पना रैंकिंग (Hypothesis Ranking)

• परिवर्तनीय प्रदर्शन: रैंकिंग सटीकता काफी भिन्न होती है।
  • DeepSeek-V3 और Claude 3.5 Sonnet ने उच्चतम सटीकता (~80%) प्राप्त की।
  • पोजीशन बायस (Position Bias): कई मॉडल्स (जैसे Llama-3.1-8B) में मजबूत पोजीशन बायस दिखा, जो पहले परिकल्पना को प्राथमिकता देते हैं, जिससे औसत न लेने पर ~90% मामलों में स्व-विरोधाभासी परिणाम मिलते हैं।
• स्केलिंग: पुनर्प्राप्ति के विपरीत, रैंकिंग बड़े पैरामीटर काउंट और बेहतर प्रीट्रेनिंग रणनीतियों से महत्वपूर्ण लाभ उठाती है।

5. महत्व और निहितार्थ (Significance and Implications)

• वैज्ञानिक उपकरणों के रूप में LLMs: परिणाम बताते हैं कि LLMs केवल टेक्स्ट जेनरेटर नहीं हैं बल्कि प्रभावी "हाइपोथेसिस माइन्स" हैं। वे नवीन संबंधों के लिए विशाल साहित्य को स्वायत्त रूप से स्कैन कर सकते हैं, उन्हें परिकल्पनाओं में संश्लेषित कर सकते हैं और रैंक कर सकते हैं, जिससे वैज्ञानिक खोज में तेजी आ सकती है।
• पहचानी गई सीमाएँ:
  • पुनर्प्राप्ति (Retrieval): प्रीट्रेनिंग डेटा वितरण (घने इंट्रा-डोमेन, विरल इंटर-डोमेन लिंक) द्वारा सीमित है।
  • संयोजन (Composition): नेक्स्ट-टोकन प्रेडिक्शन ऑब्जेक्टिव द्वारा सीमित है जो नवीन, कम-संभावना वाले कॉन्सेप्ट संयोजनों के बजाय बार-बार आने वाले पैटर्न को प्राथमिकता देता है।
  • रैंकिंग (Ranking): ऑटोरिग्रेसिव आर्किटेक्चर के कारण पोजीशनल डिपेंडेंसी (positional dependencies) से बाधित है।
• भविष्य की दिशाएँ: यह बेंचमार्क विशेष रूप से वैज्ञानिक खोज के लिए मॉडल को प्रशिक्षित करने के लिए एक आधार प्रदान करता है, जो सामान्य चैट क्षमताओं से आगे बढ़कर ऐसे विशेषज्ञ "को-पायलट" एजेंटों की ओर ले जाता है जो न्यूनतम मानवीय हस्तक्षेप के साथ स्वायत्त रूप से वैज्ञानिक अंतर्दृष्टि उत्पन्न और मान्य कर सकते हैं।

निष्कर्षतः, ResearchBench यह स्थापित करता है कि जबकि वर्तमान LLMs वैज्ञानिक सफलताओं के लिए "सामग्री" (प्रेरणाओं) को खोजने में अत्यधिक प्रभावी हैं, "खाना पकाना" (संयोजन) और "चखना" (रैंकिंग) में अभी भी सुधार की आवश्यकता है। हालाँकि, LLMs को स्वायत्त खोज इंजन के रूप में कार्य करने के लिए डेटा द्वारा दृढ़ता से समर्थित क्षमता का प्रमाण मिलता है।