💬 NLP

Evaluating LLMs' Divergent Thinking Capabilities for Scientific Idea Generation with Minimal Context

यह शोध पत्र LiveIdeaBench प्रस्तुत करता है, जो एक नवीन बेंचमार्क है जो न्यूनतम संदर्भ का उपयोग करके वैज्ञानिक विचार सृजन के लिए LLMs की अपसारी सोच (divergent thinking) क्षमताओं का मूल्यांकन करता है, यह प्रकट करते हुए कि रचनात्मक प्रदर्शन का सामान्य बुद्धिमत्ता मेट्रिक्स द्वारा खराब पूर्वानुमान लगाया जाता है और वैज्ञानिक रचनात्मकता को बढ़ाने के लिए विशेष प्रशिक्षण रणनीतियों की आवश्यकता का सुझाव देता है।

मूल लेखक: Kai Ruan, Xuan Wang, Jixiang Hong, Peng Wang, Yang Liu, Hao Sun

प्रकाशित 2026-02-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kai Ruan, Xuan Wang, Jixiang Hong, Peng Wang, Yang Liu, Hao Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभा खोजकर्ता (talent scout) हैं जो अगली महान आविष्कारक की तलाश में हैं। आपके पास बुद्धिमान रोबोटों (लार्ज लैंग्वेज मॉडल्स, या LLMs) से भरा एक कमरा है। पारंपरिक रूप से, उनका परीक्षण करने के लिए, आप उन्हें एक मशीन का विशाल, विस्तृत ब्लूप्रिंट देंगे और उनसे मशीन के एक विशिष्ट टूटे हुए हिस्से को ठीक करने के लिए कहेंगे। यह उनकी निर्देशों का पालन करने की क्षमता और ज्ञात समस्याओं को हल करने की क्षमता (कन्वर्जेंट थिंकिंग - Convergent Thinking) का परीक्षण करता है।

लेकिन यह शोध पत्र एक अलग सवाल पूछता है: क्या ये रोबोट केवल एक शब्द सुनकर एक नया आविष्कार कर सकते हैं? यह डाइवर्जेंट थिंकिंग (Divergent Thinking) है—रचनात्मकता की चमक।

यहाँ 'LiveIdeaBench' को सरल उपमाओं के माध्यम से समझाया गया है:

1. समस्या: "लाइब्रेरी टेस्ट" बनाम "ब्लैंक कैनवस"

वर्तमान में AI के अधिकांश परीक्षण एक छात्र को एक मोटी पाठ्यपुस्तक देने और उससे पूछने जैसे हैं, "प्रश्न 5 का उत्तर क्या है?" यदि छात्र ने पुस्तक पढ़ ली है, तो उसे 'A' ग्रेड मिलेगा। यह इस बात को मापता है कि वे मौजूदा जानकारी को कितनी अच्छी तरह ढूंढ और संश्लेषित (synthesize) कर सकते हैं।

हालाँकि, वास्तविक वैज्ञानिक सफलताएँ अक्सर तब होती हैं जब कोई व्यक्ति एक एकल अवधारणा (जैसे "गुरुत्वाकर्षण" या "बैक्टीरिया") को देखता है और कहता है, "क्या होगा अगर हम इस अजीब चीज़ को आज़माएँ?"

शोध पत्र का लक्ष्य: लेखकों ने LiveIdeaBench नामक एक नया परीक्षण बनाया है। उन्हें AI को एक पाठ्यपुस्तक देने के बजाय, वे इसे एक एकल कीवर्ड (जैसे "मौसम का पूर्वानुमान" या "सहजीविता/symbiosis") देते हैं और पूछते हैं: "मुझे सिर्फ इस शब्द के आधार पर एक बिल्कुल नया, उपयोगी वैज्ञानिक विचार दें।"

2. जज: आलोचकों का एक पैनल, न कि एक शिक्षक

अतीत में, हम शायद एक शिक्षक से विचारों को ग्रेड देने के लिए कह सकते थे। लेकिन क्या होगा यदि वह शिक्षक पक्षपाती या थका हुआ हो?

समाधान: लेखकों ने उपलब्ध शीर्ष 10 सबसे बुद्धिमान AI मॉडलों का एक "जूरी" बनाया है। जब एक रोबोट एक विचार उत्पन्न करता है, तो शीर्ष रोबोटों का एक अलग समूह जज के रूप में कार्य करता है।
ग्रेडिंग रूब्रिक: वे केवल "सटीकता" नहीं देखते। वे पाँच रचनात्मक गुणों पर ग्रेड देते हैं (गिल्फ़ोर्ड के एक पुराने मनोवैज्ञानिक सिद्धांत के आधार पर):
- मौलिकता (Originality): क्या यह विचार अजीब और नया है, या यह केवल किसी ऐसी चीज़ की नकल है जिसे हम पहले से जानते हैं?
- व्यवहार्यता (Feasibility): क्या एक मानव वास्तव में इसे बना सकता है, या यह शुद्ध जादू है?
- स्पष्टता (Clarity): क्या विचार स्पष्ट रूप से समझाया गया है, या यह एक भ्रमित करने वाला ढेर है?
- प्रवाह (Fluency): क्या रोबोट कई अलग-अलग विचार उत्पन्न कर सकता है, या केवल एक?
- लचीलापन (Flexibility): क्या यह किसी भी विषय (भौतिकी से लेकर कविता तक) को संभाल सकता है, या यह केवल गणित पर काम करता है?

3. बड़ा आश्चर्य: "स्मार्ट" होने का मतलब हमेशा "रचनात्मक" होना नहीं होता

यह इस शोध पत्र का सबसे रोमांचक हिस्सा है।

अपेक्षा: हम आमतौर पर सोचते हैं कि "सबसे स्मार्ट" रोबोट (जो गणित और तर्क के सभी परीक्षणों में जीतता है) सबसे अधिक रचनात्मक भी होगा।
वास्तविकता: शोध पत्र ने पाया कि गणित में अच्छा होने का मतलब यह नहीं है कि आप मंथन (brainstorming) करने में अच्छे हैं।
- उपमा: कल्पना कीजिए कि एक फॉर्मूला 1 कार (उच्च सामान्य बुद्धिमत्ता) है। यह ट्रैक पर अविश्वसनीय रूप से तेज़ और सटीक है। लेकिन यदि आप इसे एक कीचड़ भरे खेत में रखते हैं और इसे पेड़ों के बीच से एक नया रास्ता खोजने के लिए कहते हैं, तो यह फंस सकती है। वहीं, एक मजबूत ऑफ-रोड ट्रक (कम "सामान्य बुद्धिमत्ता" स्कोर वाले मॉडल) पेड़ों के बीच से शानदार ढंग से रास्ता निकाल सकता है।
- डेटा: कुछ मॉडल जो सामान्य बुद्धिमत्ता परीक्षणों में निम्न रैंक पर थे (जैसे QwQ-32B-preview), उन्होंने वैज्ञानिक विचार उत्पन्न करने में "सुपर-स्मार्ट" मॉडलों (जैसे Claude-3.7) के समान या उनसे बेहतर प्रदर्शन किया।

4. "सोचने" का जाल: लंबाई $\neq$ गुणवत्ता

कई लोग मान लेते हैं कि यदि कोई AI बहुत सारे "सोचने के चरणों" के साथ एक लंबा, जटिल स्पष्टीकरण लिखता है, तो विचार बेहतर ही होगा।

निष्कर्ष: लेखकों ने इसका विश्लेषण किया और पाया कि इनके बीच कोई वास्तविक संबंध नहीं है।
उपमा: यह एक शेफ द्वारा सैंडविच बनाने के तरीके के बारे में 10 पन्नों का निबंध लिखने जैसा है। निबंध लंबा और तार्किक हो सकता है, लेकिन सैंडविच खुद अभी भी बेकार हो सकता है। शोध पत्र ने पाया कि AI के तर्क की लंबाई ने यह भविष्यवाणी नहीं की कि अंतिम विचार कितना अच्छा था। कभी-कभी सबसे अच्छे विचार संक्षिप्त और प्रभावशाली प्रतिक्रियाओं से आए।

5. यह क्यों मायने रखता है

लेखक तर्क देते हैं कि हमें AI को केवल एक विशाल विश्वकोश के रूप में देखना बंद करना चाहिए जो केवल प्रश्नों के उत्तर देता है। नई दवाओं या सामग्रियों की खोज में वैज्ञानिकों की मदद करने के लिए, हमें ऐसे AI की आवश्यकता है जो संभावनाओं के सपने देख सके।

सीख: हमें AI को अलग तरह से प्रशिक्षित करने की आवश्यकता है। उन्हें केवल पहेलियाँ हल करना (कन्वर्जेंट थिंकिंग) सिखाने के बजाय, हमें उन्हें अवधारणाओं के साथ खेलने और जंगली संबंध बनाने (डाइवर्जेंट थिंकिंग) की आवश्यकता है।
भविष्य: कल्पना कीजिए कि भविष्य में आपके पास अपनी गणनाओं की जाँच करने के लिए एक "मैथ बॉट" और एक नया बड़ा परिकल्पना (hypothesis) सोचने में मदद करने के लिए एक अलग "ड्रीम बॉट" है। वे मिलकर काम करते हैं, लेकिन उन्हें अलग-अलग कौशल की आवश्यकता होती है।

एक वाक्य में सारांश

LiveIdeaBench एक नया परीक्षण है जो साबित करता है कि सबसे स्मार्ट AI हमेशा सबसे रचनात्मक वाला नहीं होता है, जो हमें दिखाता है कि विज्ञान में वास्तव में मदद करने के लिए, हमें अपने रोबोटों को केवल पाठ्यपुस्तक रटने के बजाय एक खाली पन्ने से मंथन करना सिखाने की आवश्यकता है।

यहाँ शोध पत्र "Evaluating LLMs' Divergent Thinking Capabilities for Scientific Idea Generation with Minimal Context" (LiveIdeaBench) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) बेंचमार्क मुख्य रूप से अभिसारी सोच (convergent thinking) का मूल्यांकन करते हैं—अर्थात समृद्ध संदर्भ इनपुट (जैसे गणितीय समस्याओं को हल करना, कोडिंग कार्य, या दिए गए लेखों का सारांश निकालना) से एक एकल सही उत्तर निकालने की क्षमता। हालाँकि, वैज्ञानिक खोज अक्सर अपसारी सोच (divergent thinking) पर निर्भर करती है: न्यूनतम संकेतों (जैसे कि एक एकल कीवर्ड) से नवीन, विविध और व्यवहार्य परिकल्पनाएँ उत्पन्न करने की क्षमता।

मौजूदा मूल्यांकन विधियाँ इस विशिष्ट क्षमता को अलग करने में विफल रहती हैं क्योंकि:

वे अत्यधिक संदर्भ (context) पर बहुत अधिक निर्भर करती हैं, जो मॉडलों को नए विचार उत्पन्न करने के बजाय मौजूदा ज्ञान का संश्लेषण करने की अनुमति देती है।
वे यह मानती हैं कि सामान्य बुद्धिमत्ता (तर्क/गणित/कोडिंग स्कोर) और रचनात्मक वैज्ञानिक विचार सृजन के बीच एक मजबूत सहसंबंध है, जिसे यह शोध पत्र चुनौती देता है।
उनमें वैज्ञानिक रचनात्मकता के लिए मानकीकृत मेट्रिक्स का अभाव है, जिसके लिए मौलिकता (originality), व्यवहार्यता (feasibility) और स्पष्टता (clarity) को एक साथ संतुलित करने की आवश्यकता होती है।

2. कार्यप्रणाली: LiveIdeaBench

लेखक LiveIdeaBench पेश करते हैं, जो "न्यूनतम संदर्भ" बाधाओं के तहत वैज्ञानिक संदर्भों में LLMs की अपसारी सोच का मूल्यांकन करने के लिए डिज़ाइन किया गया एक गतिशील बेंचमार्क है।

A. प्रयोगात्मक डिज़ाइन (Experimental Design)

इनपुट (Input): बेंचमार्क 22 विशिष्ट डोमेन (जैसे भौतिकी, जीव विज्ञान, वित्त, मानव विज्ञान) में फैले 1,180 उच्च-प्रभाव वाले वैज्ञानिक कीवर्ड्स का उपयोग करता है। डेटा संदूषण (data contamination) को रोकने और वर्तमान अनुसंधान सीमाओं के साथ प्रासंगिकता सुनिश्चित करने के लिए इन कीवर्ड्स को मासिक रूप से अपडेट किया जाता है।
प्रॉम्प्ट बाधा (Prompt Constraint): मॉडलों को केवल एक एकल कीवर्ड के आधार पर एक वैज्ञानिक विचार उत्पन्न करने के लिए कहा जाता है, जिसमें सख्त 100-शब्दों की सीमा होती है। यह मॉडल को प्रदान किए गए टेक्स्ट को खोजने और संश्लेषित करने के बजाय अपने आंतरिक ज्ञान प्रतिनिधित्व (internal knowledge representations) पर निर्भर होने के लिए मजबूर करता है।
मूल्यांकन पैनल (Evaluation Panel): शीर्ष 10 स्टेट-ऑफ-द-आर्ट LLMs (LiveBench से चयनित) का एक गतिशील "ज्यूरी" न्यायाधीश के रूप में कार्य करता है। मजबूती सुनिश्चित करने और पूर्वाग्रह को कम करने के लिए:
- प्रत्येक विचार का मूल्यांकन न्यायाधीशों के यादृच्छिक (random) उपसमूह (3 न्यायाधीश) द्वारा किया जाता है।
- पैनल का संयोजन विविध है (किसी भी एकल संगठन से अधिकतम 20%)।
- आत्म-मूल्यांकन सख्त वर्जित है (एक मॉडल अपने स्वयं के आउटपुट का निर्णय नहीं ले सकता)।

B. मूल्यांकन आयाम (Evaluation Dimensions)

गिल्फोर्ड के अपसारी सोच सिद्धांत (Guilford's theory of divergent thinking) से प्रेरित होकर, यह बेंचमार्क पाँच आयामों का आकलन करता है:

मौलिकता (Originality): विचार की नवीनता और विशिष्टता।
व्यवहार्यता (Feasibility): तकनीकी कार्यान्वयन क्षमता और वैज्ञानिक सिद्धांतों के साथ संरेखण।
स्पष्टता (Clarity): विचार की सुसंगतता और अभिव्यक्ति।
प्रवाह (Fluency): एक ही कीवर्ड के लिए उत्पन्न विचारों की विविधता और गैर-अतिरेकता (non-redundancy) (इसे एक ही मॉडल से कई आउटपुट की तुलना करके मापा जाता है)।
लचीलापन (Flexibility): विभिन्न वैज्ञानिक डोमेन में प्रदर्शन बनाए रखने की मॉडल की क्षमता (इसे प्रदर्शन के "फ्लोर" की पहचान करने के लिए विभिन्न डोमेन में स्कोर के 30वें पर्सेंटाइल के रूप में गणना की जाती है)।

C. सांख्यिकीय विश्लेषण (Statistical Analysis)

अध्ययन LiveBench (सामान्य बुद्धिमत्ता बेंचमार्क) और LiveIdeaBench के बीच संबंधों का विश्लेषण करने के लिए पियर्सन (Pearson) और स्पीयरमैन (Spearman) सहसंबंधों का उपयोग करता है। इसमें LLM-एज़-ए-जज दृष्टिकोण की विश्वसनीयता को सत्यापित करने के लिए विचारों के एक उपसमूह (Partial Differential Equations) पर मानव विशेषज्ञ सत्यापन भी शामिल है।

3. प्रमुख योगदान (Key Contributions)

नवीन बेंचमार्क (LiveIdeaBench): न्यूनतम संदर्भ से वैज्ञानिक विचार सृजन को विशेष रूप से लक्षित करने वाला पहला व्यापक बेंचमार्क, जो इसे मानक तर्क या ज्ञान-प्राप्ति कार्यों से अलग करता है।
बुद्धिमत्ता और रचनात्मकता का विखंडन (Decoupling Intelligence and Creativity): अध्ययन प्रमाण प्रस्तुत करता है कि सामान्य बुद्धिमत्ता वैज्ञानिक अपसारी सोच की भविष्यवाणी मजबूती से नहीं करती है। उच्च सामान्य बुद्धिमत्ता स्कोर (जैसे गणित या तर्क में) नवीन वैज्ञानिक परिकल्पनाएँ उत्पन्न करने में उच्च प्रदर्शन की गारंटी नहीं देते हैं।
गतिशील मूल्यांकन ढांचा (Dynamic Evaluation Framework): स्थिर बेंचमार्क के विपरीत, LiveIdeaBench ओवरफिटिंग और डेटा संदूषण को कम करने के लिए न्यायाधीशों के स्व-अपडेटिंग पैनल और मासिक रूप से रिफ्रेश किए जाने वाले कीवर्ड डेटाबेस का उपयोग करता है।
व्यापक डेटासेट: 40 से अधिक मॉडलों के लिए ~7,000 उत्पन्न विचारों, बहु-आयामी स्कोर और रीजनिंग ट्रेसेस (reasoning traces) वाला डेटासेट जारी करना।

4. मुख्य परिणाम (Key Results)

सामान्य बुद्धिमत्ता के साथ कमजोर सहसंबंध: सामान्य बुद्धिमत्ता स्कोर (LiveBench) और वैज्ञानिक विचार सृजन स्कोर (LiveIdeaBench) के बीच केवल एक कमजोर सकारात्मक सहसंबंध ( $r \approx 0.357$ $r \approx 0.357$ ) है।
- उदाहरण: QwQ-32B-preview (कम सामान्य बुद्धिमत्ता रैंक) ने Claude-3.7-Sonnet:Thinking (उच्च सामान्य बुद्धिमत्ता रैंक) के बराबर रचनात्मक प्रदर्शन हासिल किया।
- उदाहरण: o3-mini-high (उच्च सामान्य बुद्धिमत्ता) ने वैज्ञानिक विचार सृजन में औसत दर्जे का प्रदर्शन दिखाया।
मॉडल आर्किटेक्चर और प्रशिक्षण का पैमाना (Scale) से अधिक महत्व:
- Mistral-small (कम पैरामीटर संख्या) ने अपसारी सोच में Mistral-large-2411 (123B पैरामीटर) को पीछे छोड़ दिया, जो यह सुझाव देता है कि पैरामीटर संख्या रचनात्मकता का प्राथमिक चालक नहीं है।
- एक ही परिवार के भीतर लेकिन अलग-अलग प्रशिक्षण उद्देश्यों (जैसे तर्क-केंद्रित बनाम निर्देश-केंद्रित) वाले मॉडलों ने अलग-अलग रचनात्मक प्रोफाइल दिखाए।
ट्रेड-ऑफ मौजूद हैं: मौलिकता (Originality) और व्यवहार्यता (Feasibility) के बीच एक स्पष्ट पारेटो फ्रंटियर (Pareto frontier) है।
- Claude-3.7-Sonnet:Thinking मौलिकता में उत्कृष्ट था लेकिन इसकी व्यवहार्यता मध्यम थी।
- Nova-pro-v1 ने इसके विपरीत पैटर्न दिखाया (उच्च व्यवहार्यता, कम मौलिकता)।
- DeepSeek-R1 ने सभी आयामों में एक दुर्लभ संतुलित प्रदर्शन प्रदर्शित किया।
लंबाई बनाम गुणवत्ता: उत्पन्न विचार (या रीजनिंग चेन) की लंबाई का विचार की गुणवत्ता के साथ सांख्यिकीय रूप से महत्वपूर्ण लेकिन नगण्य सहसंबंध है ( $R^2 \approx 0.008$ )। लंबी रीजनिंग का अर्थ आवश्यक रूप से बेहतर वैज्ञानिक विचार नहीं होता है।
मानव सत्यापन: Partial Differential Equations (PDE) विचारों पर मानव विशेषज्ञ मूल्यांकन ने मौलिकता और स्पष्टता के लिए LLM न्यायाधीशों के साथ मजबूत संरेखण दिखाया, लेकिन व्यवहार्यता पर कम सहमति देखी गई (केवल टेक्स्ट से तकनीकी व्यवहार्यता को आंकने की अंतर्निहित व्यक्तिपरकता के कारण)।

5. महत्व और निहितार्थ (Significance and Implications)

विज्ञान के लिए AI को पुनर्व्याख्या करना: निष्कर्ष बताते हैं कि वैज्ञानिक खोज के लिए AI विकसित करने के लिए सामान्य समस्या-समाधान के उपयोग से भिन्न विशेष प्रशिक्षण रणनीतियों की आवश्यकता है। मॉडलों को केवल अभिसारी सटीकता के बजाय विविध वैचारिक जुड़ाव (conceptual associations) के लिए अनुकूलित किया जाना चाहिए।
मानव-AI हाइब्रिड सिस्टम: परिणाम ऐसे हाइब्रिड फ्रेमवर्क के निर्माण का समर्थन करते जहाँ वैज्ञानिक प्रक्रिया के विशिष्ट चरणों के लिए विभिन्न मॉडलों को जोड़ा जा सके (जैसे, परिकल्पना सृजन के लिए उच्च-मौलिकता वाले मॉडल और प्रयोगात्मक डिजाइन के लिए उच्च-व्यवहार्यता वाले मॉडल का उपयोग करना)।
बेंचमार्किंग का विकास: यह पेपर सामान्य बुद्धिमत्ता बेंचमार्क की सीमाओं को उजागर करता है, जो समुदाय को वैज्ञानिक नवाचार में AI के मूल्यांकन के लिए डोमेन-विशिष्ट, गतिशील बेंचमार्क अपनाने का आग्रह करता है।
पर्यावरण जागरूकता: अध्ययन बेंचमार्किंग प्रक्रिया के कार्बन फुटप्रिंट (~3,074 kgCO2eq) को भी मापता है, जो बड़े पैमाने पर LLM मूल्यांकन की पर्यावरणीय लागत को रेखांकित करता है।

निष्कर्षतः, LiveIdeaBench यह स्थापित करता है कि LLMs में वैज्ञानिक रचनात्मकता सामान्य तर्क से एक अलग क्षमता है। यह उन मॉडलों की पहचान करने के लिए एक महत्वपूर्ण उपकरण प्रदान करता है जो वास्तविक वैज्ञानिक विचार सृजन में सक्षम हैं, जिससे अधिक प्रभावी AI-सहायता प्राप्त वैज्ञानिक खोज का मार्ग प्रशस्त होता है।