Can AI Evaluate AI Scientists? A Benchmarking Study of Autonomous Research Generation Systems Using Automated Multi-Model Review

तकनीकी सारांश: स्वायत्त अनुसंधान पीढ़ी प्रणालियों का बेंचमार्किंग

समस्या विवरण
"AI वैज्ञानिक" प्रणालियों—जो न्यूनतम मानवीय पर्यवेक्षण के साथ समस्या प्रस्तावों से शोध पत्र उत्पन्न करने में सक्षम पाइपलाइन हैं—का तीव्र प्रसार ने कठोर मूल्यांकन पद्धतियों के विकास को पीछे छोड़ दिया है। जबकि The AI Scientist, CycleResearcher, और Data-to-Paper जैसी प्रणालियाँ वैज्ञानिक खोज को लोकतांत्रिक बनाने और गति देने का वादा करती हैं, उनके आउटपुट की गुणवत्ता की तुलना करने के लिए कोई मानकीकृत ढांचा मौजूद नहीं है। पारंपरिक मानव सहकर्मी समीक्षा (peer review) बड़े पैमाने पर करना अत्यधिक महंगा है, और मौजूदा स्वचालित मूल्यांकन विधियाँ विविध ढांचों में वैज्ञानिक अनुसंधान की बहु-आयामी प्रकृति (मौलिकता, कठोरता, स्पष्टता और महत्व) का आकलन करने में संघर्ष करती हैं। यह अध्ययन इन स्वायत्त प्रणालियों को व्यवस्थित रूप से बेंचमार्किंग करने के महत्वपूर्ण अंतर को संबोधित करता है ताकि यह निर्धारित किया जा सके कि कौन से आर्किटेक्चर स्थापित गुणवत्ता मानकों के सबसे करीब का शोध उत्पन्न करते हैं।

कार्यप्रणाली
लेखकों ने चार अग्रणी स्वायत्त AI वैज्ञानिक ढांचों (frameworks) को शामिल करते हुए एक कठोर, एंड-टू-एंड तुलनात्मक बेंचमार्किंग अध्ययन आयोजित किया:

1. Sakana AI (v1 और v2): रैखिक अनुक्रमिक निष्पादन (v1) और विजन-लैंग्वेज फीडबैक के साथ एजेंटिक ट्री सर्च (v2) का उपयोग करने वाले एंड-टू-एंड पाइपलाइन।
2. CycleResearcher: एक पुनरावृत्ति ढांचा जो एक रिसर्चर एजेंट और एक रिव्यूअर एजेंट को एकीकृत करता है, जिसे सहकर्मी समीक्षा डेटासेट पर सुदृढीकरण शिक्षण (reinforcement learning) के माध्यम से प्रशिक्षित किया गया है।
3. Data-to-Paper: एक डेटा-केंद्रित वर्कफ़्लो जो परिकल्पनाओं और पांडुलिपियों को उत्पन्न करने के लिए अनुभवजन्य डेटासेट को इनपुट के रूप में स्वीकार करता है।
4. FARS (Fully Automated Research System): एक मल्टी-एजेंट सिस्टम जो बेंचमार्क संदर्भ के रूप में कार्य करता है, जिसमें विचारोन्मेष (ideation), योजना, प्रयोग (160 NVIDIA GPU के साथ एक्सेस), और लेखन के लिए विशिष्ट एजेंटों का उपयोग किया जाता है।

प्रायोगिक प्रोटोकॉल:

• इनपुट मानकीकरण: सभी प्रणालियों का मूल्यांकन FARS डेटासेट के 15 शोध प्रस्तावों के एक सुसंगत सेट पर किया गया था। Data-to-Paper की विशिष्ट इनपुट आवश्यकताओं (जिसे समस्या विशिष्टताओं के बजाय डेटासेट की आवश्यकता होती है) को समायोजित करने के लिए, संबंधित अनुभवजन्य डेटासेट को GitHub रिपॉजिटरी से निकालने और प्रीप्रोसेस करने के लिए कस्टम रैपर्स विकसित किए गए थे।
• आउटपुट जनरेशन: प्रत्येक ढांचे ने 15 प्रस्तावों के लिए पेपर तैयार किए। Sakana v1 और v2 ने प्रति प्रस्ताव कई विचार उत्पन्न किए, जिन्हें बाद में एक LLM-आधारित सामंजस्य प्रणाली (reconciliation system) का उपयोग करके एकल समेकित पेपरों में मिला दिया गया। इसके परिणामस्वरूप चार ढांचों से 60 पेपर और 15 FARS बेंचमार्क पेपर (कुल 75) प्राप्त हुए।
• स्वचालित मूल्यांकन: लेखकों ने तीन फ्रंटियर लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करते हुए एक मल्टी-मॉडल मूल्यांकन ढांचे का उपयोग किया, जो स्वतंत्र समीक्षकों के रूप में कार्य करते हैं: GPT-5.4, Gemini 3.1 Pro, और Claude Opus 4.6।
• मूल्यांकन आयाम: शोध पत्रों को चार मुख्य आयामों पर 1–5 के पैमाने पर स्कोर किया गया: मौलिकता (योगदान की नवीनता), वैज्ञानिक कठोरता (पद्धतिगत सुदृढ़ता), स्पष्टता (प्रस्तुति की गुणवत्ता), और महत्व (संभावित प्रभाव)। एक संश्लेषण स्कोर (synthesis score) की गणना भी की गई।

प्रमुख परिणाम

1. प्रदर्शन अंतराल: FARS बेंचमार्क पेपर सभी प्रतिस्पर्धी ढांचों से काफी बेहतर रहे। FARS ने तीन समीक्षक मॉडलों में औसत संश्लेषण स्कोर 2.14–2.47 (1–5 के पैमाने पर) प्राप्त किया। इसके विपरीत, प्रतिस्पर्धी प्रणालियों ने 1.00 और 1.87 के बीच स्कोर किया। विशेष रूप से, Gemini और Claude मूल्यांकनों पर FARS के स्कोर अगले सर्वश्रेष्ठ सिस्टम की तुलना में 2 गुणा से अधिक उच्च थे।
2. समीक्षक निरंतरता: Gemini और Claude समीक्षकों के बीच मजबूत सहमति देखी गई (Spearman correlation $\rho = 0.907, p < 0.001$), और दोनों का संश्लेषण स्कोर के साथ अत्यधिक मजबूत सहसंबंध था ($\rho = 0.961$)। हालांकि, GPT-5.4 ने अन्य समीक्षकों के साथ कमजोर सहमति ($\rho \approx 0.32$) प्रदर्शित की, जो बताता है कि यह अलग मूल्यांकन मानदंडों का उपयोग करता है।
3. आयामी विश्लेषण: FARS ने सभी आयामों में श्रेष्ठ प्रदर्शन किया, विशेष रूप से स्पष्टता (2.87 बनाम सर्वश्रेष्ठ प्रतिस्पर्धी, CycleResearcher के लिए 1.60) में। "Web-Agent Evaluation" (प्रस्ताव FA0006) पर एक केस स्टडी ने हाइलाइट किया कि FARS ने ठोस पद्धतियों को सफलतापूर्वक संचालित किया, जबकि प्रतिस्पर्धियों ने "अविकसित पद्धति" या "प्रमुख वैचारिक दोषों" वाले पेपर तैयार किए।
4. दक्षता बनाम गुणवत्ता ट्रेड-ऑफ: जबकि FARS उच्चतम गुणवत्ता वाला था, इसे लागत तुलना में शामिल नहीं किया गया क्योंकि यह पूर्व-जनरेटेड था। प्रतिस्पर्धी ढांचों में से, CycleResearcher सबसे तेज़ (10 मिनट/पेपर) था लेकिन इसके गुणवत्ता स्कोर कम थे। Data-to-Paper सबसे किफायती ($9/पेपर) था, जबकि Sakana v2 सबसे धीमा और सबसे महंगा ($26/पेपर) था। अध्ययन में पाया गया कि तेज़, सस्ते सिस्टम व्यवस्थित रूप से पेपर की गुणवत्ता में कम प्रदर्शन करते हैं।

प्रमुख योगदान

• प्रथम कठोर बेंचमार्क: यह पेपर प्रमुख AI वैज्ञानिक प्रणालियों के पहले मात्रात्मक तुलनात्मक बेंचमार्क को प्रस्तुत करता है, जो समान शोध प्रस्तावों पर एक उच्च-गुणवत्ता वाले संदर्भ मानक के विरुद्ध चार अग्रणी ढांचों का मूल्यांकन करता है।
• स्केलेबल मूल्यांकन ढांचा: लेखक एक व्यावहारिक, मल्टी-मॉडल LLM मूल्यांकन ढांचे को पेश करते हैं जो शोध पत्रों का चार मुख्य आयामों में मूल्यांकन करता है, जो प्रति पेपर 15-30 मिनट के भीतर मात्रात्मक स्कोर और गुणात्मक फीडबैक दोनों प्रदान करता है।
• अंतरालों का मात्रात्मक प्रमाण: अध्ययन इस बात का अनुभवजन्य प्रमाण प्रदान करता है कि वर्तमान प्रतिस्पर्धी ढांचे (Sakana, CycleResearcher, Data-to-Paper) FARS बेंचमार्क से काफी पीछे हैं, जिसमें प्रमुख मेट्रिक्स में प्रदर्शन अंतराल 2 गुणा से अधिक है।
• स्वचालित समीक्षा का सत्यापन: स्वतंत्र LLM समीक्षकों (Gemini और Claude) के बीच मजबूत सहसंबंध स्वायत्त अनुसंधान गुणवत्ता के आकलन के लिए स्वचालित मूल्यांकन की विश्वसनीयता को सत्यापित करता है, जो मानव सहकर्मी समीक्षा के लिए एक स्केलेबल विकल्प प्रदान करता है।

महत्व
यह पेपर स्वायत्त वैज्ञानिक खोज के क्षेत्र के लिए एक आधारभूत बेंचमार्क स्थापित करता है। यह प्रदर्शित करके कि वर्तमान AI वैज्ञानिक ढांचे एक परिपक्व मल्टी-एजेंट संदर्भ प्रणाली (FARS) की तुलना में काफी कम गुणवत्ता वाले आउटपुट उत्पन्न करते हैं, यह अध्ययन पूर्णतः स्वायत्त अनुसंधान की वर्तमान सीमाओं को रेखांकित करता है। परिणाम बताते हैं कि हालांकि ये प्रणालियाँ आशाजनक हैं, वे अभी तक पर्याप्त मानवीय पर्यवेक्षण के बिना प्रकाशन-गुणवत्ता वाला शोध उत्पन्न करने के लिए तैयार नहीं हैं। इसके अलावा, मल्टी-मॉडल LLM मूल्यांकन का सत्यापन इन प्रणालियों के क्रमिक सुधार के लिए एक आवश्यक उपकरण प्रदान करता है, जिससे डेवलपर्स को कमजोरियों को व्यवस्थित रूप से पहचानने और आर्किटेक्चर को परिष्कृत करने में सक्षम बनाया जा सके। यह कार्य कम्प्यूटेशनल दक्षता और अनुसंधान गुणवत्ता के बीच महत्वपूर्ण ट्रेड-ऑफ को रेखांकित करता है, जो संसाधन-बाधित वातावरण में भविष्य के तैनाती निर्णयों को सूचित करता है।