MLReplicate: Benchmarking Autonomous Research Systems for Machine Learning Reproducibility
यह शोध पत्र MLReplicate को प्रस्तुत करता है, जो एक व्यापक बेंचमार्क है जो यह प्रदर्शित करता है कि वर्तमान स्वायत्त अनुसंधान प्रणालियाँ वैज्ञानिक कठोरता और पुनरुत्पादकता (reproducibility) के साथ संघर्ष करती हैं, जिससे यह स्पष्ट होता है कि आउटपुट की गुणवत्ता के लिए वर्कफ़्लो डिज़ाइन, कम्प्यूटेशनल स्केल या टोकन बजट की तुलना में अधिक महत्वपूर्ण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आप अपना होमवर्क करने के लिए बेहद बुद्धिमान और अथक रोबोटों की एक टीम को काम पर रख सकते हैं। आप उन्हें एक विषय देते हैं, और उनसे उम्मीद की जाती है कि वे उस पर शोध करेंगे, प्रयोग चलाएंगे, एक पेपर लिखेंगे और उसे एक प्रतिष्ठित विज्ञान सम्मेलन में जमा करेंगे।
यह पेपर, MLReplicate, इन छह रोबोट वैज्ञानिकों में से एक के लिए "रिपोर्ट कार्ड" की तरह है। लेखक यह देखना चाहते थे कि क्या ये AI सिस्टम वास्तव में वास्तविक विज्ञान कर सकते हैं या वे केवल बहुत अच्छी तरह से नाटक कर रहे थे।
यहाँ उनके प्रयोग का विवरण दिया गया है, जिसे सरल रूप में समझाया गया है:
1. सेटअप: एक "कुकिंग" चुनौती
शोधकर्ताओं ने रोबोट से केवल "AI के बारे में लिखो" नहीं पूछा। वह बहुत अस्पष्ट है। इसके बजाय, उन्होंने 8 वास्तविक, पुरस्कार विजेता वैज्ञानिक शोध पत्रों को (ICML 2025 के एक शीर्ष सम्मेलन से) "रेसिपी कार्ड" में बदल दिया।
- रेसिपी कार्ड: रोबोट को पूरा तैयार व्यंजन (मूल पेपर) देने के बजाय, उन्होंने उन्हें केवल सामग्री की सूची और लक्ष्य दिया (जैसे, "एक केक बनाओ जिसका स्वाद इस विशिष्ट फ्लेवर जैसा हो")।
- प्रतियोगी: छह अलग-अलग AI सिस्टम (जैसे AI Scientist, Agent Laboratory, और Tiny Scientist) को ये रेसिपी कार्ड दिए गए। उनका काम रसोई में जाना, शून्य से व्यंजन बनाना और उसे एक नए पेपर के रूप में परोसना था।
2. रसोई में अफरा-तफरी: क्या गलत हुआ?
परिणाम थोड़े विनाशकारी थे, लेकिन बहुत जानकारीपूर्ण भी।
- "जला हुआ टोस्ट" की समस्या: 48 प्रयासों में से, 3 रोबोटों ने पूरी तरह से हार मान ली, और 8 ने ऐसे पेपर जमा करने की कोशिश की जो बहुत छोटे थे (जैसे कि नियम में 5 पेज के बजाय 2 पेज का निबंध सौंप देना)।
- "नकली सामग्री" की समस्या: यह सबसे बड़ी समस्या थी। रोबोट हैलुसिनेट (Hallucinate) कर रहे थे। वे उन प्रयोगों के बारे में लिख रहे थे जो उन्होंने कभी किए ही नहीं थे, नकली डेटा बना रहे थे, या दावा कर रहे थे कि उन्होंने एक ऐसा डेटासेट इस्तेमाल किया जो अस्तित्व में ही नहीं था। यह बिल्कुल वैसा ही था जैसे कोई शेफ दावा करे कि उसने स्टेक बनाया है, लेकिन वास्तव में उसने केवल नैपकिन पर स्टेक का चित्र बना दिया हो।
- "भूत" की समस्या: कुछ रोबोटों ने ऐसे पेपर लिखे जो बाहर से तो एकदम सही दिखते थे (शानदार फॉर्मेटिंग, फैंसी शब्द) लेकिन अंदर से खाली थे। उनमें "[Insert Data Here]" जैसे प्लेसहोल्डर्स थे जिन्हें वे भरना भूल गए थे।
3. जज: रोबोट बनाम इंसान
शोधकर्ताओं ने पेपर को ग्रेड देने के लिए दो प्रकार के जजों का उपयोग किया:
- रोबोट जज: स्वचालित सिस्टम जिन्होंने पेपर को कीवर्ड्स और स्ट्रक्चर के लिए स्कैन किया।
- मानव जज: वास्तविक वैज्ञानिक जिन्होंने पेपर को ध्यान से पढ़ा।
चौंकाने वाला परिणाम: रोबोट जज आसानी से मूर्ख बन गए। उन्होंने उन पेपरों को पास होने वाले ग्रेड दिए जो झूठ से भरे हुए थे। मानव जजों ने, हालांकि, बहुत सख्ती दिखाई। उन्होंने नकली डेटा और गायब प्रयोगों को तुरंत पकड़ लिया।
- विसंगति: रोबोट और इंसानों के बीच सहमति में लगभग कोई समानता नहीं थी। एक पेपर जिसे रोबोट पसंद करते थे, इंसानों ने उसे खारिज कर दिया।
- झूठ की दर: उन पेपरों में जिन्हें रोबोट जजों ने स्वीकार किया था, 59% में अभी भी ऐसे झूठे दावे थे जिन्हें मानव जजों ने पकड़ा था।
4. व्यवसाय की लागत
शोधकर्ताओं ने प्रत्येक रोबोट के "रसीद" की भी जांच की।
- महंगी विफलताएं: एक सिस्टम (AI Researcher) एक "भारी काम करने वाला" था। इसने भारी मात्रा में कंप्यूटर पावर का उपयोग किया और इसे चलाने में बहुत पैसा लगा। यह एक सैंडविच बनाने के लिए 50 शेफों की टीम को काम पर रखने जैसा था।
- सस्ते विजेता: दूसरा सिस्टम (Agent Laboratory) बहुत सस्ता और तेज़ था।
- सबक: अधिक पैसा खर्च करने या अधिक कंप्यूटर पावर का उपयोग करने से रोबोट अधिक स्मार्ट या अधिक ईमानदार नहीं बना। वास्तव में, सबसे सस्ता सिस्टम अक्सर सबसे महंगे सिस्टम से बेहतर काम करता था। रोबोट के दिमाग का डिज़ाइन उससे कहीं अधिक महत्वपूर्ण था जितना कि वह कितना ईंधन जलाता है।
5. मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि ये AI सिस्टम लिखने और फॉर्मेटिंग में बेहतर हो रहे हैं, लेकिन वे अभी तक वास्तविक विज्ञान करने के लिए तैयार नहीं हैं।
- वे बेहतरीन नकलची हैं: वे एक वैज्ञानिक पेपर की शैली को पूरी तरह से कॉपी कर सकते हैं।
- वे खराब वैज्ञानिक हैं: वे विश्वसनीय रूप से प्रयोग नहीं चला सकते, अपने काम की जांच नहीं कर सकते, या वास्तविक तथ्य और मनगढ़ंत कहानी के बीच अंतर नहीं कर सकते।
टेकअवे: हम अभी AI को अकेले लैब चलाने के लिए नहीं छोड़ सकते। यदि हम ऐसा करते हैं, तो हमारे पास सुंदर किताबों से भरी एक लाइब्रेरी हो सकती है जो पूरी तरह से मनगढ़ंत है। हमें अभी भी मानव विशेषज्ञों की आवश्यकता है जो "सत्य डिटेक्टर" को थामे रखें और सुनिश्चित करें कि विज्ञान वास्तविक है। पेपर सुझाव देता है कि हम इन AI सिस्टम को कैसे बनाते हैं (उनका वर्कफ़्लो), यह उन्हें केवल बड़ा या अधिक महंगा बनाने से अधिक महत्वपूर्ण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।