MDGYM: Benchmarking AI Agents on Molecular Simulations
यह शोध पत्र MDGYM को प्रस्तुत करता है, जो यह दर्शाता है कि वर्तमान AI एजेंट स्वायत्त रूप से आणविक गतिशीलता (molecular dynamics) सिमुलेशन निष्पादित करने में संघर्ष करते हैं क्योंकि सुव्यवस्थित कोड जनरेशन और सिमुलेशन की स्थिरता एवं सटीकता सुनिश्चित करने के लिए आवश्यक भौतिक तर्क (physical reasoning) के बीच एक मौलिक अंतर है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: क्या AI एक वैज्ञानिक बन सकता है?
कल्पना कीजिए कि आप एक ऐसा रोबोट बनाना चाहते हैं जो न केवल कोड लिख सके, बल्कि एक वास्तविक वैज्ञानिक की तरह भी काम कर सके। आप उसे एक समस्या देते हैं, जैसे "यह पता लगाओ कि एक नई दवा वायरस के साथ कैसे प्रतिक्रिया करती है," और आप उम्मीद करते हैं कि वह प्रयोग का डिज़ाइन बनाएगा, कंप्यूटर सिमुलेशन चलाएगा, गलतियों को सुधारेगा और आपको उत्तर देगा।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या वर्तमान AI एजेंट वास्तव में यह कर सकते हैं?
यह जानने के लिए, शोधकर्ताओं ने एक नया "जिम" (एक बेंचमार्क) बनाया जिसे MDGYM कहा जाता है। इसे AI के लिए एक उच्च-दांव वाले बाधा दौड़ (obstacle course) के रूप में समझें, जिसे विशेष रूप से यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या वे केवल साफ-सुथरा कोड लिखने के बजाय, विज्ञान की अव्यवस्थित और भौतिक वास्तविकता को संभाल सकते हैं।
बाधा दौड़: MDGYM क्या है?
शोधकर्ताओं ने 169 अलग-अलग चुनौतियों के साथ एक टेस्ट बनाया। ये साधारण गणित के सवाल नहीं हैं; ये जटिल आणविक सिमुलेशन (molecular simulations) हैं।
- उपकरण (Tools): AI को सिमुलेशन तैयार करने के लिए दो प्रसिद्ध "रसोईयों" का उपयोग करना होगा: LAMMPS और GROMACS। ये दो अलग-अलग ब्रांड के उच्च-स्तरीय ओवन की तरह हैं जिनका उपयोग वैज्ञानिक परमाणुओं और अणुओं के बारे में डेटा "पकाने" के लिए करते हैं।
- कठिनाई के स्तर:
- आसान (Easy): "एक साधारण सूप पकाएं।" (बुनियादी तापमान या ऊर्जा की गणना करें)।
- मध्यम (Medium): "एक जटिल स्टू (stew) पकाएं।" (अणुओं के हिलने-डुलने या जुड़ने का विश्लेषण करें)।
- कठिन (Hard): "एक 5-स्टार आणविक व्यंजन बनाएं।" (अत्यधिक दबाव, कतरनी बल (shear forces), या जटिल सामग्री गुणों का सिमुलेशन करें)।
- चुनौती (The Catch): एक सामान्य कोडिंग टेस्ट में, यदि आप गलती करते हैं, तो कंप्यूटर चिल्लाता है "Error!" और रुक जाता है। इस वैज्ञानिक "रसोई" में, कंप्यूटर सिमुलेशन को पूरी तरह से चला सकता है, एक फ़ाइल बना सकता है, और कह सकता है "Done!"—लेकिन परिणाम भौतिक रूप से असंभव हो सकता है (जैसे कि एक सूप जो -500 डिग्री पर उबलता है)। AI को यह महसूस करना होगा कि परिणाम निरर्थक है, भले ही कंप्यूटर उसे यह न बताए कि वह गलत है।
टेस्ट रनर्स: किसने प्रयास किया?
शोधकर्ताओं ने तीन अलग-अलग "AI शेफ" (एजेंटिक फ्रेमवर्क) को रसोई में डाला, जो चार अलग-अलग लार्ज लैंग्वेज मॉडल्स (शेफ के पीछे का दिमाग) द्वारा संचालित थे:
- Claude Code (Anthropic)
- Codex (OpenAI)
- OpenHands (एक ओपन-सोर्स टीम)
परिणाम: एक रसोई की आपदा
परिणाम निराशाजनक थे। यहाँ तक कि सबसे स्मार्ट AI शेफ भी बुरी तरह विफल रहे।
- स्कोर: "आसान" स्तर पर, सर्वश्रेष्ठ AI केवल 21% कार्यों को सही ढंग से कर पाया। "मध्यम" और "कठिन" स्तरों पर, स्कोर गिरकर एकल अंक (10% से कम) पर आ गया।
- ओपन-सोर्स मॉडल: ओपन-सोर्स मॉडल (Qwen और GPT-OSS) लगभग हर चीज़ पर 0% पर थे।
यह एक रोबोट को सूफ़ले (soufflé) की रेसिपी देने जैसा है, जहाँ वह ओवन तो चालू कर देता है, लेकिन सूफ़ले चपटा, जला हुआ, या प्लास्टिक का बना हुआ निकलता है। रोबोट ने चरणों का पालन किया, लेकिन वह बेकिंग के भौतिकी (physics) को नहीं समझ सका।
वे क्यों विफल हुए? ("साइलेंट" त्रुटियाँ)
शोध पत्र में पाया गया कि AI बहुत विशिष्ट और अजीब तरीकों से विफल हुआ, जो सामान्य कोडिंग कार्यों से अलग है।
- "नकली शेफ" (Fabrication): कभी-कभी, AI कहता था, "यहाँ उत्तर है," और एक संख्या दे देता था, लेकिन उसने वास्तव में सिमुलेशन कभी चलाया ही नहीं। उसने बस उस संख्या का अनुमान लगाया जो उसे लगता था कि उत्तर होनी चाहिए।
- "क्रैश और बर्न" (Premature Quitting): जब सिमुलेशन किसी अड़चन (जैसे कोई अजीब एरर मैसेज) पर पहुँचा, तो AI बस हार मान लेता और कहता, "मैं यह नहीं कर सकता," बजाय इसके कि वह रेसिपी को ठीक करने की कोशिश करता।
- "मौन आपदा" (Silent Disaster - Physical Instability): यह सबसे बड़ी समस्या है। AI एक ऐसा स्क्रिप्ट लिखता था जो बिना क्रैश हुए चल जाता था, लेकिन भौतिकी (physics) गलत थी।
- उपमा: कल्पना कीजिए कि आप एक रोबोट को पुल बनाने के लिए कहते हैं। रोबोट उसे बनाता है, और वह एकदम सही दिखता है। लेकिन उसने गलत प्रकार के गोंद का उपयोग किया। पुल एक सेकंड के लिए खड़ा रहता है, फिर ढह जाता है। सामान्य कोडिंग में, पुल तुरंत एक ज़ोरदार "CRASH" (एरर मैसेज) के साथ गिर जाएगा। आणविक सिमुलेशन में, पुल खड़ा रहता है, लेकिन भौतिकी टूट जाती है, और AI को यह तब तक पता नहीं चलता जब तक कि बहुत देर न हो जाए।
निष्कर्ष: कोड बनाम भौतिकी
शोध पत्र यह निष्कर्ष निकालता है कि कोडिंग में अच्छा होने का मतलब यह नहीं है कि AI विज्ञान करने में भी अच्छा है।
वर्तमान AI मॉडल उत्कृष्ट टाइपिस्ट की तरह हैं जो एक रेसिपी को पूरी तरह से कॉपी कर सकते हैं, लेकिन वे यह नहीं समझते कि सामग्री एक-दूसरे के साथ कैसे प्रतिक्रिया करती है। उनमें "भौतिक आधार" (physical grounding) की कमी है। वे परिणाम को देखकर यह नहीं कह सकते कि "रुको, यह तापमान असंभव है," क्योंकि वे वास्तव में भौतिकी के नियमों को नहीं समझते, वे केवल कोड के सिंटैक्स (syntax) को समझते हैं।
संक्षेप में: AI निर्देश तो लिख सकता है, लेकिन वह अभी अपने स्वयं के "खाना पकाने" पर भरोसा नहीं कर सकता। एक सच्चा वैज्ञानिक साथी बनने के लिए, AI को केवल कमांड टाइप करने के बजाय भौतिक दुनिया के बारे में तर्क करना सीखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।