AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials
यह शोध पत्र AtomWorld को प्रस्तुत करता है, जो क्रिस्टलीय सामग्री संरचना संशोधनों पर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने वाला एक बेंचमार्क है, जो यह प्रकट करता है कि जबकि Claude Opus 4.6 जैसे मॉडल बुनियादी कार्यों पर अच्छा प्रदर्शन करते हैं, उनकी सफलता जटिल स्थानिक तर्क (spatial reasoning) के साथ काफी कम हो जाती है, जो यह सुझाव देता है कि वे स्वायत्त एजेंटों के बजाय वैज्ञानिक सह-पायलट (scientific copilots) के रूप में अधिक उपयुक्त हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास नन्हे, अदृश्य लेगो ब्रिक्स (Lego bricks) से चीजें बनाने के लिए एक विशाल, जादुई निर्देश पुस्तिका है। ये ब्रिक्स परमाणु (atoms) हैं, और इनके निर्देश एक विशेष कोड में लिखे गए हैं जिसे "CIF फ़ाइल" कहा जाता है। वैज्ञानिक इन फ़ाइलों का उपयोग नई सामग्रियां डिजाइन करने के लिए करते हैं, जैसे कि अधिक मजबूत बैटरियां या बेहतर सौर पैनल।
हाल ही में, हमने कंप्यूटरों को एक नई महाशक्ति दी है: लार्ज लैंग्वेज मॉडल्स (LLMs)। इन्हें ऐसे समझें जैसे कि ये अविश्वसनीय रूप से स्मार्ट रोबोट हैं जो मानव भाषा पढ़ और लिख सकते हैं। वे "मेज पर रखे नमक का रासायनिक सूत्र क्या है?" या "एक क्रिस्टल के बारे में एक कहानी सुनाओ" जैसे प्रश्नों के उत्तर देने में उत्कृष्ट हैं।
लेकिन असली सवाल यह है जो यह शोध पत्र पूछता है: क्या ये स्मार्ट रोबोट वास्तव में इन परमाणु लेगो संरचनाओं को बना और संशोधित कर सकते हैं जब उनसे कहा जाए?
समस्या: पढ़ना बनाम करना
लेखकों ने महसूस किया कि हालांकि ये रोबोट विज्ञान के बारे में बात करने में उत्कृष्ट हैं, लेकिन उन्हें परमाणुओं को पुनर्व्यवस्थित करने का भौतिक कार्य करने के लिए नहीं परखा गया है। यह एक ऐसे शेफ की तरह है जो रेसिपी का वर्णन तो पूरी तरह से कर सकता है लेकिन जब उससे प्याज काटने या पैनकेक पलटने के लिए कहा जाता है, तो वह विफल हो जाता है।
वास्तविक दुनिया में, वैज्ञानिकों को अक्सर एक संरचना में छोटे, सटीक बदलाव करने की आवश्यकता होती है: "इस परमाणु को यहाँ लाओ," "परमाणुओं के इस समूह को घुमाओ," या "इन दो तत्वों को आपस में बदल दो।" इसे करने के लिए 3D स्थान और ज्यामिति (geometry) की एक मजबूत समझ की आवश्यकता होती है, जो केवल टेक्स्ट लिखने से बहुत अलग है।
समाधान: एटमवर्ल्ड (AtomWorld - प्रशिक्षण का मैदान)
इसे परखने के लिए, शोधकर्ताओं ने एटमवर्ल्ड (AtomWorld) नामक एक खेल का मैदान बनाया।
एटमवर्ल्ड को इन AI रोबोटों के लिए विशेष रूप से डिज़ाइन किया गया एक वीडियो गेम लेवल के रूप में समझें।
- सेटअप: गेम रोबोट को एक शुरुआती लेगो संरचना और एक सरल कमांड देता है, जैसे "लाल ब्लॉक को दाईं ओर 90 डिग्री घुमाएं।"
- लक्ष्य: रोबोट को सही कोड प्रारूप में नया, संशोधित लेगो संरचना आउटपुट करनी होगी।
- नियम: गेम एक सख्त रूलर (पैमाने) के साथ रोबोट के उत्तर की जांच करता है। क्या इसने सही ब्लॉक को हिलाया? क्या कोण सही है? क्या नई संरचना स्थिर है?
उन्होंने 2,500 अलग-अलग स्तर (जिन्हें AtomMotor-2K कहा जाता है) बनाए जो दस बुनियादी प्रकार के मूव्स को कवर करते हैं, साधारण कार्यों से लेकर (जैसे "एक ब्लॉक जोड़ना") बहुत कठिन कार्यों तक (जैसे "एक विशिष्ट बिंदु के चारों ओर ब्लॉकों के एक पूरे क्लस्टर को घुमाना")।
उन्होंने क्या पाया: "मोटर स्किल्स" का अंतर
जब उन्होंने इन परीक्षणों के माध्यम से सर्वश्रेष्ठ AI मॉडल चलाए, तो परिणाम अच्छी और बुरी दोनों खबरों का मिश्रण थे:
- "आसान" मूव्स: नए परमाणु जोड़ने या हटाने जैसे सरल कार्यों के लिए, रोबोट आश्चर्यजनक रूप से अच्छे थे। वे अधिकांश समय इसे सही करते रहे।
- "कठिन" मूव्स: जब कार्य के लिए जटिल स्थानिक तर्क (spatial reasoning) की आवश्यकता थी—जैसे परमाणुओं के समूह को घुमाना या एक परमाणु को दूसरे के करीब लाना—तो रोबोट बुरी तरह संघर्ष करते दिखे। रोटेशन कार्यों के लिए उनकी सफलता दर 12% से नीचे गिर गई।
- उपमा: यह एक रोबोट को "मेज पर एक लट्टू घुमाने" के लिए कहने जैसा है। वह जानता होगा कि लट्टू क्या है, लेकिन जब वह वास्तव में उसे घुमाने की कोशिश करता है, तो वह अक्सर मेज को गिरा देता है या गलत दिशा में घुमा देता है।
- आकार मायने रखता है (लेकिन सब कुछ नहीं): बड़े, अधिक शक्तिशाली AI मॉडल आम तौर पर बेहतर प्रदर्शन करते हैं, लेकिन सबसे बड़े मॉडल भी कठिन स्थानिक कार्यों में विफल रहे। यह सुझाव देता है कि केवल रोबोट को "स्मार्ट" बनाना (अधिक डेटा जोड़ना) पर्याप्त नहीं है; इसे 3D ज्यामिति के लिए एक अलग प्रकार के "दिमाग" की आवश्यकता है।
निष्कर्ष: सह-पायलट, पायलट नहीं
शोध पत्र निष्कर्ष निकालता है कि वर्तमान में, ये AI मॉडल वैज्ञानिक खोज के मुख्य पायलट बनने के लिए तैयार नहीं हैं। वे स्वायत्त रूप से जटिल नई सामग्रियों को डिजाइन करने के लिए भरोसेमंद नहीं हैं क्योंकि वे ज्यामितीय गलतियाँ करते रहते हैं।
हालाँकि, वे उत्कृष्ट सह-पायलट (co-pilots) हैं। वे वैज्ञानिकों को विचार ड्राफ्ट करने, सरल त्रुटियों की जांच करने या काम के उबाऊ हिस्सों को संभालने में मदद कर सकते हैं, लेकिन अंतिम 3D संरचना के लिए एक मानव विशेषज्ञ को दोबारा जांच करने की आवश्यकता होती है।
यह क्यों महत्वपूर्ण है
लेखकों ने एटमवर्ल्ड को केवल रोबोट को ग्रेड देने के लिए नहीं, बल्कि उन्हें अभ्यास करने के लिए एक जगह देने के लिए बनाया है। जिस तरह एक इंसान हाईवे पर जाने से पहले पार्किंग लॉट में अभ्यास करके ड्राइविंग सीखता है, उसी तरह इन AI मॉडल्स को परमाणुओं को सही ढंग से "हिलाने" के लिए एटमवर्ल्ड जैसी जगह की आवश्यकता है।
शोध पत्र सुझाव देता है कि भविष्य के AI टूल्स (जैसे गणित दिमाग में करने के बजाय कैलकुलेटर का उपयोग करना) से सीखकर या केवल टेक्स्ट विवरण पढ़ने के बजाय 3D छवियों को देखकर बेहतर हो सकते हैं। लेकिन अभी के लिए, इन डिजिटल वैज्ञानिकों के "मोटर स्किल्स" अभी भी विकास के चरण में हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।