Imaging-101: Benchmarking LLM Coding Agents on Scientific Computational Imaging
यह शोध पत्र इमेजिंग-101 (Imaging-101) प्रस्तुत करता है, जो छह वैज्ञानिक डोमेन में 57 विशेषज्ञ-सत्यापित कम्प्यूटेशनल इमेजिंग कार्यों का एक बेंचमार्क है जिसे LLM कोडिंग एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि वर्तमान फ्रंटियर मॉडल एल्गोरिदम चयन और भौतिक परंपराओं (physical convention) के प्रबंधन जैसे डोमेन-विशिष्ट चुनौतियों के साथ संघर्ष करते हैं, जिससे विश्वसनीय वैज्ञानिक खोज को सक्षम करने के लिए विशिष्ट, कौशल-संवर्धित एजेंटों की आवश्यकता पर बल मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक जादुई बॉक्स है जो किसी गुप्त वस्तु की धुंधली और शोर भरी तस्वीर को एकदम स्पष्ट तस्वीर में बदल सकता है। वास्तविक दुनिया के विज्ञान में, यह जादू नहीं है; इसे कंप्यूटेशनल इमेजिंग (computational imaging) कहा जाता है। वैज्ञानिक इसका उपयोग उन चीजों को देखने के लिए करते हैं जिन्हें वे सीधे छू नहीं सकते, जैसे कि एक ब्लैक होल के अंदर क्या है, एक वायरस की संरचना, या ज़मीन के बहुत नीचे क्या हो रहा है। लेकिन उस धुंधले ढेर को एक स्पष्ट तस्वीर में बदलने का "नुस्खा" बनाना अविश्वसनीय रूप से कठिन है। इसके लिए भौतिकी (physics), गणित और कोडिंग की पीएचडी-स्तर की समझ, और उन छोटी गलतियों को ठीक करने के लिए बहुत धैर्य की आवश्यकता होती जो पूरे चित्र को खराब कर सकती हैं।
यहाँ इमेजिंग-101 (Imaging-101) आता है, जो आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक नया "ड्राइविंग टेस्ट" है। शोधकर्ताओं ने एक चुनौती बनाई जिसमें 57 अलग-अलग पहेलियाँ (कार्य) शामिल थीं, जो खगोल विज्ञान, जीव विज्ञान, रसायन विज्ञान, पृथ्वी विज्ञान, चिकित्सा और भौतिकी जैसे छह क्षेत्रों के वास्तविक वैज्ञानिक शोध पत्रों से ली गई थीं। उन्होंने केवल AI को कोड लिखने के लिए नहीं कहा; उन्होंने इसे एक पूर्ण, काम करने वाली मशीन बनाने के लिए कहा जो इन पहेलियों को शुरू से अंत तक हल कर सके।
तीन-भागों वाला परीक्षण
यह देखने के लिए कि AI वास्तव में स्मार्ट था या केवल भाग्यशाली, शोधकर्ताओं ने इसे टेस्ट लेने के तीन अलग-अलग तरीके दिए:
- योजना (The Plan): सबसे पहले, AI को एक ब्लूप्रिंट लिखना था। क्या वह कोड की एक भी लाइन लिखने से पहले सही गणित और चरणों को समझ सकता था?
- लेगो ब्लॉक्स (The Lego Blocks): इसके बाद, उसे मशीन के विशिष्ट हिस्से (जैसे "प्रीप्रोसेसिंग" या "सॉल्वर" ब्लॉक) बनाने थे और प्रत्येक के लिए छोटे, सख्त यूनिट टेस्ट पास करने थे।
- फुल ड्राइव (The Full Drive): अंत में, उसे पूरी मशीन को एक साथ जोड़ना था, उसे चलाना था, और एक ऐसी तस्वीर तैयार करनी थी जो सख्त गुणवत्ता जांच को पास करने के लिए पर्याप्त सटीक हो।
परिणाम: AI बात करने में अच्छा है, भौतिकी में बुरा है
शोधकर्ताओं ने सात सबसे स्मार्ट AI मॉडल्स का परीक्षण किया। यहाँ उन्हें क्या मिला:
- "योजना" ठीक थी: AI ब्लूप्रिंट लिखने में आश्चर्यजनक रूप से अच्छा था। लगभग 52.6% बार, शीर्ष मॉडल्स (GPT-5.4 और Kimi-k2.5) ने सामान्य विचार को सही ढंग से समझा। वे उपयोग करने के लिए सही प्रकार के गणित का नाम बता सके।
- "लेगो ब्लॉक्स" डगमगा रहे थे: जब मशीन के हिस्सों को वास्तव में बनाने की बारी आई, तो चीजें गड़बड़ा गईं। सभी हिस्सों को एक साथ सही ढंग से बनाने की सफलता दर गिरकर 1.8% से 22.8% के बीच रह गई।
- "फुल ड्राइव" सबसे कठिन था: केवल 29.8% बार सबसे अच्छे AI (Claude-4.6-Opus) ने एक ऐसी मशीन बनाने में सफलता पाई जो वास्तव में काम करती थी और एक अच्छी तस्वीर बनाती थी। अन्य मॉडल इससे भी खराब प्रदर्शन करते थे, जिनमें से कुछ केवल 7% बार ही सफल हो पाते थे।
"अदृश्य" जाल
इस अध्ययन का सबसे दिलचस्प हिस्सा यह है कि AI क्यों विफल हुआ। वे इसलिए विफल नहीं हुए क्योंकि वे कोड नहीं लिख सकते थे; वे इसलिए विफल हुए क्योंकि वे भौतिकी के उन "गुप्त नियमों" को भूल गए जिन्हें वैज्ञानिक वर्षों के अनुभव के माध्यम से सीखते हैं।
शोध पत्र इसे "न्यूमेरिकल-कन्वेंशन ड्रिफ्ट" (numerical-convention drift) कहता है। कल्पना कीजिए कि आप केक बना रहे हैं। AI जानता है कि रेसिपी कहती है "मैदा डालें," लेकिन वह यह भूल जाता है कि इस विशेष रसोई में, आपको मैदा ग्राम में मापना होगा, कप में नहीं, और आपको इसे पहले छानना भी होगा। AI का केक दिखने और महकने में तो केक जैसा ही है, लेकिन उसका आकार और बनावट गलत है।
अध्ययन में, AI ने ये विशिष्ट गलतियाँ कीं:
- गलत इकाइयाँ (Wrong Units): प्रकाश के प्रकीर्णन (light scattering) से जुड़े एक कार्य में, AI "तीव्रता" (intensity - प्रकाश कितना चमकीला है) को "आयाम" (amplitude - तरंग कितनी मजबूत है) में बदलना भूल गया। यह कार की गति को "मील प्रति घंटा" के बजाय "चमक" में मापने की कोशिश करने जैसा था।
- गलत सॉल्वर (Wrong Solvers): AI एक जेनेरिक गणितीय उपकरण (जैसे एक मानक हथौड़ा) चुन लेता था जब काम के लिए एक विशेष उपकरण (जैसे लेजर स्कैल्पल) की आवश्यकता होती थी। वह कहता, "मैं इस सामान्य विधि का उपयोग करूँगा," भले ही वह शोध पत्र जिसका वह पालन कर रहा था, विशेष रूप से एक दुर्लभ, जटिल विधि की मांग करता था।
- नॉर्मलाइजेशन की कमी (Missing Normalization): MRI स्कैन में, AI इस तथ्य के लिए समायोजन करना भूल गया कि शरीर के कुछ हिस्से सेंसर के करीब होते हैं। इससे अंतिम तस्वीर ऐसी बनी जैसे उसमें अजीब सा साया (shadow) हो, भले ही कोड बिना किसी त्रुटि के चल रहा था।
"ब्लैक बॉक्स" का आश्चर्य
शोधकर्ताओं ने एक "ब्लैक-बॉक्स" एजेंट (Claude Code) का भी परीक्षण किया जिसके पास एक वास्तविक कंप्यूटर टर्मिनल तक पहुंच है, जो सॉफ्टवेयर इंस्टॉल कर सकता है और फाइलों को देख सकता है। यह एजेंट बहुत बेहतर प्रदर्शन करता है, जो 56.1% बार सफल हुआ। यह सुझाव देता है कि AI को अधिक स्वतंत्रता देने और उसे अपनी गलतियों को सुधारने की अनुमति देने से मदद मिलती है, लेकिन इस लाभ के साथ भी, यह अभी भी पूर्ण नहीं है।
इसका क्या अर्थ है
शोध पत्र स्पष्ट करता है कि जबकि AI कोड लिखने में बेहतर हो रहा है, यह अभी भी वैज्ञानिक इमेजिंग के गहरे, अंतर्निहित ज्ञान (tacit knowledge) के लिए संघर्ष कर रहा है। यह एक ऐसे छात्र की तरह है जो बेसबॉल के नियमों को रट सकता है लेकिन उसे वास्तव में कर्वबॉल को कैसे पकड़ना है, यह नहीं पता।
शोधकर्ताओं ने पाया कि AI अक्सर इसलिए विफल होता है क्योंकि वह अपने प्रशिक्षण डेटा में जो "सांख्यिकीय रूप से सामान्य" (statistically common) है, उस पर निर्भर करता है, न कि उस विशिष्ट समस्या के लिए जो भौतिक रूप से सही है। उनका सुझाव है कि इसे ठीक करने के लिए, हमें ऐसे AI सहायक बनाने की आवश्यकता हो सकती है जो पूर्व-सत्यापित, डोमेन-विशिष्ट कौशल के "टूलबॉक्स" के साथ आते हों, बजाय इसके कि उनसे हर भौतिक नियम को शून्य से समझने की अपेक्षा की जाए।
संक्षेप में, AI पहेली को हल करने की कहानी तो लिख सकता है, लेकिन गणित की जाँच करने और यह सुनिश्चित करने के लिए कि भौतिकी वास्तव में सही है, उसे अभी भी एक मानव विशेषज्ञ की आवश्यकता है। पूरी तरह से स्वचालित वैज्ञानिक खोज मशीन का सपना अभी भी प्रगति पर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।