Physics as the label for measuring and correcting materials reasoning in multimodal models
यह शोध पत्र MatPCR प्रस्तुत करता है, जो एक लेबल-मुक्त बेंचमार्क है जो प्रोग्रामेटिक ओरेकल (programmatic oracles) का उपयोग करके ब्रैग के नियम (Bragg's law) और ऊष्मप्रवैगिकी स्थिरता (thermodynamic stability) जैसे भौतिक नियमों के पालन को सत्यापित करके पदार्थ विज्ञान में मल्टीमॉडल मॉडलों के तर्क की भौतिक निरंतरता का मूल्यांकन करता है, जिससे वर्तमान मूल्यांकन विधियों की सीमाओं को संबोधित किया जाता है जो दुर्लभ मानव एनोटेशन पर निर्भर करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक प्रयोगशालाओं में, वैज्ञानिक उन जटिल सामग्रियों को समझने के लिए कृत्रिम बुद्धिमत्ता (AI) की ओर तेजी से मुड़ रहे हैं जो हमारी दुनिया का निर्माण करती हैं। ये प्रणालियाँ, जिन्हें विजन-लैंग्वेज मॉडल (vision-language models) के रूप में जाना जाता है, क्रिस्टल की छवियों को देख सकती हैं या रासायनिक संरचनाओं के विवरण को पढ़ सकती हैं और उनके गुणों के बारे में तर्क करने का प्रयास कर सकती हैं। उनसे एक तस्वीर से कण के आकार की पहचान करने, यह अनुमान लगाने कि क्या एक नया यौगिक स्थिर होगा, या एक जाली (lattice) के भीतर इलेक्ट्रॉनों के ऊर्जा स्तरों को निर्धारित करने के लिए कहा जाता है। आशा यह है कि ये डिजिटल सहायक नई बैटरियों, मजबूत मिश्र धातुओं या अधिक कुशल सौर सेल की खोज में तेजी ला सकते हैं। हालाँकि, एक निरंतर समस्या उभर कर आई है: ये मॉडल अक्सर भौतिक रूप से असंभव बातें कहते हुए भी आत्मविश्वास से भरे सुनाई देते हैं। वे दावा कर सकते हैं कि एक कण दस माइक्रोमीटर चौड़ा है जबकि छवि स्पष्ट रूप से एक स्केल बार दिखाती है जो बहुत छोटे दृश्य क्षेत्र (field of view) का संकेत देती है, या वे किसी सामग्री को स्थिर घोषित कर सकते हैं जब ऊष्मागतिकी (thermodynamics) के नियम बताते हैं कि वह बिखर जानी चाहिए। मुख्य कठिनाई इन त्रुटियों को पकड़ने में रही है। पारंपरिक रूप से, शोधकर्ता अंतिम उत्तरों की जांच करने के लिए मानव विशेषज्ञों पर निर्भर रहे हैं, लेकिन यह धीमा, महंगा और उत्पन्न हो रहे डेटा की विशाल मात्रा के लिए असंभव है। इसके अलावा, एक मॉडल गलत कारणों से सही अंतिम संख्या तक पहुँच सकता है, या एक ऐसा प्रशंसनीय दिखने वाला स्पष्टीकरण दे सकता है जो भौतिकी के मौलिक नियमों का उल्लंघन करता हो।
शोधकर्ताओं की एक टीम ने इन मॉडलों का मूल्यांकन करने का एक नया तरीका पेश किया है जो पूरी तरह से मानवीय ग्रेडिंग की आवश्यकता को समाप्त करता है। "क्या उत्तर सही है?" पूछने के बजाय, वे पूछते हैं "क्या तर्क की श्रृंखला भौतिकी के नियमों का पालन करती है?" उन्होंने MatPCR नामक एक प्रणाली बनाई, जो भौतिकी के नियमों को ही 'उत्तर कुंजी' (answer key) के रूप में उपयोग करती है। शोधकर्ताओं ने महसूस किया कि सामग्रियों का डेटा अपने स्वयं के आंतरिक तर्क को वहन करता है जिसे प्रोग्रामेटिक रूप से जांचा जा सकता है। उदाहरण के लिए, विवर्तन पैटर्न (diffraction pattern) में चोटियों (peaks) की स्थिति को ब्रैग के नियम (Bragg's law) नामक एक विशिष्ट गणितीय संबंध का पालन करना चाहिए; सूक्ष्मदर्शी छवि में किसी विशेषता का आकार स्केल बार द्वारा निर्धारित सीमाओं से अधिक नहीं हो सकता; और एक क्रिस्टल संरचना की स्थिरता एक सैद्धांतिक न्यूनतम के सापेक्ष उसकी ऊर्जा द्वारा निर्धारित होती है। इन भौतिक नियमों को सॉफ्टवेयर में कोड करके, टीम ने स्वचालित न्यायाधीशों, या "ओरेकल" (oracles) का एक सेट बनाया, जो तुरंत सत्यापित कर सकते हैं कि मॉडल के तर्क के चरण भौतिक रूप से स्वीकार्य हैं या नहीं। यह दृष्टिकोण उन्हें "फिजिकल-कंसिस्टेंसी रेट" (Physical-Consistency Rate) मापने की अनुमति देता है, जो एक स्कोर है जो यह दर्शाता है कि मॉडल की विचार प्रक्रिया कितनी बार भौतिक दुनिया के कठोर प्रतिबंधों का सम्मान करती है, चाहे अंतिम उत्तर मानव की अपेक्षाओं से मेल खाता हो या नहीं।
शोधकर्ताओं ने नौ अलग-अलग कृत्रिम बुद्धिमत्ता मॉडलों पर इस प्रणाली का परीक्षण किया, जिसमें ओपन-सोर्स टूल्स से लेकर उपलब्ध सबसे उन्नत वाणिज्यिक सिस्टम तक शामिल हैं। उन्होंने मॉडलों को विवर्तन पैटर्न, इलेक्ट्रॉन माइक्रोस्कोपी फोटो, स्पेक्ट्रल डेटा और क्रिस्टल संरचनाओं की हजारों कार्य दीं। परिणामों ने महत्वपूर्ण असंगतता के परिदृश्य को उजागर किया। जबकि कुछ मॉडल कुछ कार्यों पर अच्छा प्रदर्शन करते थे, कोई भी समान रूप से विश्वसनीय नहीं था। मॉडल सूक्ष्मदर्शी छवियों में स्केल बार पढ़ने में आश्चर्यजनक रूप से अच्छे थे, अक्सर पूर्णता के करीब कंसिस्टेंसी रेट प्राप्त करते थे, लेकिन वे स्पेक्ट्रल डेटा के साथ संघर्ष करते थे, जहाँ कई मॉडल बुनियादी भौतिक बाधाओं को पहचानने में विफल रहे। एक सबसे उन्नत मॉडल ने कुल मिलाकर लगभग 77 प्रतिशत की कंसिस्टेंसी रेट हासिल की, जिसका अर्थ है कि लगभग चार में से एक तर्क श्रृंखला में भौतिक उल्लंघन था। अध्ययन ने यह भी रेखांकित किया कि केवल मॉडल को "अधिक गहराई से सोचने" के लिए कहना या उसी के अधिक महंगे संस्करण का उपयोग करना बेहतर भौतिक तर्क की गारंटी नहीं देता है। कुछ मामलों में, नए मॉडल अपने पुराने संस्करणों की तुलना में बेहतर प्रदर्शन नहीं करते हैं, और जिन मॉडलों में स्पष्ट "रीज़निंग मोड" (reasoning modes) थे, वे अपने मानक समकक्षों की तुलना में कोई स्पष्ट लाभ नहीं दिखाते हैं।
यह देखने के लिए कि क्या ये मॉडल अपनी गलतियों से सीख सकते हैं, शोधकर्ताओं ने "कंस्ट्रेंट-ग्राउंडेड सेल्फ-वेरिफिकेशन" (Constraint-Grounded Self-Verification) नामक एक प्रक्रिया पेश की। इस सेटअप में, जब स्वचालित ओरेकल ने मॉडल के तर्क में भौतिक त्रुटि का पता लगाया, तो उसने उस विशिष्ट उल्लंघन को मॉडल को वापस भेजा और उसे अपना उत्तर संशोधित करने के लिए कहा। परिणाम उत्साहजनक लेकिन सूक्ष्म थे। मॉडल भौतिक फीडबैक द्वारा निर्देशित होने पर अपनी गलतियों को सफलतापूर्वक सुधारने और अपने कंसिस्टेंसी स्कोर में काफी सुधार करने में सफल रहे। हालाँकि, शोधकर्ताओं ने पाया कि यह सुधार अक्सर मॉडल के वास्तव में सही भौतिक मान खोजने के बजाय एक सुरक्षित, अधिक सामान्य उत्तर की ओर लौटने से आया। मॉडल ओरेकल द्वारा सेट किए गए विशिष्ट जाल से बचना सीख गए, लेकिन उन्होंने आवश्यक रूप से अंतर्निहित भौतिकी को नहीं सीखा। यह सुझाव देता है कि हालांकि मॉडलों को स्पष्ट असंभवताओं से दूर ले जाया जा सकता है, लेकिन उन्होंने अभी तक उन गहरे भौतिक सिद्धांतों को आत्मसात नहीं किया है जो शून्य से सही तर्क उत्पन्न करने के लिए आवश्यक हैं।
टीम ने इन त्रुटियों का पता लगाने के लिए एक छोटा, विशेष AI प्रशिक्षित किया, इस उम्मीद में कि यह पूर्ण भौतिक सिमुलेशन की भारी कम्प्यूटेशनल शक्ति की आवश्यकता के बिना उल्लंघनों की भविष्यवाणी कर सके। यह डिटेक्टर उसी प्रकार के डेटा पर बहुत अच्छा काम करता था जिस पर इसे प्रशिक्षित किया गया था, और तर्क श्रृंखलाओं में भौतिक विसंगतियों की सफलतापूर्वक पहचान करता था। हालाँकि, जब शोधकर्ताओं ने इसे पूरी तरह से नए प्रकार के भौतिक प्रतिबंधों पर परखा जिन्हें इसने पहले कभी नहीं देखा था, तो इसका प्रदर्शन रैंडम गेसिंग (random guessing) के स्तर तक गिर गया। यह निष्कर्ष महत्वपूर्ण है: यह इंगित करता है कि भौतिक त्रुटियों को पहचानने की क्षमता डेटा के प्रकार और शामिल नियमों के प्रति अत्यधिक विशिष्ट है। एक्स-रे विवर्तन पैटर्न में त्रुटियों को पहचानने के लिए प्रशिक्षित डिटेक्टर चुंबकीय गुणों या रासायनिक स्थिरता में त्रुटियों को पहचानने के लिए स्वतः नहीं सीख सकता। इस सामान्यीकरण की कमी का अर्थ है कि फिलहाल, भौतिक निरंतरता सुनिश्चित करने का सबसे विश्वसनीय तरीका प्रत्येक सामग्री समस्या के लिए विशिष्ट, भौतिकी-आधारित जाँच का उपयोग करना है, न कि एक एकल, सार्वभौमिक AI जज पर भरोसा करना।
अध्ययन निष्कर्ष निकालता है कि जबकि कृत्रिम बुद्धिमत्ता सामग्री विज्ञान के लिए एक शक्तिशाली उपकरण बन रही है, यह बाहरी सत्यापन के बिना उच्च-दांव वाली खोज के लिए अभी तक एक भरोसेमंद साथी नहीं है। मॉडल विश्वसनीय कथाएं उत्पन्न करने में सक्षम हैं, लेकिन इस प्रक्रिया में वे अक्सर भौतिकी के मौलिक नियमों का उल्लंघन करते हैं। नया ढांचा मानवीय हस्तक्षेप के बिना इन त्रुटियों को मापने और सुधारने का एक तरीका प्रदान करता है, जो अधिक विश्वसनीय वैज्ञानिक AI की ओर एक मार्ग प्रशस्त करता है। भौतिकी को अंतिम लेबल के रूप में मानकर, शोधकर्ताओं ने दिखाया है कि हम ऐसे सिस्टम बना सकते हैं जो प्रकृति के अडिग नियमों के विरुद्ध अपने तर्क का ऑडिट कर सकें। इसका मतलब यह नहीं है कि मॉडल खराब हैं, बल्कि यह है कि उनका वर्तमान तर्क अक्सर समझ का एक सिमुलेशन है न कि भौतिक सत्य का प्रतिबिंब। आगे का रास्ता इन भौतिकी-आधारित जाँचों को केवल एक परीक्षण के रूप में नहीं, बल्कि उन मॉडलों को प्रशिक्षित करने के लिए एक मार्गदर्शक के रूप में उपयोग करना है जो उसी कठोरता के साथ तर्क कर सकें जिसकी भौतिक दुनिया मांग करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।