Separating perception from reasoning in vision-language models: a model-free render ceiling for crystal structures
यह शोध पत्र "रेंडर सीलिंग" (render ceiling) को प्रस्तुत करता है, जो ज्ञात क्रिस्टल संरचनाओं के इनवर्टेड कैमरा रेंडरिंग का उपयोग करने वाला एक मॉडल-मुक्त बेंचमार्किंग तरीका है, जो विजन-लैंग्वेज मॉडल्स में दृश्य धारणा की त्रुटियों को तर्क संबंधी विफलताओं से निश्चित रूप से अलग करता है, जिससे यह पता चलता है कि कई मॉडल तार्किक निष्कर्ष निकालने के बजाय ज्यामितीय निष्कर्षण (geometric extraction) में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सामग्री विज्ञान (materials science) की दुनिया में, शोधकर्ता अपना दिन इस बात को समझने में बिताते हैं कि परमाणु खुद को कैसे व्यवस्थित करते हैं ताकि वे ठोस पदार्थ बना सकें जिनसे हमारी दुनिया बनी है। ये व्यवस्थाएं, जिन्हें क्रिस्टल संरचनाएं (crystal structures) कहा जाता है, अक्सर तीन-आयामी चित्रों के रूप में देखी जाती हैं जहाँ गोले परमाणुओं का प्रतिनिधित्व करते हैं और छड़ें उन्हें जोड़ने वाले बंधों (bonds) को दर्शाती हैं। दशकों से, वैज्ञानिक जटिल स्थानिक संबंधों को संप्रेषित करने के लिए इन छवियों पर भरोसा करते आए हैं, लेकिन अब आर्टिफिशियल इंटेलिजेंस की एक नई पीढ़ी को इन्हें पढ़ने के लिए कहा जा रहा है। ये विजन-लैंग्वेज मॉडल (vision-language models) किसी छवि को देखने और उसके बारे में उत्तर देने के लिए डिज़ाइन किए गए हैं, जो कंप्यूटर द्वारा देखे जाने वाले दृश्य और मानव द्वारा समझे जाने वाले अर्थ के बीच एक सेतु का काम करते हैं। उम्मीद यह है कि ये सिस्टम अंततः वैज्ञानिक चित्रों की व्याख्या करके नए पदार्थों को डिजाइन करने में मदद कर सकते हैं, ठीक वैसे ही जैसे एक मानव शोधकर्ता करता है। हालाँकि, एक निरंतर समस्या ने यह जानना कठिन बना दिया है कि क्या ये मशीनें वास्तव में देखना सीख रही हैं या वे केवल पाठ (text) के पैटर्न के आधार पर अनुमान लगा रही हैं। जब कोई मॉडल गलत उत्तर देता है, तो यह बताना लगभग असंभव हो जाता है कि वह चित्र की सही व्याख्या न कर पाने के कारण विफल हुआ या पहेली को हल करने के लिए तर्क (logic) का उपयोग करने में विफल रहा। इन दो कौशलों को अलग करने के बिना, वैज्ञानिक समुदाय यह नहीं जान सकता कि इन उपकरणों को सुधारने के लिए अपने प्रयासों को कहाँ केंद्रित किया जाए।
शोधकर्ताओं की एक टीम ने अब इन मॉडलों को मापने का एक नया तरीका पेश किया है जो पूरी तरह से अनुमान लगाने की आवश्यकता को समाप्त कर देता है। किसी अन्य कंप्यूटर प्रोग्राम को न्यायाधीश के रूप में कार्य करने के बजाय, उन्होंने एक ऐसी प्रणाली बनाई जो उन सटीक गणितीय नियमों पर आधारित है जिनका उपयोग मूल रूप से छवियों को बनाने के लिए किया गया था। उन्होंने क्रिस्टल संरचनाओं के एक ज्ञात सेट से शुरुआत की, जिनके परमाणु स्थान पूरी तरह से परिभाषित थे, और हजारों छवियां उत्पन्न करने के लिए एक मानक कैमरा सेटअप का उपयोग किया। क्योंकि वे जानते थे कि कैमरा कैसे स्थित था और मूल वस्तु कैसी दिखती थी, वे गणितीय रूप से इस प्रक्रिया को उलट सकते थे। कैमरा कोणों को उलटने और विभिन्न दृश्यों से परमाणुओं की स्थितियों की पुनर्गणना करके, वे पूर्ण सटीकता के साथ मूल संरचना को पुनः प्राप्त कर सकते थे। इस प्रक्रिया ने पूर्ण सटीकता की एक "सीमा" (ceiling) बनाई, जो एक बेंचमार्क का प्रतिनिधित्व करती है जो छवियों में उपलब्ध पूर्णतम जानकारी है। यदि छवियों में ही उत्तर मौजूद है, तो यह विधि इसे सिद्ध करती है। यदि कोई मॉडल उत्तर खोजने में विफल रहता है, तो विफलता मॉडल की होगी, चित्र की नहीं।
शोधकर्ताओं ने दो हजार से अधिक क्रिस्टल संरचनाओं पर इस पद्धति का परीक्षण किया, यह सुनिश्चित करने के लिए कि कोई भी दो परमाणु कभी भी इस तरह से ओवरलैप न हों जिससे गणना भ्रमित हो सके। उन्होंने पाया कि इन सभी संरचनाओं के लिए, गणितीय रिवर्सल पूरी तरह से काम कर गया, जिसने हर बार सही उत्तर को सफलतापूर्वक पुनः प्राप्त किया। इसका अर्थ था कि सीमा (ceiling) ठोस थी; छवियों में पूर्ण सत्य निहित था। इसके बाद उन्होंने चौदह अलग-अलग विजन-लैंग्वेज मॉडलों से इन छवियों के लिए क्रिस्टल सिस्टम की पहचान करने को कहा। परिणाम बहुत ही स्पष्ट थे। हालांकि मॉडल बेहतर प्रदर्शन करते थे जब उन्हें सटीक परमाणु निर्देशांक (coordinates) टेक्स्ट के रूप में दिए जाते थे, फिर भी वे उस अतिरिक्त सहायता के साथ भी पूर्ण स्कोर से काफी पीछे रह गए। अधिकांश मॉडलों के लिए, उनके प्रदर्शन और पूर्ण सीमा के बीच का अंतर चित्र को समझने में असमर्थता के कारण नहीं था, बल्कि उनके द्वारा चित्र को समझने के बाद, यानी तर्क (reasoning) के चरण के दौरान उनकी त्रुटियां हुईं। अध्ययन ने दिखाया कि चौदह में से तेरह मॉडलों के लिए, कठिनाई उनके तर्क में थी, न कि उनकी दृष्टि में।
यह सिद्ध करने के लिए कि छवियां स्वयं पठनीय थीं, शोधकर्ताओं ने एक सरल कंप्यूटर विज़न सिस्टम को प्रशिक्षित किया जिसमें कोई भाषा क्षमता नहीं थी। इस सिस्टम ने बिना किसी टेक्स्ट या रासायनिक ज्ञान के, केवल छवियों के पिक्सेल को देखा। उल्लेखनीय रूप से, इस सरल सिस्टम ने परीक्षण किए गए प्रत्येक विजन-लैंग्वेज मॉडल से बेहतर स्कोर किया, और लगभग नब्बे प्रतिशत मामलों में क्रिस्टल संरचनाओं की सही पहचान की। यह निष्कर्ष बताता है कि छवियां मशीन द्वारा पढ़े जाने के लिए बहुत जटिल नहीं हैं; बल्कि, जटिल मॉडल उनके द्वारा देखे गए सूचना को संसाधित करने में संघर्ष कर रहे हैं। अध्ययन ने इन प्रणालियों के काम करने के तरीके में एक छिपे हुए दोष का भी खुलासा किया। जब छवियों से परमाणुओं के निर्देशांक निकालने के लिए कहा गया, तो एक शक्तिशाली मॉडल ने संख्याओं की ऐसी सूचियाँ प्रस्तुत कीं जो दिखने में तो बिल्कुल सही प्रारूप में थीं, लेकिन पूरी तरह से गलत थीं, और चित्र के वास्तविक परमाणुओं से उनका कोई मेल नहीं था। एक मानक परीक्षण में, इस प्रकार की त्रुटि को खराब तर्क (reasoning) के रूप में दोषी ठहराया जाता, लेकिन इस नई पद्धति ने दिखाया कि यह वास्तव में छवि को देखने में विफलता थी। मॉडल डेटा का निर्माण (fabricating) कर रहा था, एक ऐसी झूठी वास्तविकता बना रहा था जो सतह पर तो सही दिखती थी लेकिन भीतर से खाली थी।
इस कार्य के निहितार्थ केवल टेस्ट स्कोर को ग्रेड करने तक ही सीमित नहीं हैं। शोधकर्ताओं ने प्रदर्शित किया कि किसी वस्तु के चारों ओर कैमरों को रखने का तरीका कैमरों की संख्या से अधिक महत्वपूर्ण है। उन्होंने पाया कि पांच दृश्यों का एक विशिष्ट विन्यास (arrangement) किसी भी अस्पष्टता को समाप्त करने के लिए पर्याप्त था, जबकि कम दृश्य त्रुटियों की गुंजाइश छोड़ देते थे। यह उन वैज्ञानिकों के लिए एक स्पष्ट नियम प्रदान करता है जो बेंचमार्क बनाते हैं: दृश्यों की मात्रा से अधिक दृश्य की गुणवत्ता मायने रखती है। इससे भी महत्वपूर्ण बात यह है कि अध्ययन वैज्ञानिक वर्कफ़्लो में आर्टिफिशियल इंटेलिजेंस का ऑडिट करने के लिए एक नया उपकरण प्रदान करता है। भविष्य में, जैसे-जैसे इन मॉडलों का उपयोग नए पदार्थों को डिजाइन करने के लिए किया जाएगा, यह विधि यह सुनिश्चित करने के लिए एक जांच के रूप में कार्य कर सकती है कि उनके तर्क के मध्यवर्ती चरण वास्तविक डेटा पर आधारित हैं या काल्पनिक (hallucinated) नंबरों पर। दृश्य को समझने और सोचने के तरीके को अलग करके, शोधकर्ताओं ने विज्ञान के लिए अधिक विश्वसनीय उपकरण बनाने का एक तरीका प्रदान किया है, यह सुनिश्चित करते हुए कि जब कोई मॉडल किसी क्रिस्टल को समझने का दावा करता है, तो वह वास्तव में उसे देख रहा होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।