Investigating Relational Reasoning in VLMs

आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, कंप्यूटर की एक नई पीढ़ी ने एक साथ देखना और बोलना सीख लिया है। विजन-लैंग्वेज मॉडल (दृष्टि-भाषा मॉडल) के रूप में जाने जाने वाले ये सिस्टम, किसी तस्वीर को देख सकते हैं और उसकी सामग्री का वर्णन कर सकते हैं, जो वे देखते हैं उसके बारे में प्रश्नों के उत्तर दे सकते हैं, या यहाँ तक कि एक छवि के आधार पर पहेलियाँ भी हल कर सकते हैं। एक मानव पर्यवेक्षक के लिए, वे दृश्य जगत की एक वास्तविक समझ रखते हुए प्रतीत होते हैं, ठीक वैसे ही जैसे कोई व्यक्ति जो किसी दृश्य पर नज़र डालते ही तुरंत यह समझ जाता है कि वस्तुएं एक-दूसरे से कैसे संबंधित हैं। हालाँकि, एक मौलिक प्रश्न अनुत्तरित रह गया है: क्या ये मशीनें वास्तव में वस्तुओं के बीच स्थानिक संबंधों और जुड़ावों को समझती हैं, या वे केवल चतुर पैटर्न मिलान करने वाली (पैटर्न मैचर्स) हैं जो भाषाई युक्तियों और सांख्यिकीय अनुमानों पर निर्भर करती हैं? यह अनिश्चितता महत्वपूर्ण है क्योंकि यदि ये सिस्टम शॉर्टकट के माध्यम से समझ की नकल कर रहे हैं, तो वे उन स्थितियों में अप्रत्याशित रूप से विफल हो सकते हैं जो उनके प्रशिक्षण डेटा से मेल नहीं खाते, जिससे महत्वपूर्ण अनुप्रयोगों में त्रुटियां हो सकती हैं।

शोधकर्ताओं की एक टीम ने वास्तविक दुनिया की जटिलता को हटाकर उसे एक नियंत्रित, कृत्रिम वातावरण से बदलकर इन मॉडलों की आंतरिक कार्यप्रणाली को उजागर करने का प्रयास किया। उन्होंने एक कस्टम डेटासेट बनाया जिसमें हजारों सरल छवियां शामिल थीं, जिनमें प्रत्येक में वृत्त, वर्ग और त्रिकोण जैसे बुनियादी ज्यामितीय आकारों की एक छोटी संख्या विशिष्ट पैटर्न में व्यवस्थित थी। इन आकारों को विशिष्ट रंग और आकार दिए गए थे, और कुछ मामलों में, उन्हें जोड़ने के लिए तीरों (arrows) को स्पष्ट रूप से खींचा गया था, जबकि अन्य में, संबंध केवल उनकी सापेक्ष स्थिति द्वारा निहित था। शोधकर्ताओं ने फिर एक आधुनिक विजन-लैंग्वेज मॉडल को सटीक प्रश्नों की एक श्रृंखला दी, जिसमें उसे आकृतियों की संख्या पहचानने, विशिष्ट रंगों को पहचानने, या दो वस्तुओं के बीच एक तीर की दिशा निर्धारित करने के लिए कहा गया। सिंथेटिक छवियों के ज्ञात तथ्यों के विरुद्ध मॉडल के उत्तरों की तुलना करके, वे सटीक रूप से माप सके कि मशीन कितनी अच्छी तरह प्रदर्शन कर रही है।

परिणामों ने एक स्पष्ट विभाजन दिखाया कि मॉडल क्या आसानी से कर सकता है और वह कहाँ संघर्ष करता है। जब सरल पहचान संबंधी प्रश्न पूछे गए, जैसे कि आकृतियों की कुल संख्या गिनना या यह पहचानना कि क्या एक हरा वर्ग मौजूद है, तो मॉडल ने लगभग पूर्ण सटीकता के साथ प्रदर्शन किया, जो अक्सर निन्यानवे प्रतिशत से अधिक था। ऐसा लगा जैसे उसकी छवियों के मूर्त तत्वों पर मजबूत पकड़ है। हालाँकि, जैसे ही प्रश्नों के लिए मॉडल से बिना स्पष्ट दृश्य संकेतों के संबंधों को समझने की आवश्यकता हुई, इसका प्रदर्शन काफी गिर गया। उदाहरण के लिए, जब पूछा गया कि बिना तीर के कौन सी वस्तुएं जुड़ी हुई हैं, या केवल उनके लेआउट के आधार पर एक आकृति की दूसरी के सापेक्ष स्थिति का वर्णन करने के लिए कहा गया, तो मॉडल की सटीकता गिरकर लगभग साठ प्रतिशत या उससे कम हो गई। दिलचस्प बात यह है कि जब क्वेरी ने स्पष्ट दृश्य मार्कर प्रदान किए, जैसे कि खींचे गए तीर की दिशा के बारे में पूछना, तो मॉडल ने नब्बे प्रतिशत से अधिक की उच्च सटीकता बनाए रखी। इससे पता चला कि मशीन दृश्य का एक सुसंगत मानसिक मानचित्र नहीं बना रही थी, बल्कि वह प्रश्न में उपयोग किए गए विशिष्ट शब्दों और प्रदान किए गए स्पष्ट दृश्य मार्करों पर बहुत अधिक निर्भर थी।

यह निर्धारित करने के लिए कि क्या मॉडल वास्तव में संबंधों को "देख" रहा था या केवल भाषा के आधार पर अनुमान लगा रहा था, शोधकर्ताओं ने छवियों को स्वयं बदलकर एक कठोर परीक्षण किया। उन्होंने मूल चित्रों के संशोधित संस्करण बनाए जहाँ उन्होंने डिजिटल रूप से एक विशिष्ट तत्व, जैसे कि एक एकल आकृति या एक तीर को हटा दिया, और फिर वही प्रश्न फिर से पूछे। यदि मॉडल दृश्य साक्ष्य के बारे में वास्तव में तर्क दे रहा होता, तो छवि के एक प्रमुख हिस्से को हटाने से उसकी सटीकता तेजी से गिरनी चाहिए थी। कुछ मामलों में, बिल्कुल ऐसा ही हुआ; जब मॉडल को आकृतियों को गिनने या तीर की दिशा का पालन करने के लिए कहा गया, तो प्रासंगिक दृश्य तत्व को हटाने से इसके प्रदर्शन में लगभग पच्चीस प्रतिशत की गिरावट आई। इसने संकेत दिया कि इन कार्यों के लिए, मॉडल वास्तव में छवि को देख रहा था, लेकिन वह उस दृश्य डेटा को आंतरिक पूर्वाग्रहों के साथ मिला रहा था जिसने दृश्य परिवर्तन होने पर इसे नाजुक बना दिया।

इससे भी अधिक आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि अन्य प्रकार के प्रश्नों के लिए, दृश्य तत्वों को हटाने से मॉडल का प्रदर्शन बेहतर हो गया या अपरिवर्तित रहा। जब आकृतियों की सापेक्ष स्थिति या बिना तीर के संबंध के अस्तित्व के बारे में पूछा गया, तो दृश्य साक्ष्य को बाधित करने पर मॉडल ने बेहतर उत्तर दिए। यह प्रति-सहज परिणाम, जिसे पेपर में "आश्चर्यजनक" और "दृश्य तर्क का सीधा विरोध करने वाला" नोट किया गया है, दृढ़ता से सुझाव देता है कि मॉडल इन समस्याओं को हल करने के लिए दृश्य डेटा का उपयोग बिल्कुल नहीं कर रहा था। इसके बजाय, वह अपने प्रशिक्षण डेटा से सीखे गए सांख्यिकीय पैटर्न पर भरोसा कर रहा था, जो अनिवार्य रूप से प्रश्न के वाक्यांश के आधार पर उत्तर का अनुमान लगा रहा था। मशीन स्थान के बारे में तर्क नहीं दे रही थी; वह भाषा संकेतों के आधार पर एक संभावित प्रतिक्रिया को दोहरा रही थी।

मॉडल की प्रोसेसिंग परतों के भीतर झांकते हुए, शोधकर्ताओं ने प्रारंभिक छवि इनपुट से अंतिम उत्तर तक सूचना के प्रवाह का पता लगाया। उन्होंने पाया कि मॉडल की शुरुआती परतें एक विशिष्ट रंग या आकार की उपस्थिति जैसे सरल विवरणों को पहचानने में बहुत अच्छी थीं। जैसे-जैसे सूचना सिस्टम में गहराई तक जाती है, मॉडल वस्तुओं को गिनने और मोटे तौर पर संबंधों की पहचान करने में बेहतर होता जाता है। हालाँकि, गहरी परतें वस्तुओं के बीच जटिल, अमूर्त संबंधों, जैसे कि एक तीर की सटीक दिशा या बिना स्पष्ट मार्करों के वस्तुओं की स्थानिक व्यवस्था को लगातार एनकोड करने में विफल रहती हैं। अध्ययन निष्कर्ष निकालता है कि हालांकि ये शक्तिशाली सिस्टम कई दृश्य कार्यों पर उच्च स्कोर प्राप्त कर सकते हैं, उनकी समझ सख्ती से स्पष्ट रूप से अवलोकन योग्य चीजों तक सीमित है। वे वास्तविक दृश्य समझ प्रदर्शित नहीं करते हैं, बल्कि एक हाइब्रिड रणनीति पर निर्भर करते हैं जो वास्तविक दृश्य धारणा को भाषाई शॉर्टकट के साथ जोड़ती है। यह खोज वर्तमान आर्टिफिशियल इंटेलिजेंस की एक महत्वपूर्ण सीमा को उजागर करती है, जो बताती है कि वास्तविक दृश्य समझ के लिए केवल पिक्सेल और शब्दों को प्रोसेस करना पर्याप्त नहीं है; इसके लिए एक गहरे, अधिक मजबूत तर्क की आवश्यकता है जिसे ये मॉडल अभी तक प्राप्त नहीं कर पाए हैं।