See2Think: Do Multimodal Models Really Use Intermediate Visual States?
यह शोध पत्र See2Think प्रस्तुत करता है, जो एक 1,200-नमूनों वाले बेंचमार्क और एक विज़ुअल एक्शन-ऑफ-थॉट प्रोटोकॉल से युक्त एक एकीकृत मूल्यांकन ढांचा है, यह प्रकट करने के लिए कि हालांकि मल्टीमॉडल मॉडल मध्यवर्ती विज़ुअल अवस्थाओं पर व्यवहार संबंधी निर्भरता प्रदर्शित करते हैं, उनकी तर्क सटीकता रेंडरिंग फिडेलिटी (rendering fidelity) द्वारा भारी रूप से बाधित होती है और विभिन्न मॉडलों एवं वातावरणों में महत्वपूर्ण रूप से भिन्न होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पेचीदा पहेली को हल करने की कोशिश कर रहे हैं, लेकिन केवल चित्र देखने के बजाय, आपको एक पेंसिल पकड़ने, रेखाएँ खींचने, सुरागों को घेरने और कागज पर अपने विचारों को रेखांकित करने की अनुमति है। यह मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (Multimodal Large Language Models) की दुनिया है—ऐसे सुपर-स्मार्ट कंप्यूटर प्रोग्राम जो टेक्स्ट पढ़ सकते हैं और छवियों को "देख" सकते हैं। कुछ समय से, ये मॉडल अपने चरणों को लिखकर "ज़ोर से सोचने" में बेहतर होते जा रहे हैं, जिसे चेन-ऑफ-थॉट (Chain-of-Thought) नामक एक तकनीक कहा जाता है। लेकिन कई पहेलियाँ, विशेष रूप से 3D स्थानों या जटिल ज्यामिति (geometry) से जुड़ी, केवल शब्दों के माध्यम से हल करना कठिन होती हैं। मनुष्य स्वाभाविक रूप से सोचने में मदद के लिए आरेख (diagrams) बनाते हैं, इसलिए वैज्ञानिकों ने सोचा: क्या ये AI मॉडल वास्तव में समस्याओं को हल करने के लिए मध्यवर्ती रेखाचित्रों और स्केच का उपयोग कर सकते हैं, या वे केवल दिखावा कर रहे हैं?
यही वह बड़ा सवाल है जो शोधकर्ता पूछ रहे हैं। यदि एक AI कहता है, "मुझे इसे समझने के लिए यहाँ एक रेखा खींचने की आवश्यकता है," तो क्या वह वास्तव में उस नए रेखाचित्र का उपयोग उत्तर खोजने के लिए करता है, या वह केवल रेखाचित्र को अनदेखा कर देता है और उत्तर का अनुमान लगा लेता है? यह पूछने जैसा है कि क्या एक छात्र गणित करने के लिए वास्तव में अपने रफ पेपर (scratch paper) का उपयोग कर रहा है, या वह केवल बेमतलब की चीजें लिख रहा है और उम्मीद कर रहा है कि अंतिम उत्तर किसी जादू से आ जाएगा। यह समझना महत्वपूर्ण है क्योंकि यदि मॉडल वास्तव में उनके द्वारा बनाए गए विजुअल टूल्स का उपयोग नहीं कर रहे हैं, तो हम उन फीचर्स को बनाने में समय बर्बाद कर रहे हैं जो वास्तव में उन्हें स्मार्ट नहीं बनाते।
यहाँ सी टू थिंक (See2Think) आता है, जो एक नया अध्ययन है जो AI तर्क (reasoning) के लिए एक जासूस की तरह काम करता है। शोधकर्ताओं ने सी टू थिंक बेंच (See2ThinkBench) नामक एक विशाल परीक्षण क्षेत्र बनाया, जिसमें 2D ज्यामिति, रसायन विज्ञान के आरेख, 3D रोबोटिक दृश्यों और वास्तविक दुनिया की भौतिकी की समस्याओं सहित 1,200 अलग-अलग पहेलियाँ शामिल हैं। उन्होंने मॉडलों से केवल उत्तर देने के लिए नहीं पूछा; उन्होंने एक विशेष प्रोटोकॉल सेट किया जिसे विजुअल एक्शन-ऑफ-थॉट (Visual Action-of-Thought - VAoT) कहा जाता है। इसे एक खेल की तरह समझें जहाँ AI को बारी-बारी से काम करना होता है: वह सोचता है, वह कुछ "ड्रॉ" करने का निर्णय लेता है (जैसे कि किसी विशिष्ट कोण को हाइलाइट करना या किसी हिस्से को क्रॉप करना), एक अलग टूल वास्तव में उसे ड्रॉ करता है, और फिर AI को अपनी तर्क प्रक्रिया जारी रखने के लिए उस नए ड्राइंग को देखना पड़ता है।
टीम ने यह देखने के लिए चार अलग-अलग शक्तिशाली AI मॉडलों का परीक्षण किया कि वे इस खेल को कैसे संभालते हैं। उन्होंने पाया कि कोई भी "एक ही आकार सबके लिए सही" (one size fits all) वाला विजेता नहीं है। कभी-कभी, केवल शब्दों में सोचना (बिना ड्राइंग के) सबसे अच्छा काम करता था; अन्य समय में, वास्तव में ड्राइंग देखना मददगार साबित हुआ। लेकिन यहाँ एक मोड़ है: मॉडल यह तय करने में आश्चर्यजनक रूप से अच्छे थे कि क्या ड्रा करना है (सही सुराग चुनना), लेकिन वे अक्सर ड्राइंग का सही ढंग से उपयोग करने में विफल रहे। वास्तव में, अध्ययन में पाया गया कि सबसे बड़ी बाधा सही क्रिया चुनना नहीं थी, बल्कि ड्राइंग की "विश्वसनीयता" (faithfulness) थी—क्या टूल ने वास्तव में वही बनाया जो AI ने मांगा था?
शायद सबसे दिलचस्प खोज तब आई जब शोधकर्ताओं ने मॉडलों के साथ एक "चाल" चली। उन्होंने जानबूझकर मॉडलों को "भ्रष्ट" (corrupted) ड्राइंग दी—ऐसी तस्वीरें जो दिखने में तो वैसी ही थीं जैसा AI ने मांगा था, लेकिन वास्तव में गलत या भ्रामक थीं। जब ऐसा हुआ, तो उनका प्रदर्शन काफी गिर गया, विशेष रूप से 3D दृश्यों में, जहाँ सटीकता 10 प्रतिशत अंक से अधिक कम हो गई। यह साबित करता है कि मॉडल वास्तव में उस विजुअल स्टेट पर निर्भर थे जो वे देख रहे थे, भले ही वह स्टेट खराब ही क्यों न हो। हालाँकि, अध्ययन यह भी सुझाव देता है कि केवल इसलिए कि एक मॉडल ड्राइंग पर निर्भर है, इसका मतलब यह नहीं है कि ड्राइंग ने वास्तव में उसे सही उत्तर पाने में मदद की। कभी-कभी, मॉडल विजुअल फीडबैक पर इतने निर्भर थे कि एक खराब ड्राइंग ने उन्हें इतना भ्रमित कर दिया कि वे विफल हो गए, जो यह दर्शाता है कि एक विजुअल स्टेट को "उपयोग करना" और उससे "लाभ उठाना" दो बहुत अलग चीजें हैं।
संक्षेप में, यह पेपर प्रकट करता है कि हालांकि AI मॉडल विजुअल रीजनिंग के विचार में बेहतर हो रहे हैं, वे अभी भी अपने स्वयं के स्केच को निष्पादित करने और उन पर भरोसा करने की जटिल वास्तविकता में संघर्ष करते हैं। वे उन छात्रों की तरह हैं जो जानते हैं कि आरेख के किस हिस्से को देखना है, लेकिन अक्सर खुद द्वारा बनाए गए नए स्केच को पढ़ने की कोशिश करते समय खो जाते हैं। शोधकर्ता निष्कर्ष निकालते हैं कि हमें केवल अंतिम उत्तर को देखना बंद करना चाहिए और पूरी प्रक्रिया का निदान (diagnose) करना शुरू करना चाहिए—यह जांचना कि क्या ड्राइंग प्रासंगिक थी, क्या इसे सही ढंग से बनाया गया था, और क्या मॉडल ने वास्तव में सोचने के लिए इसका उपयोग किया था। जब तक हम इन बाधाओं को ठीक नहीं करते, "छवियों के साथ सोचना" अभी भी एक वास्तविक सुपरपावर के बजाय केवल एक प्रदर्शन मात्र हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।