The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images
यह शोध पत्र एक कॉज़ल ऑडिट फ्रेमवर्क (कारण संबंधी ऑडिट ढांचा) प्रस्तुत करता है जो यह प्रदर्शित करता है कि मल्टीमॉडल एलएलएम (LLMs) में "इमेज के साथ सोचने" का प्रतिमान अक्सर प्रभावशीलता का एक भ्रम पैदा करता है, जहाँ समग्र सटीकता में वृद्धि के बावजूद, पॉलिसी मिसकैलिब्रेशन (नीति मिसकैलिब्रेशन) के कारण विजुअल टूल-यूज़ उत्तरों को कारणत्मक रूप से सुधारने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आप अपराध स्थल की फोटो को सिर्फ एक बार नहीं देखते, बल्कि आपके पास एक जादुई आवर्धक लेंस (magnifying glass) है। यह लेंस आपको सूक्ष्म विवरणों पर ज़ूम करने, विशिष्ट सुरागों को अलग करने और उन्हें करीब से देखने की अनुमति देता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "इमेज के साथ सोचना" (thinking with images) कहा जाता है। वैज्ञानिकों ने इन विजुअल टूल्स का उपयोग करने के लिए सुपर-स्मार्ट कंप्यूटर दिमागों (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स कहा जाता है) को सिखाया है, इस उम्मीद में कि "ज़ूम करके" और "करीब से देखकर," कंप्यूटर कठिन सवालों के जवाब देने में बेहतर हो जाएंगे। मूल विचार यह है कि यदि किसी इंसान को धुंधली लाइसेंस प्लेट को पढ़ने के लिए अपनी आँखें सिकोड़नी पड़ती हैं, तो एक कंप्यूटर भी स्वचालित रूप से ऐसा कर पाने में सक्षम होना चाहिए।
लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि आपके पास एक आवर्धक लेंस है, इसका मतलब यह नहीं है कि आपको पता है कि उसका उपयोग कैसे करना है। कभी-कभी, आप गलत जगह पर ज़ूम कर देते हैं, या इतना ज़्यादा ज़ूम कर देते हैं कि आप पूरी तस्वीर ही खो देते हैं, या फिर तब ज़ूम करते हैं जब आप पहले से ही उत्तर जानते थे। यह शोध पत्र एक बहुत ही महत्वपूर्ण प्रश्न पूछता है: जब ये AI जासूस अपने ज़ूम टूल्स का उपयोग करते हैं, तो क्या वे वास्तव में मिली नई जानकारी का उपयोग करके अपना विचार बदलते हैं, या वे केवल दिखावा कर रहे होते हैं और गुप्त रूप से अपने मूल अनुमान पर ही टिके रहते हैं? शोधकर्ता यह पता लगाना चाहते थे कि क्या "ज़ूमिंग" वास्तव में कंप्यूटर को सोचने में मदद कर रही है, या यह केवल एक दिखावटी नृत्य है जो समय और ऊर्जा बर्बाद करता है।
द ग्रेट ज़ूम इल्यूजन (महान ज़ूम का भ्रम)
शोधकर्ताओं ने इन AI जासूसों को एक सूक्ष्मदर्शी (microscope) के नीचे रखने का निर्णय लिया, लेकिन वह सूक्ष्मदर्शी नहीं जो कोशिकाओं को देखता है—उन्होंने एक "कॉज़ल ऑडिट" (causal audit) का उपयोग किया। इसे एक विशेष परीक्षण की तरह समझें जहाँ वे गुप्त रूप से उन सुरागों को बदल सकते हैं जिन्हें AI देख रहा है, ताकि यह देखा जा सके कि क्या AI वास्तव में उनकी परवाह करता है। उन्होंने AI की सोचने की प्रक्रिया को तीन स्तरों वाली एक कहानी की तरह माना: बड़ी तस्वीर (पूरी योजना), कहानी का मध्य (देखने की पूरी यात्रा), और व्यक्तिगत चरण (प्रत्येक बार जब AI ज़ूम करता है)।
उन्होंने इस परीक्षण को छह अलग-अलग AI मॉडल्स पर पांच अलग-अलग प्रकार के पेचीदा विजुअल पहेलियों के साथ चलाया। उन्हें जो परिणाम मिला वह चौंकाने वाला था। भले ही ज़ूम टूल्स का उपयोग करने वाले AI मॉडल्स ने कभी-कभी कुल मिलाकर कुछ अधिक सवाल सही हल किए, लेकिन यह सुधार उस "दिमागी शक्ति" (कंप्यूटर टोकन) की तुलना में बहुत कम था जिसे उन्होंने खर्च किया था। वास्तव में, कुछ मॉडल्स के लिए, टूल्स का उपयोग करना वास्तव में उन्हें समस्या सुलझाने में उस स्थिति से भी बदतर बना देता था जब उन्होंने केवल एक बार तस्वीर देखकर तुरंत अनुमान लगा लिया होता।
अध्ययन में दो मुख्य तरीके उजागर हुए जिनसे AI गलती करता है, जिसे लेखक "पॉलिसी मिसकैलिब्रेशन" (Policy Miscalibration) कहते हैं।
1. देखे बिना पुकारना (द "फेक डिटेक्टिव")
एक ऐसे जासूस की कल्पना करें जो कहता है, "मुझे उस खिड़की पर ज़ूम करने की ज़रूरत है!" लेकिन फिर तुरंत अपनी आँखें बंद कर लेता है और उत्तर का अनुमान लगाने लगता है। शोधकर्ताओं ने पाया कि कई AI मॉडल्स के लिए, ज़ूम करने के बाद उन्हें मिली विजुअल जानकारी ने वास्तव में उनके उत्तर को बिल्कुल नहीं बदला। AI केवल औपचारिकता पूरी कर रहा था। यह एक ऐसे छात्र की तरह था जो सवाल पूछने के लिए हाथ उठाता है, लेकिन फिर शिक्षक के उत्तर को अनदेखा कर देता है और बस वही लिख देता है जो वह पहले से ही सोच रहा था। "ज़ूम" केवल एक रस्म थी, सत्य की खोज नहीं।
2. योजना बनाए बिना देखना (द "ओवर-थिंकर")
यह समस्या का ठीक उल्टा है। एक ऐसे जासूस की कल्पना करें जिसे जिस सुराग की तलाश थी वह मिल गया, उसने रहस्य सुलझा लिया, लेकिन फिर भी वह बिना किसी कारण के फर्श, छत और बिल्ली पर ज़ूम करता रहा। AI सही उत्तर जल्दी पा लेता था, लेकिन फिर भी अनावश्यक रूप से अपने ज़ूम टूल का उपयोग करता रहता था, अक्सर बेकार जगहों पर ज़ूम करता था या समाप्त होने से पहले ही अपना "बजट" (समय/संसाधन) खत्म कर देता था। वह देख तो रहा था, लेकिन उसके पास कोई योजना नहीं थी कि कब रुकना है।
"कैलिब्रेटेड" अल्पसंख्यक
इस खोज का सबसे दिलचस्प हिस्सा यह है कि AI हमेशा विफल नहीं होता है। शोधकर्ताओं ने पाया कि टूल्स द्वारा प्रदान की गई सफलता का छोटा सा हिस्सा लगभग पूरी तरह से "कैलिब्रेटेड" (सटीक) प्रयासों के समूह से आया था। ये वे दुर्लभ क्षण थे जब AI को पता था कि कब ज़ूम करना है, क्या देखना है, और कब रुकना है।
इसे 100 छात्रों की एक कक्षा के रूप में सोचें। यदि शिक्षक कहता है, "हर कोई कैलकुलेटर का उपयोग करें," और कक्षा का औसत केवल 1 अंक बढ़ जाता है, तो यह लग सकता है कि कैलकुलेटर बहुत अच्छे हैं। लेकिन यदि आप करीब से देखें, तो आप पाएंगे कि 90 छात्रों ने बस बेतरतीब ढंग से बटन दबाए और भ्रमित हो गए, जबकि केवल 10 छात्रों ने वास्तव में समस्या को हल करने के लिए कैलकुलेटर का उपयोग करना जाना। "औसत" सुधार वास्तविक था, लेकिन यह उस छोटे, भाग्यशाली अल्पसंख्यक द्वारा बनाया गया एक भ्रम (illusion) था। बाकी क्लास केवल समय बर्बाद कर रही थी।
ऐसा क्यों होता है?
लेखक इस भ्रम का एक संभावित कारण बताते हैं: इन AI मॉडल्स को प्रशिक्षित करने का तरीका। उन्हें अक्सर केवल अंतिम उत्तर सही होने के लिए पुरस्कृत किया जाता है, इस बात के लिए नहीं कि वे वहां तक कैसे पहुंचे। यह एक वीडियो गेम की तरह है जहाँ आपको बॉस को हराने के लिए ही अंक मिलते हैं, और आपको उतने ही अंक मिलते हैं चाहे आपने बॉस से चतुराई से लड़ाई की हो या बस एक घंटे तक गोल-गोल घूमते रहे हों। क्योंकि AI को "देखे बिना पुकारने" या "योजना बनाए बिना देखने" के लिए दंडित नहीं किया जाता है, इसलिए यह सीख जाता है कि जब तक वह अंततः सही उत्तर पा लेता है, तब तक यह मायने नहीं रखता कि उसने समय बर्बाद किया या मिले हुए सुरागों को अनदेखा किया।
निचोड़ (The Bottom Bottom Line)
यह शोध पत्र यह नहीं कहता कि विजुअल टूल्स बेकार हैं। यह कहता है कि वर्तमान में, अधिकांश AI मॉडल्स इनका उपयोग मुख्य रूप से एक दिखावे के रूप में कर रहे हैं। वे नाम मात्र के लिए "इमेज के साथ सोच" रहे हैं। वास्तविक सफलता केवल AI को अधिक टूल्स देने या उन्हें तेज़ी से ज़ूम करने में नहीं आएगी; यह उन्हें वास्तव में यह सिखाने में आएगी कि जो वे देखते हैं उसे कैसे सुनें और कब देखना बंद करें। तब तक, "सोचना" केवल एक भ्रम हो सकता है, और AI केवल बहुत व्यस्त दिखने का नाटक करते हुए अनुमान लगा रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।