VisDoT : Enhancing Visual Reasoning through Human-Like Interpretation Grounding and Decomposition of Thought
यह शोध पत्र VisDoT को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो मानव-समान संवेदी ग्राउंडिंग कार्यों को औपचारिक रूप देकर और विज़ुअल परसेप्शन (दृश्य धारणा) को तार्किक तर्क से अलग करने के लिए 'डिकंपोज़िशन-ऑफ़-थॉट' प्रॉम्प्टिंग रणनीति का उपयोग करके बड़े विज़न-लैंग्वेज मॉडल्स में विज़ुअल रीजनिंग को बढ़ाता है, जिससे चार्ट समझने के बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त को एक जटिल चार्ट समझाने की कोशिश कर रहे हैं जिसने पहले कभी ऐसा चार्ट नहीं देखा है। यदि आप बस कहते हैं, "लाल बार को देखो और मुझे बताओ कि उसने कितने पैसे कमाए," तो आपका दोस्त भ्रमित हो सकता है। वे गलत बार देख सकते हैं, रंगों को मिला सकते हैं, या भूल सकते हैं कि संख्याओं का क्या अर्थ है।
यही वह समस्या है जिसे VisDoT हल करता है।
यहाँ इस शोध पत्र (paper) की कहानी सरल शब्दों में दी गई है:
समस्या: AI विवरणों के प्रति "अंधा" है
वर्तमान AI मॉडल (जिन्हें लार्ज विजन-लैंग्वेज मॉडल्स कहा जाता है) उन प्रतिभाशाली छात्रों की तरह हैं जिन्होंने लाइब्रेरी की हर किताब पढ़ ली है लेकिन उन्होंने वास्तव में कभी कोई ग्राफ नहीं देखा है। जब आप उन्हें एक चार्ट दिखाते हैं और कोई प्रश्न पूछते हैं, तो वे अक्सर उस टेक्स्ट के आधार पर उत्तर का अनुमान लगाते हैं जो वे देखते हैं, न कि वास्तव में डेटा को देखकर।
वे कह सकते हैं, "लाल बार सबसे ऊँचा है," जबकि वास्तव में नीला बार अधिक लंबा होता है। उन्हें विजुअल भाग (आकार, रंग और स्थिति) को अर्थ (संख्या और तर्क) के साथ जोड़ने में संघर्ष करना पड़ता है। इसे "ग्राउंडिंग" (grounding) की कमी कहा जाता है।
समाधान: VisDoT (विजुअल डिकम्पोजिशन ऑफ थॉट)
शोधकर्ताओं ने VisDoT नामक एक नया फ्रेमवर्क बनाया है। VisDoT को एक ट्रेनिंग मैनुअल के रूप में समझें जो AI को डेटा देखते समय "इंसानों की तरह सोचना" सिखाता है।
AI को एक ही बड़ी छलांग में उत्तर का अनुमान लगाने देने के बजाय, VisDoD उसे धीमा होने और एक विशिष्ट, मानव-समान प्रक्रिया का पालन करने के लिए मजबूर करता है। यह दो मुख्य तरीकों से करता है:
1. "परसेप्शन" ट्रेनिंग (देखना सीखना)
शोधकर्ताओं ने महसूस किया कि इंसान केवल चार्ट को "देखते" नहीं हैं; हम इसे विशिष्ट इंद्रियों का उपयोग करके डिकोड करते हैं। उन्होंने AI को चार विशिष्ट "सुपरपावर्स" सिखाईं जो हमारे मस्तिष्क द्वारा छवियों को स्वाभाविक रूप से प्रोसेस करने के तरीके पर आधारित हैं:
- पोजीशन (स्थिति): "क्या यह बिंदु उस बिंदु से ऊपर है या नीचे?" (जैसे लाइनअप में यह देखना कि कौन लंबा है)।
- लेंथ (लंबाई): "क्या यह बार लंबा है या छोटा?" (जैसे दो लकड़ियों की तुलना करना)।
- पैटर्न (पैटर्न): "'सेल्स' (बिक्री) किस रंग का प्रतिनिधित्व करता है और 'प्रॉफिट' (लाभ) किस रंग का?" (जैसे ताले में चाबी मिलाना)।
- एक्सट्रैक्ट (निकालना): "यहाँ सटीक संख्या क्या लिखी है?" (जैसे मूल्य टैग पढ़ना)।
AI को पहले इन चार कौशलों में महारत हासिल करने के लिए प्रशिक्षित करके, यह अनुमान लगाना बंद कर देता है और वास्तव में डेटा को देखना शुरू कर देता है।
2. "डिकम्पोजिशन" रणनीति (टुकड़ों में तोड़ना)
यही असली सफलता का मंत्र है। शोधकर्ताओं ने डिकम्पोज़िशन-ऑफ-थॉट (DoT) नामक एक विधि पेश की।
कल्पना कीजिए कि आपसे एक गणित का सवाल पूछा गया है: "यदि लाल बार 50 है, नीला बार 30 है, और हरा बार 20 है, तो औसत क्या है?"
- पुराना AI: तुरंत उत्तर का अनुमान लगाने की कोशिश करता है। यह भ्रमित होकर "40" या "100" कह सकता है।
- VisDoT AI: समस्या को छोटे, प्रबंधनीय चरणों में तोड़ देता है, ठीक वैसे ही जैसे एक इंसान करेगा:
- चरण 1 (परसेप्शन): "ठीक है, मुझे लाल बार ढूँढने दें। यह 50 कहता है।"
- चरण 2 (परसेप्शन): "अब मुझे नीला बार ढूँढने दें। यह 30 कहता है।"
- चरण 3 (परसेप्शन): "और हरा बार 20 है।"
- चरण 4 (लॉजिक): "अब मैं उन्हें जोड़ता हूँ: 50 + 30 + 20 = 100।"
- चरण 5 (लॉजिक): "अब मैं उन्हें 3 से विभाजित करता हूँ। उत्तर 33.3 है।"
AI को पहले देखने और फिर सोचने के लिए मजबूर करके, यह संख्याओं के गलत अनुमान लगाने या रंगों को मिलाने जैसी सामान्य गलतियों से बच जाता है।
परिणाम: एक स्मार्ट AI
जब उन्होंने इस नई पद्धति का परीक्षण किया:
- यह चार्ट्स में बहुत बेहतर हो गया: AI ने पिछले मॉडल्स की तुलना में चार्ट संबंधी प्रश्नों पर अपने स्कोर में 11% से अधिक सुधार किया।
- इसने दिग्गजों को पीछे छोड़ दिया: कठिन परीक्षणों पर, इस छोटे, ओपन-सोर्स AI ने GPT-4o जैसे विशाल और महंगे मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन किया।
- यह हर जगह काम करता है: यहाँ तक कि जब उन्होंने वास्तविक दुनिया की वस्तुओं (केवल चार्ट नहीं) की तस्वीरों पर इसका परीक्षण किया, तब भी इसने बेहतर प्रदर्शन किया। यह साबित करता है कि AI को "कूदने से पहले देखना" सिखाना एक सार्वभौमिक सुपरपावर है।
बड़ी तस्वीर
VisDoT को एक पहेली सुलझाने से पहले AI को चश्मा पहनने और रूलर (पैमाना) का उपयोग करने सिखाने के रूप में समझें। उत्तर देने के लिए जल्दबाजी करने के बजाय, यह सीखता है कि:
- टुकड़ों की पहचान कैसे करें (परसेप्शन)।
- प्रश्न को छोटे चरणों में तोड़ें (डिकम्पोजिशन)।
- चरण-दर-चरण पहेली को हल करें।
यह AI को न केवल स्मार्ट बनाता है बल्कि अधिक भरोसेमंद भी बनाता है, क्योंकि आप ठीक से देख सकते हैं कि वह उत्तर तक कैसे पहुँचा, ठीक वैसे ही जैसे किसी इंसान को व्हाइटबोर्ड पर समस्या सुलझाते हुए देखना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।