Inference-Time Structural Reasoning for Compositional Vision-Language Understanding
यह शोध पत्र सीन ग्राफ्स के माध्यम से संरचनात्मक तर्क (structural reasoning) के साथ विजन-लैंग्वेज मॉडल्स के मूल्यांकन और संवर्धन के लिए एक एकीकृत ढांचे को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि Qwen3-VL-8B-Thinking मॉडल मल्टी-टर्न सीन ग्राफ फ़िल्टरिंग रणनीति के साथ बेहतर होने पर, विशेष रूप से विनोग्रउंड (Winoground) बेंचमार्क पर अन्य आर्किटेक्चर की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कुत्ते के बिल्ली का पीछा करने वाली फोटो देख रहे हैं। अब, कल्पना कीजिए कि कोई आपसे उस फोटो के बारे में दो सवाल पूछता है:
- "क्या कुत्ता बिल्ली का पीछा कर रहा है?"
- "क्या बिल्ली कुत्ते का पीछा कर रही है?"
एक इंसान के लिए, जवाब बिल्कुल स्पष्ट है: पहले का 'हाँ' और दूसरे का 'नहीं'। लेकिन कई उन्नत AI मॉडल्स (जिन्हें विजन-लैंग्वेज मॉडल्स कहा जाता है) के लिए ये दोनों वाक्य लगभग एक जैसे दिखते हैं क्योंकि इनमें शब्द बिल्कुल समान हैं: कुत्ता, बिल्ली, पीछा करना। AI भ्रमित हो जाता है, क्योंकि वह वाक्यों को "शब्दों की थैली" (bag of words) की तरह देखता है जहाँ शब्दों का क्रम मायने नहीं रखता। वह "कहानी" या पात्रों के बीच के "संबंध" को समझने में विफल रहता है।
यह शोध पत्र इन AI मॉडल्स को केवल शब्दों को पढ़ना ही नहीं, बल्कि "कथानक" (plot) को समझना सिखाने के बारे में है।
समस्या: "शब्दों की थैली" का जाल (The "Bag of Words" Trap)
शोधकर्ताओं ने Winoground नामक एक टेस्ट का उपयोग किया। इस टेस्ट को AI के लिए "अंतर पहचानो" खेल की तरह समझें। वे AI को दो तस्वीरें और दो वाक्य दिखाते हैं। वाक्यों में वही शब्द होते हैं लेकिन भूमिकाएँ बदल दी जाती हैं (जैसे, "आदमी कुत्ते को पकड़े हुए है" बनाम "कुत्ता आदमी को पकड़े हुए है")।
अधिकांश AI मॉडल्स इस टेस्ट में फेल हो जाते हैं क्योंकि वे उस व्यक्ति की तरह होते जो केक बनाने के बजाय केवल उसमें मौजूद सामग्री की गिनती करता है। वे "आदमी", "कुत्ता" और "पकड़ना" देखते हैं, इसलिए उन्हें लगता है कि दोनों वाक्य एक ही चीज़ का वर्णन कर रहे हैं। वे उस महत्वपूर्ण विवरण को मिस कर देते हैं: कौन, किसके साथ क्या कर रहा है।
समाधान: AI को एक "स्क्रिप्ट" देना
लेखकों ने महसूस किया कि यदि वे AI को केवल शब्दों के बजाय वाक्य की संरचना (व्याकरण और संबंधों) पर ध्यान केंद्रित करने के लिए मजबूर कर सकें, तो वह अधिक स्मार्ट हो जाएगा। उन्होंने TextSceneGraphParser नामक एक टूल बनाया।
उपमा: फिल्म निर्देशक (The Analogy: The Movie Director)
कल्पना कीजिए कि AI एक अभिनेता है जो एक स्क्रिप्ट याद करने की कोशिश कर रहा है।
- टूल के बिना: अभिनेता केवल पंक्तियाँ पढ़ता है: "कुत्ता। बिल्ली। पीछा करना।" उसे यह नहीं पता कि हीरो कौन है और पीड़ित कौन है।
- टूल के साथ: शोधकर्ता उस अभिनेता को एक निर्देशक की स्क्रिप्ट (सीन ग्राफ) देते हैं। यह स्क्रिप्ट वाक्य को एक स्पष्ट फ्लोचार्ट में तोड़ देती है:
- विषय (Subject): कुत्ता
- क्रिया (Action): पीछा करना
- वस्तु (Object): बिल्ली
- नियम (Rule): कुत्ता सक्रिय रूप से पीछा करने वाला है; बिल्ली निष्क्रिय रूप से भागने वाली है।
यह "स्क्रिप्ट" एक संरचनात्मक मानचित्र (structural map) के रूप में कार्य करती है, जिससे यह सुनिश्चित होता है कि AI शब्दावली के बजाय संबंधों को समझे।
प्रयोग: विभिन्न "मस्तिष्क" का परीक्षण करना
शोधकर्ताओं ने चार अलग-अलग प्रकार के AI मॉडल्स का परीक्षण किया, जो पुराने, सरल मॉडल्स से लेकर नए, विशाल "सोचने वाले" मॉडल्स तक विस्तृत थे।
- पुराने दिग्गज (CLIP, BLIP): ये उन छात्रों की तरह हैं जो तथ्य याद करने में अच्छे हैं लेकिन तर्क (logic) में कमजोर हैं। जब शोधकर्ताओं ने उन्हें "स्क्रिप्ट" दी, तो इससे बहुत अधिक मदद नहीं मिली। वे अपने सोचने के तरीके को बदलने के लिए बहुत कठोर (rigid) थे।
- मध्यम बच्चा (LLaVA): यह मॉडल स्मार्ट है लेकिन यदि आप इसे बहुत अधिक निर्देश दें तो यह भ्रमित हो जाता है। जब शोधकर्ताओं ने "स्क्रिप्ट" को इसकी बातचीत में जबरदस्ती डालने की कोशिश की, तो यह वास्तव में और भी खराब हो गया। यह एक ऐसे ड्राइवर को जटिल नक्शा देने जैसा है जो केवल अपने अंतर्ज्ञान (gut feeling) का पालन करना पसंद करता है; नक्शे ने उसे केवल ओवरथिंक करने और दुर्घटनाग्रस्त होने पर मजबूर कर दिया।
- द स्टार (Qwen3-VL-8B-Thinking): यह नया, शक्तिशाली मॉडल है। यह एक जासूस की तरह है जो पहले से ही अपराध सुलझाने में अच्छा है लेकिन कभी-कभी एक छोटा सा सुराग मिस कर देता है।
- प्लेन मोड (Plain Mode): बिना किसी मदद के भी, इसने 62.8% का अच्छा स्कोर किया।
- "मल्टी-टर्न" ट्रिक (The "Multi-Turn" Trick): शोधकर्ताओं ने पूरी स्क्रिप्ट को एक बार में AI पर नहीं डाला। इसके बजाय, उन्होंने एक दो-चरणीय बातचीत का उपयोग किया:
- चरण 1: "हे AI, इस तस्वीर और इस वाक्य को देखो। वाक्य के कौन से हिस्से वास्तव में उस तस्वीर से मेल खाते हैं? बाकी को अनदेखा करो।" (AI शोर/noise को फिल्टर करता है)।
- चरण 2: "ठीक है, अब केवल उन मैचिंग हिस्सों का उपयोग करके, मुझे बताओ कि क्या यह वाक्य सच है।"
- परिणाम: इस सरल बातचीत की तकनीक ने स्कोर को 66.0% तक पहुँचा दिया, जो सभी ओपन-सोर्स मॉडल्स को पीछे छोड़ते हुए मानव प्रदर्शन के बहुत करीब पहुँच गया।
मुख्य निष्कर्ष: "आप पुराने कुत्ते को नई चीजें नहीं सिखा सकते" (You Can't Teach an Old Dog New Tricks)
सबसे दिलचस्प खोज क्षमता (capability) के बारे में है।
- यदि कोई AI बहुत कमजोर है (जैसे पुराने मॉडल्स), तो उसे संरचनात्मक मानचित्र देने से कोई मदद नहीं मिलती क्योंकि वह मूल रूप से उस मानचित्र को समझ ही नहीं सकता।
- यदि कोई AI पहले से ही दुनिया को समझने के लिए पर्याप्त स्मार्ट है, तो उसे संरचनात्मक मानचित्र देना एक लेंस (lens) की तरह काम करता है, जो उसे सही विवरणों पर ध्यान केंद्रित करने और विकर्षणों (distractions) को अनदेखा करने में मदद करता है।
निष्कर्ष
यह शोध पत्र दिखाता है कि हमें मॉडल्स को स्मार्ट बनाने के लिए हमेशा विशाल AI मॉडल्स को शुरू से फिर से प्रशिक्षित (retrain) करने की आवश्यकता नहीं होती है। कभी-कभी, हमें बस सवाल पूछने का तरीका बदलने की आवश्यकता होती है। "स्ट्रक्चरल रीजनिंग" चरण जोड़कर—यानी AI को रुकने, वाक्य को एक तार्किक मानचित्र में तोड़ने और शोर को फिल्टर करने के लिए कहना—हम उन मॉडल्स में छिपी हुई बुद्धिमत्ता को अनलॉक कर सकते हैं जो पहले से ही वहां मौजूद थे, बस सही ढंग से उपयोग किए जाने की प्रतीक्षा कर रहे थे।
यह एक छात्र से "उत्तर का अनुमान लगाने" के बजाय उसे "अनुमान लगाने से पहले अपना काम दिखाने" (show their work) के लिए कहने के बीच का अंतर है। दूसरा तरीका लगभग हमेशा बेहतर परिणाम देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।