VG-CoT: Towards Trustworthy Visual Reasoning via Grounded Chain-of-Thought
यह शोधपत्र VG-CoT को प्रस्तुत करता है, जो एक स्केलेबल, स्वचालित रूप से निर्मित डेटासेट और बेंचमार्क है जो एक तीन-चरणीय पाइपलाइन के माध्यम से बहु-चरणीय तर्क को जमीनी दृश्य साक्ष्य (grounded visual evidence) से स्पष्ट रूप से जोड़कर लार्ज विजन-लैंग्वेज मॉडल्स की विश्वसनीयता को बढ़ाता है और तर्क की गुणवत्ता, उत्तर की सटीकता, तथा तर्क-उत्तर संरेखण (reasoning-answer alignment) के माध्यम से प्रदर्शन का मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक गणित की परीक्षा दे रहे हैं। आपको सही उत्तर मिल जाता है, लेकिन जब शिक्षक पूछते हैं, "अपना काम दिखाओ (Show your work)," तो आप बस कहते हैं, "मैंने अंदाज़ा लगाया।" या उससे भी बुरा, आप अपनी समस्या को हल करने के बारे में एक पूरी तरह से मनगढ़ंत कहानी लिख देते हैं, भले ही आपकी कहानी के नंबर समस्या से मेल न खाते हों।
लंबे समय तक, चित्रों को देखने वाले AI मॉडल (जिन्हें LVLMs कहा जाता है) बिल्कुल यही कर रहे थे। वे अक्सर किसी चित्र के बारे में पूछे गए प्रश्न का सही उत्तर तो दे देते थे, लेकिन वे यह नहीं समझा पाते थे कि उन्हें वह उत्तर क्यों मिला, या वे जो देखते थे उसके बारे में "भ्रम" (hallucinate) या मनगढ़ंत बातें करते थे। वे उन छात्रों की तरह थे जिन्होंने उत्तर कुंजी (answer key) तो रट ली है, लेकिन वास्तव में गणित कभी सीखा ही नहीं।
यह पेपर एक नया समाधान पेश करता है जिसे VG-CoT (Visual Grounded Chain-of-Thought) कहा जाता है। यहाँ इसका सरल विवरण दिया गया है कि उन्होंने क्या किया और यह क्यों महत्वपूर्ण है।
1. समस्या: "अंधा अंदाज़ा लगाने वाला" AI
वर्तमान AI मॉडल एक पूरी तस्वीर को देखकर यह कहने में माहिर हैं कि "यह एक कुत्ता है!" लेकिन यदि आप पूछते हैं, "क्या कुत्ते ने लाल रंग का पट्टा पहना है या नीला?" तो वे "लाल" का अनुमान लगा सकते हैं क्योंकि उन्होंने अपने प्रशिक्षण डेटा में लाल पट्टे बहुत देखे हैं, भले ही चित्र में कुत्ते ने नीला पट्टा पहना हो।
समस्या यह है कि मौजूदा प्रशिक्षण डेटा एक ऐसी पाठ्यपुस्तक की तरह है जहाँ उत्तर अदृश्य स्याही में लिखे होते हैं। AI उत्तर तो सीख जाता है, लेकिन वह उस विशिष्ट भाग की ओर इशारा करना नहीं सीखता जो यह साबित करे कि उत्तर सही है।
2. समाधान: "साक्ष्य जासूस" पाइपलाइन (The "Evidence Detective" Pipeline)
लेखकों ने VG-CoT नामक एक नया डेटासेट बनाया है। इस डेटासेट को AI जासूसों के लिए एक प्रशिक्षण पाठ्यक्रम के रूप में समझें। केवल उत्तर सीखने के बजाय, AI को सबूतों की ओर इशारा करना सीखने के लिए मजबूर किया जाता है।
उन्होंने इस डेटासेट को बनाने के लिए एक पूरी तरह से स्वचालित, तीन-चरणीय असेंबली लाइन बनाई है (ताकि उन्हें चीजों के चारों ओर बॉक्स बनाने के लिए हजारों लोगों को काम पर रखने की आवश्यकता न पड़े, जो धीमा और महंगा होता है):
- चरण 1: स्काउट (खोजकर्ता - Detection): वे चित्र को स्कैन करने और सब कुछ खोजने के लिए स्मार्ट टूल्स का उपयोग करते हैं। "ठीक है, मैं यहाँ एक जिराफ़ देख रहा हूँ, वहाँ एक बस है, और एक साइन पर कुछ टेक्स्ट है।" उन्हें वस्तुओं के सटीक निर्देशांक (coordinates) मिलते हैं (जैसे वस्तुओं के लिए GPS)।
- चरण 2: डिटेक्टिव (जासूस - Reasoning): वे इन "सुरागों" की सूची को एक सुपर-स्मार्ट AI (GPT-4o) को देते हैं और कहते हैं, "यहाँ सुराग दिए गए हैं। अब, यह समझाने के लिए एक चरण-दर-चरण कहानी लिखें कि आपने प्रश्न को कैसे हल किया, और आपको हर सुराग के लिए GPS निर्देशांक (coordinates) उद्धृत करने होंगे।"
- उदाहरण: यह कहने के बजाय कि "जिराफ़ मैदान में है," AI को कहना होगा, "मैं [निर्देशांक X,Y पर] जिराफ़ को पेड़ों [निर्देशांक A,B पर] के पास खड़ा देख रहा हूँ, इसलिए वह मैदान में है।"
- चरण 3: एडिटर (संपादक - Refinement): कभी-कभी AI एक छोटी सी बारीकी को छोड़ देता है। यह चरण कहानी की दोबारा जाँच करने के लिए एक अन्य टूल का उपयोग करता है और यह सुनिश्चित करता है कि कहानी में उल्लेखित प्रत्येक वस्तु वास्तव में चित्र में उसी स्थान पर मौजूद है जिसका दावा AI ने किया था।
3. नया रिपोर्ट कार्ड: "विश्वसनीय" बेंचमार्क
इससे पहले, हम केवल एक चीज़ पर AI को ग्रेड देते थे: क्या उन्हें सही उत्तर मिला? (हाँ/नहीं)।
लेखकों ने महसूस किया कि यह अनुचित है। यदि कोई छात्र सही उत्तर का अनुमान लगाता है लेकिन खराब तर्क का उपयोग करता है, तो उसे 'A' ग्रेड नहीं मिलना चाहिए। इसलिए, उन्होंने तीन ग्रेडों के साथ एक नया रिपोर्ट कार्ड बनाया:
- तर्क की गुणवत्ता (Rationale Quality): क्या AI ने चित्र से वास्तविक साक्ष्य का उपयोग किया? क्या तर्क सही था?
- उत्तर की सटीकता (Answer Accuracy): क्या उन्होंने अंतिम उत्तर सही दिया?
- एलाइनमेंट (Alignment): क्या तर्क वास्तव में उत्तर से मेल खाता है? (जैसे, क्या उन्हें सही उत्तर सही साक्ष्य के कारण मिला, या सिर्फ किस्मत से?)
4. परिणाम: अधिक स्मार्ट, अधिक ईमानदार AI
उन्होंने इस नए प्रशिक्षण तरीके को कई लोकप्रिय AI मॉडलों (जैसे LLaVA और Qwen) पर परखा। इसके परिणाम एक छात्र को 'C-' से 'A+' तक जाते हुए देखने जैसे थे, जब उसने अपना काम दिखाना सीखा:
- बेहतर तर्क: मॉडल अपने उत्तरों को सही ठहराने के लिए चित्र के सही हिस्सों की ओर इशारा करने लगे।
- कम भ्रम (Fewer Hallucinations): उन्होंने मनगढ़ंत बातें बनाना बंद कर दिया। यदि चित्र में टेक्स्ट धुंधला था, तो उन्होंने अनुमान लगाने के बजाय या तो यह स्वीकार किया या उसे करीब से देखा।
- विश्वास: क्योंकि अब AI को अपने उत्तरों को दृश्य प्रमाण के साथ "अपना काम दिखाने" के लिए कहा जाता है, इसलिए हम उनके उत्तरों पर बहुत अधिक भरोसा कर सकते हैं।
बड़ी तस्वीर (The Big Picture)
VG-CoT को एक AI को जुआरी के बजाय वकील बनने की शिक्षा देने के रूप में समझें।
- एक जुआरी केवल उस पर दांव लगाता है जो उसे सही लगता है।
- एक वकील साक्ष्यों को देखता है, विशिष्ट दस्तावेज़ (या इस मामले में, चित्र के विशिष्ट पिक्सेल) की ओर इशारा करता है, और एक तार्किक मामला बनाता है।
यह पेपर हमें AI को वकील बनाने के उपकरण देता है। यह उन्हें अधिक विश्वसनीय, भरोसेमंद और जटिल समस्याओं को हल करने में बहुत बेहतर बनाता है जहाँ विवरण मायने रखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।