ReGround: Restoring Visual Grounding in Multi-Step Reasoning through Self-Diagnosis and Visual Re-Examination
ReGround एक दो-चरणीय ढांचा है जो विज़न-लैंग्वेज मॉडल्स को बहु-चरणीय तर्क के दौरान विज़ुअल ग्राउंडिंग विफलताओं का स्वायत्त रूप से स्वयं निदान करने और चयनात्मक रूप से दृश्य साक्ष्यों का पुन: परीक्षण करने के लिए प्रशिक्षित करके विज़ुअल ग्राउंडिंग को पुनर्स्थापित करता है, जिससे बिना किसी आर्किटेक्चरल संशोधन या बाहरी उपकरणों के महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कठिन पहेली को सुलझाने की कोशिश कर रहे हैं, लेकिन केवल डिब्बे पर बनी तस्वीर को देखने के बजाय, आपके पास एक सुपर-स्मार्ट रोबोट दोस्त है जो देखते समय आपसे बात कर सकता है। विजन-लैंग्वेज मॉडल्स (VLMs) के साथ यही होता है। ये AI सिस्टम हैं जो एक छवि देख सकते हैं और उसके बारे में पूछे गए प्रश्न को समझ सकते हैं, और फिर उत्तर खोजने के लिए चरणों के माध्यम से बातचीत कर सकते हैं। इन्हें एक ऐसे जासूस के रूप में समझें जो अपराध स्थल की फोटो और चश्मदीद के बयान को एक साथ देख सकता है।
हालाँकि, इसमें एक पेच है। जब जासूस को एक जटिल मामला सुलझाने के लिए कई कदम उठाने पड़ते है—जैसे कि एक लंबी गणितीय समस्या या विज्ञान की पहेली—तो वे कभी-कभी फोटो को भूलने लगते हैं। जैसे-जैसे वे अधिक बातें करते हैं, उनके दिमाग में शब्द भर जाते हैं, और उनकी मन की छवि धुंधली होने लगती है। वे अनुमान लगाने लगते हैं कि आमतौर पर क्या होता है, बजाय इसके कि वास्तव में चित्र में क्या है। इसे "विजुअल ग्राउंडिंग डिके" (visual grounding decay) कहा जाता है। यह एक ऐसे जासूस की तरह है जो सबूत देखना बंद कर देता है और केवल इसलिए अपराधी का नाम बताने लगता है क्योंकि वह सुनने में सही लग रहा है। वैज्ञानिक इस बात पर ध्यान देते हैं क्योंकि यदि AI चित्र को भूल जाता है, तो वह मूर्खतापूर्ण गलतियाँ कर सकता है, जैसे कि नीली कार को लाल बताना सिर्फ इसलिए क्योंकि वह रंगों के बारे में बहुत अधिक बात कर रहा है।
यहाँ आता है ReGround, एक नया तरीका जो इन AI जासूसों के लिए एक "रियलिटी चेक" (वास्तविकता की जाँच) के रूप में कार्य करता है। शोधकर्ताओं ने पाया कि जब एक AI एक लंबे तर्क की श्रृंखला में फंस जाता है, तो वह अक्सर छवि पर अपनी पकड़ खो देता है। लेकिन केवल AI को "फिर से देखो" कहना ही पर्याप्त नहीं है; वास्तव में, यदि आप बिना किसी विशिष्ट कारण के केवल "फिर से देखो" कहते हैं, तो AI भ्रमित हो सकता है और अधिक गलतियाँ कर सकता है। यह एक ऐसे छात्र की तरह है जिसे जब "अपना काम जाँचो" कहा जाता है, तो वह केवल घबरा जाता है और एक सही उत्तर को गलत उत्तर में बदल देता है क्योंकि उसे पता नहीं होता कि क्या देखना है।
पेपर दिखाता है कि असली सफलता का मंत्र सेल्फ-डायग्नोसिस (स्व-निदान) है। ReGround AI को पहले रुकने और खुद से पूछने के लिए सिखाता है, "रुको, क्या मैंने वास्तव में इस चरण के लिए चित्र को देखा था, या मैं केवल अनुमान लगा रहा हूँ?" यदि AI को एहसास होता है कि वह छवि से दूर जा रहा है, तो यह एक विशेष प्रक्रिया को सक्रिय करता है। इसके बाद, यह मूल छवि को अपनी मेमोरी में फिर से डाल देता है, लेकिन इस बार, यह AI के अपने एक विशिष्ट नोट के साथ आता है, जैसे, "हे, इस त्रिकोण के कोण को फिर से देखो," या "जांचो कि क्या वह संख्या चार्ट से मेल खाती है।"
शोधकर्ताओं ने आठ अलग-अलग बेंचमार्क पर इसका परीक्षण किया, जो AI के लिए मानकीकृत परीक्षणों की तरह हैं। उन्होंने पाया कि जब AI इस "निदान और पुनः जाँच" विधि का उपयोग करता है, तो वह कठिन दृश्य समस्याओं को हल करने में काफी बेहतर हो जाता है। उदाहरण के लिए, HallusionBench नामक एक टेस्ट पर (जो AI को ऐसी चीजें बनाने के लिए बनाया गया है जो वहां मौजूद नहीं हैं), AI का स्कोर 6.8 अंक बढ़ गया। यह एक बड़ी बात है क्योंकि इसका मतलब है कि AI के तथ्य गढ़ने की संभावना कम हो जाती है।
महत्वपूर्ण रूप से, पेपर कुछ विचारों को खारिज करता है। यह साबित करता है कि केवल AI को खुद से बात करने (टेक्स्ट-ओनली रिफ्लेक्शन) से काम नहीं चलता; छवि को फिर से दिखाना अनिवार्य है। यह भी दिखाता है कि एक सामान्य "फिर से देखो" कमांड वास्तव में हानिकारक है। AI को वापस देखने के लिए एक विशिष्ट, लक्षित कारण की आवश्यकता होती है। अध्ययन बताता है कि इस "सेल्फ-डायग्नोसिस" की गुणवत्ता सबसे महत्वपूर्ण हिस्सा है। यदि AI अपने स्वयं के भ्रम का निदान करना अच्छी तरह से सीख सकता है, तो वह बिना किसी बाहरी उपकरण या AI की बुनियादी मस्तिष्क संरचना को बदले, एक सुपर-स्मार्ट शिक्षक की मदद लेने के अधिकांश लाभों को प्राप्त कर सकता है।
संक्षेप में, ReGround AI को एक बेहतर जासूस बनना सिखाता है: न केवल सबूतों को फिर से देखकर, बल्कि यह जानकर कि क्या देखना है और कब अनुमान लगाना बंद करके जांच शुरू करनी है। यह AI की आँखों को लक्ष्य पर बनाए रखने का एक तरीका है, भले ही तर्क लंबा और जटिल क्यों न हो जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।