← नवीनतम पेपर
💻 computer science

Faithful Grounded Visual Reasoning via Learned Proxy-Tokens

यह शोध पत्र कंपोजर (Composer) को प्रस्तुत करता है, जो एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल है जो विजुअल ग्राउंडिंग में सिमेंटिक-स्पेशियल अंतराल को पाटने के लिए पारंपरिक टेक्स्टुअल कोऑर्डिनेट्स के स्थान पर सीखे गए प्रॉक्सी-टोकेन्स का उपयोग करता है, जिससे प्रतिस्पर्धी उत्तर प्रदर्शन बनाए रखते हुए ग्राउंडिंग सटीकता में महत्वपूर्ण सुधार प्राप्त होता है।

मूल लेखक: Tom Hodemon, Mohamed Chaouch, Aboubacar Tuo, Angelique Loesch

प्रकाशित 2026-06-23
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Tom Hodemon, Mohamed Chaouch, Aboubacar Tuo, Angelique Loesch

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बुद्धिमान, लेकिन थोड़े रहस्यमयी रोबोट से एक फोटो को देखने और उस पर आधारित एक सवाल का जवाब देने के लिए कह रहे हैं। उदाहरण के लिए: "क्या नीला बैकपैक दाईं ओर है?"

वर्तमान "स्मार्ट" रोबोट (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स कहा जाता है) सही उत्तर देने में माहिर हैं, लेकिन वे एक ब्लैक बॉक्स की तरह काम करते हैं। आप एक सवाल पूछते हैं, और वे उत्तर दे देते हैं। आपको यह पता ही नहीं चलता कि उन्होंने वह उत्तर कैसे खोजा। क्या उन्होंने वास्तव में बैकपैक को देखा? या उन्होंने केवल अपने ट्रेनिंग डेटा में "बैकपैक" शब्द के बार-बार आने के आधार पर अनुमान लगा लिया?

समस्या: "नकली मानचित्र" (The "Fake Map")

रोबोट्स को अधिक ईमानदार बनाने के लिए, शोधकर्ताओं ने उन्हें यह सिखाने की कोशिश की कि वे दिखाएं कि वे कहाँ देख रहे हैं। आमतौर पर, वे ऐसा करने के लिए रोबोट को निर्देशांक (coordinates) लिखने के लिए कहते हैं, जैसे कि "x=100, y=200" वाला एक टेक्स्ट स्ट्रिंग।

यह पेपर तर्क देता है कि यह एक इंसान को संख्याओं की एक सूची पढ़ने के बजाय एक शहर में नेविगेट करने के लिए कहने जैसा है। रोबोट इन नंबरों को एक वाक्य में बस एक और शब्द की तरह मानता है। क्योंकि नंबर "100" और इमेज के वास्तविक पिक्सल के बीच कोई वास्तविक संबंध नहीं है, इसलिए रोबोट अक्सर भ्रमित (hallucinate) हो जाता है। वह कह सकता है, "मैं निर्देशांक 100, 200 पर बैकपैक देख रहा हूँ," भले ही वहां कोई बैकपैक न हो। वह इस बारे में झूठ बोल रहा होता है कि वह कहाँ देख रहा है, भले ही उसका अंतिम उत्तर सही हो।

समाधान: "कंपोजर" (Composer) और जादुई इंडेक्स कार्ड्स

लेखक कंपोजर नामक एक नया मॉडल पेश करते हैं। निर्देशांकों के रूप में यादृच्छिक (random) नंबरों का उपयोग करने के बजाय, कंपोजर लर्नड प्रॉक्सी-टोकेन्स (Learned Proxy-Tokens) का उपयोग करता है।

छवि को छोटे-छोटे चित्र के टुकड़ों (पिक्सल्स) की एक विशाल लाइब्रेरी के रूप में समझें।

  • पुराना तरीका: रोबोट एक स्थान का वर्णन करने के लिए एक रैंडम नंबर चिल्लाकर करने की कोशिश करता है। यह लाइब्रेरी में एक रैंडम पेज नंबर का अनुमान लगाकर किताब खोजने की कोशिश करने जैसा है।
  • कंपोजर का तरीका: रोबोट को जादुई इंडेक्स कार्ड्स दिए जाते हैं। प्रत्येक कार्ड का एक अद्वितीय नाम (एक "टोकन") होता है जो छवि के एक विशिष्ट भाग से स्थायी रूप से चिपका हुआ है।

जब रोबोट को बैकपैक के बारे में बात करने की आवश्यकता होती है, तो वह नंबरों का अनुमान नहीं लगाता। वह बस उस विशिष्ट "इंडेक्स कार्ड" को चुन लेता है जो बैकपैक को कवर करता है। यह ऐसा है जैसे रोबोट के पास छवि का एक सीधा, भौतिक हैंडल हो। वह कह सकता है, "मैं कार्ड #42 को देख रहा हूँ," और क्योंकि कार्ड #42 उसकी मेमोरी में बैकपैक से भौतिक रूप से जुड़ा हुआ है, वह जो वह देखता है उसके बारे में झूठ नहीं बोल सकता।

यह कैसे काम करता है: साक्ष्य की श्रृंखला बनाना

रोबोट सीधे उत्तर पर नहीं कूदता। वह एक केस सुलझाने वाले जासूस की तरह कदम-दर-कदम कहानी बनाता है:

  1. वस्तु को खोजें: "मैं बैकपैक को देख रहा हूँ (कार्ड #42)।"
  2. स्थान की जाँच करें: "क्या कार्ड #42 कमरे के दाईं ओर है? हाँ।"
  3. रंग की जाँच करें: "क्या कार्ड #42 नीला है? हाँ।"
  4. निष्कर्ष: "हाँ, नीला बैकपैक दाईं ओर है।"

क्योंकि रोबोट इन "इंडेक्स कार्ड्स" (टोकेन्स) का उपयोग करके एक कहानी बनाता है, इसलिए उसके कहानी के चरण वास्तविक छवि से मजबूती से जुड़े होते हैं। यदि बैकपैक नीला नहीं है, तो रोबोट केवल "नीला" कहकर उम्मीद नहीं कर सकता; वह "कार्ड" जिसे उसने पकड़ा हुआ है, सच बताता है।

नया परीक्षण: "कंपोजरजीसीओटी" (ComposerGCoT)

शोधकर्ताओं ने महसूस किया कि केवल यह जांचना कि अंतिम उत्तर सही था या नहीं, पर्याप्त नहीं था। एक रोबोट गलत कारणों से भी सही उत्तर प्राप्त कर सकता है (जैसे कि एक छात्र जो बिना काम दिखाए गणित के टेस्ट में सही उत्तर का अनुमान लगा लेता है)।

इसलिए, उन्होंने कंपोजरजीसीओटी (ComposerGCoT) नामक एक विशेष टेस्ट डेटासेट बनाया। यह टेस्ट केवल यह नहीं पूछता कि, "क्या आपका उत्तर सही है?" बल्कि यह जाँचता है:

  1. क्या आपने सही चरणों का पालन किया? (तर्क निरंतरता - Reasoning Consistency)
  2. क्या आपने वास्तव में चित्र के सही हिस्से को देखा? (ग्राउंडिंग सटीकता - Grounding Accuracy)

परिणाम

जब उन्होंने पुराने "कोऑर्डिनेट" मॉडल्स के मुकाबले कंपोजर का परीक्षण किया:

  • सटीकता (Accuracy): कंपोजर ने पुराने मॉडल्स जितनी बार ही सही अंतिम उत्तर दिए।
  • ईमानदारी (Honesty): कंपोजर वास्तव में छवि के सही स्थान की ओर इशारा करने में 9% बेहतर था।

मुख्य निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि रोबोट को छवि के हिस्सों को पकड़ने के लिए "एड्रेसेबल" हैंडल (प्रॉक्सी-टोकेन्स) देकर, हम उसे नकली स्थान बनाने से रोक सकते हैं। यह रोबोट के तर्क को विश्वसनीय (faithful) बनाता है—जिसका अर्थ है कि उसका स्पष्टीकरण वास्तव में जो वह देखता है उससे मेल खाता है। यह एक ऐसे AI को बनाने की दिशा में एक बड़ा कदम है जिस पर हम भरोसा कर सकें कि वह हमें न केवल यह बताएगा कि वह क्या सोचता है, बल्कि यह भी कि वह इसे क्यों सोचता है, वास्तविक साक्ष्यों के आधार पर।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →