Encoded but Not Routed: Explaining the Table-Chart Gap in Scientific Claim Verification
यह शोध पत्र तालिका और चार्ट साक्ष्य के बीच वैज्ञानिक दावे के सत्यापन में प्रदर्शन अंतराल की जांच करता है, जो यह प्रकट करता है कि मल्टीमॉडल एलएलएम (LLMs) मध्यवर्ती परतों में चार्ट जानकारी को सफलतापूर्वक एनकोड करते हैं लेकिन इसे भविष्यवाणी स्थिति तक रूट करने में विफल रहते हैं, जो एक एनकोडिंग के बजाय रूटिंग की कमी का संकेत देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक न्यायाधीश हैं जो यह तय करने की कोशिश कर रहे हैं कि क्या किसी वैज्ञानिक का दावा सच है। आपके पास दो प्रमाण हैं: एक स्प्रेडशीट (एक तालिका) और एक ग्राफ (एक चार्ट) जो बिल्कुल एक ही संख्याएँ दिखा रहे हैं।
आप उम्मीद करेंगे कि एक स्मार्ट कंप्यूटर प्रोग्राम (एक मल्टीमॉडल एआई) चाहे वह स्प्रेडशीट को देख रहा हो या ग्राफ को, उसका निर्णय एक जैसा ही होगा। लेकिन यहाँ एक समस्या है: एआई स्प्रेडशीट पढ़ने में बहुत अच्छा है लेकिन ग्राफ को देखकर अक्सर भ्रमित हो जाता है, भले ही डेटा समान हो।
यह शोध पत्र पूछता है: ऐसा क्यों होता है?
क्या एआई ग्राफ के प्रति "अंधा" है (वह डेटा देख नहीं पाता)? या वह "भटका हुआ" है (वह डेटा तो देखता है लेकिन अंतिम निर्णय लेते समय उसका उपयोग करना भूल जाता है)?
जांच: ब्लैक बॉक्स के अंदर झाँकना
शोधकर्ताओं ने एआई के साथ एक रहस्यमयी बॉक्स की तरह व्यवहार किया। केवल एआई से उत्तर पूछने के बजाय, उन्होंने यह देखने के लिए कि जानकारी कैसे यात्रा करती है, इसके "मस्तिष्क" के प्रत्येक स्तर (लेयर) के भीतर झाँका। उन्होंने दो मुख्य उपकरणों का उपयोग किया:
- "लीनियर प्रोब" (एक जासूस की टॉर्च):
कल्पना कीजिए कि एआई का मस्तिष्क कई कमरों वाला एक लंबा गलियारा है (लेयर्स)। शोधकर्ताओं ने हर कमरे में एक छोटा जासूस (प्रोब) रखा ताकि पूछा जा सके, "क्या आपको उत्तर पता है?"
- निष्कर्ष: जब एआई एक चार्ट देख रहा था, तो जासूस ने पाया कि उत्तर बीच के कमरों में छिपा हुआ था। जानकारी निश्चित रूप से वहाँ थी! हालाँकि, जब तक जानकारी अंतिम कमरे तक पहुँची (जहाँ अंतिम उत्तर लिखा जाता है), तब तक वह गायब हो चुकी थी।
- उपमा: यह एक ऐसे शेफ की तरह है जो सब्जियों को पूरी तरह से काटता तो है (डेटा को एनकोड करता है), लेकिन फिर उन्हें परोसने से पहले सूप में डालना भूल जाता है। सामग्रियाँ वहाँ थीं, लेकिन वे अंतिम व्यंजन तक नहीं पहुँच पाईं।
- "अटेंशन मैप" (नज़र का पीछा करना):
शोधकर्ताओं ने यह भी ट्रैक किया कि एआई निर्णय लेते समय कहाँ "देख" रहा था।
- निष्कर्ष: उन्होंने पाया कि एआई परिवार के आधार पर "भूलने" के दो अलग-अलग प्रकार थे:
- "विमुख दृष्टि" (Qwen मॉडल्स): ये मॉडल चार्ट को लगभग देखते ही नहीं थे। उन्होंने ग्राफ पर एक नज़र डाली और तुरंत अपना ध्यान टेक्स्ट की ओर मोड़ लिया, दृश्य साक्ष्य को पूरी तरह से अनदेखा कर दिया। यह उस छात्र की तरह है जो परीक्षा दे रहा है, जो आरेख (डायग्राम) पर एक नज़र डालता है लेकिन केवल प्रश्न पढ़ता है, और महत्वपूर्ण चित्र को छोड़ देता है।
- "भटका हुआ ध्यान" (InternVL मॉडल): इस मॉडल ने चार्ट को देखा था। इसने डेटा को गौर से देखा। लेकिन भले ही इसने संख्याओं को देखा, यह उन्हें अंतिम उत्तर से जोड़ने में असमर्थ रहा। यह उस छात्र की तरह है जो आरेख का गहन अध्ययन तो करता है लेकिन फिर निबंध लिखते समय भ्रमित हो जाता है, और अपने द्वारा बनाए गए नोट्स का उपयोग करने में विफल रहता है।
बड़ा निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि एआई चार्ट के प्रति "अंधा" नहीं है। जानकारी सफलतापूर्वक कैप्चर की जाती है और एआई के मस्तिष्क के बीच में संग्रहीत की जाती है। समस्या रूटिंग (मार्ग निर्धारण) की है।
एआई के मस्तिष्क को एक व्यस्त कार्यालय की तरह समझें:
- टेबल (तालिकाएं) एक मेमो की तरह हैं जिसे स्टैम्प किया जाता है, फाइल किया जाता है और सीधे बॉस की मेज तक पहुँचाया जाता है।
- चार्ट एक ऐसे मेमो की तरह हैं जिसे स्टैम्प और फाइल तो किया जाता है, लेकिन फिर मेलरूम (डाकघर) में खो जाता है। बॉस को वह कभी नहीं दिखता, भले ही मेलरूम के पास वह मौजूद हो।
शोधकर्ताओं ने पाया कि चार्ट के लिए, जानकारी एनकोड तो होती है लेकिन वह "प्रेडिक्शन पोजीशन" (पूर्वानुमान स्थिति) तक पहुँचने में विफल रहती है जहाँ अंतिम निर्णय लिया जाता है। यह जानकारी के दिखने की विफलता नहीं है, बल्कि जानकारी के पहुँचाने की विफलता है।
एक वाक्य में सारांश
एआई चार्ट को "देख" सकता है और डेटा को संग्रहीत कर सकता है, लेकिन वह उस जानकारी को अपने मस्तिष्क के उस हिस्से तक पहुँचाने में विफल रहता है जो अंतिम निर्णय लेता है, जिससे वह ग्राफ पर तालिकाओं की तुलना में खराब प्रदर्शन करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।