Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels
यह शोध पत्र यह प्रदर्शित करता है कि समन्वय-आधारित बाउंडिंग बॉक्स आउटपुट को टेक्स्ट-आधारित "कोट-एंड-रिट्रीव" इंटरफ़ेस से बदलने से विज़ुअल डॉक्यूमेंट अंडरस्टैंडिंग में एट्रिब्यूशन Hallucinations (एट्रिब्यूशन मतिभ्रम) काफी कम हो जाते हैं और साक्ष्य रिकॉल (evidence recall) में सुधार होता है, जबकि यह महंगी रीजन-लेवल लेबलिंग के बिना भी प्रभावी प्रशिक्षण को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन अपराध स्थल के बजाय, आप दस्तावेजों का एक विशाल, अस्त-व्यस्त ढेर देख रहे हैं—रसीदें, चार्ट और हस्तलिखित नोट्स। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन्हें "विजुअल डॉक्यूमेंट्स" (दृश्य दस्तावेज़) कहा जाता है। एक कंप्यूटर के लिए एक अच्छा जासूस बनने के लिए, वह केवल उत्तर का अनुमान नहीं लगा सकता; उसे ठीक से बताना होगा कि उसने सुराग कहाँ पाया। इसे "एट्रिब्यूशन" (attribution) कहा जाता है।
लंबे समय से, कंप्यूटर को सुराग की ओर इशारा करने का मानक तरीका यह रहा है कि उसे टेक्स्ट के चारों ओर एक बॉक्स बनाने के लिए कहें और उस बॉक्स के जीपीएस निर्देशांक (जैसे "x=50, y=100") दें। इसे एक बच्चे को एक पन्ने पर विशिष्ट शब्द की ओर इशारा करने के लिए नंबर चिल्लाकर बताने के लिए कहने जैसा समझें। यह "आई स्पाई" (I Spy) खेलने का एक अनाड़ी तरीका है। आप जो कागज पढ़ने जा रहे हैं, वह इस बात की जांच करता है कि यह "निर्देशांकों का खेल" (coordinate game) इतनी बुरी तरह से क्यों विफल हो रहा है। यह सुझाव देता है कि समस्या यह नहीं है कि कंप्यूटर सुराग खोजने में बहुत मंद है, बल्कि खेल के नियम (निर्देशांक) बहुत भ्रमित करने वाले हैं। शोधकर्ता एक नया नियम प्रस्तावित करते हैं: नंबर चिल्लाने के बजाय, कंप्यूटर को बस उस सुराग को शब्द-दर-शब्द ज़ोर से पढ़ना चाहिए। फिर, एक स्मार्ट सहायक (एक रिट्रीवल सिस्टम) उस सटीक स्थान को खोज लेता है जहाँ वे शब्द मौजूद हैं।
महान "पॉइंटिंग" ग्लिच (The Great "Pointing" Glitch)
शोधकर्ताओं ने एक निराशाजनक अवलोकन के साथ शुरुआत की। जब उन्होंने शक्तिशाली एआई मॉडल से लंबे दस्तावेजों के बारे में प्रश्न पूछे और उन्हें अपना काम सिद्ध करने के लिए कहा, तो मॉडल उत्तर देने में तो बहुत अच्छे थे लेकिन यह दिखाने में बहुत खराब थे कि उन्होंने इसे कहाँ पाया। भले ही उत्तर एकदम सही हो, एआई अक्सर गलत पैराग्राफ की ओर इशारा करता था या खाली पन्ने के बीच में एक बॉक्स बना देता था। शोध पत्र इसे "एट्रिब्यूशन हॉलुसिनेशन" (Attribution Hallucination) कहता है। यह उस छात्र की तरह है जो गणित का सवाल तो सही हल करता है लेकिन समाधान अपनी नोटबुक के बजाय शिक्षक की डेस्क के पीछे लिख देता है।
बड़ा सवाल यह था: क्या एआई वास्तव में स्थान खोजने में बुरा है, या यह केवल "निर्देशांकों" की भाषा बोलने में बुरा है?
"ज़ोर से पढ़ने" का प्रयोग (The "Read Aloud" Experiment)
इसकी जांच करने के लिए, टीम ने छह अलग-अलग एआई मॉडल का उपयोग करके एक विशाल प्रयोग चलाया। उन्होंने सब कुछ समान रखा—दस्तावेज, प्रश्न और मॉडल—लेकिन उन्होंने खेल के नियम बदल दिए।
खेल A (पुराना तरीका): एआई को साक्ष्य के चारों ओर एक बॉक्स बनाने के लिए संख्याओं का एक सेट (निर्देशांक) आउटपुट करना था।
खेल B (नया तरीका): एआई को दस्तावेज़ से सटीक टेक्स्ट उद्धृत करके साक्ष्य को "ज़ोर से पढ़ने" के लिए कहा गया। एक अलग कंप्यूटर प्रोग्राम ने फिर उस उद्धरण को लिया और स्वचालित रूप से दस्तावेज़ के मिलान वाले हिस्से को खोज लिया।
परिणाम एक जादू के खेल की तरह थे। जब एआई को "नंबर चिल्लाने" के बजाय "ज़ोर से पढ़ने" की अनुमति दी गई, तो सही स्थान खोजने की उसकी क्षमता आसमान छू गई।
- पुराना तरीका: एआई 8% से भी कम समय में सही साक्ष्य ढूंढ पाता था।
- नया तरीका: एआई 26% से 47% के बीच सही साक्ष्य ढूंढ पाता था।
यह एक बहुत बड़ी छलांग है! "हॉलुसिनेशन" (गलत जगह इशारा करने) की दर लगभग आधी हो गई। सबसे आश्चर्यजनक बात? वास्तविक उत्तरों की गुणवत्ता में ज्यादा बदलाव नहीं आया। मॉडल उतने ही बुद्धिमान थे; वे बस निर्देशांकों के साथ संघर्ष किए बिना अपना काम दिखाने में बहुत बेहतर थे।
निर्देशांक ही समस्या क्यों हैं?
पेपर का तर्क है कि विफलता बुद्धिमत्ता की कमी नहीं थी। यह एक "इंटरफेस आर्टिफैक्ट" (interface artifact) था। इसे एक शेफ से रेसिपी बताने के लिए कहने जैसा समझें। यदि आप उन्हें केवल संख्याओं के एक गुप्त कोड का उपयोग करके सामग्री का वर्णन करने के लिए मजबूर करते हैं, तो वे व्यंजन तो सही बना सकते हैं लेकिन सामग्री की सूची सही ढंग से नहीं दे पाएंगे। लेकिन यदि आप उन्हें बस "दो कप मैदा" कहने देते हैं, तो सूची सटीक हो जाती है।
शोधकर्ताओं ने पाया कि एआई मॉडल वास्तव में जानते थे कि जानकारी कहाँ है; वे बस निर्देशांकों का उपयोग करने के लिए मजबूर होने पर शब्दों (जैसे "पेज 2 पर, मेज के नीचे") में इसका वर्णन करते थे। "उद्धरण" (quote) पद्धति में स्विच करके, उन्होंने एआई को उसकी स्वाभाविक शक्ति का उपयोग करने दिया: भाषा।
एआई को एक बेहतर जासूस बनाना सिखाना
शोधकर्ताओं ने केवल नियम बदलने पर ही नहीं रोका; वे चाहते थे कि एआई इस नए खेल में और भी बेहतर हो जाए, बिना किसी इंसान द्वारा हर एक बॉक्स को ग्रेड किए। उन्होंने GRPO (Group Relative Policy Optimization) नामक एक विशेष प्रशिक्षण पद्धति बनाई।
एक ऐसे खेल की कल्पना करें जहाँ एआई एक प्रश्न का उत्तर देने का प्रयास करता है, और एक "जज" (एक अन्य एआई) उत्तर और साक्ष्य को देखता है। जज को यह बताने के लिए किसी इंसान की आवश्यकता नहीं है कि साक्ष्य कहाँ है। इसके बजाय, जज बस यह जाँचता है: "क्या उत्तर सही है? क्या उद्धृत किए गए शब्द वास्तव में उत्तर का समर्थन करते हैं?" यदि एआई सही शब्दों को उद्धृत करता है, तो उसे इनाम मिलता है। यदि वह मनगढ़ंत बातें बनाता है, तो उसे शून्य मिलता है।
इस पद्धति का उपयोग करके, उन्होंने एक छोटे एआई मॉडल (8-बिलियन पैरामीटर बैकबोन) को साक्ष्य खोजने में बहुत बेहतर बनने के लिए प्रशिक्षित किया।
- प्रशिक्षण से पहले: मॉडल की "स्ट्रिक्ट एट्रिब्यूशन एक्यूरेसी" (Strict Attribution Accuracy) 22.4% थी।
- प्रशिक्षण के बाद: यह उछलकर 33.8% हो गई।
यह एक बड़ी बात है क्योंकि इसका मतलब है कि हम बिना हजारों पन्नों पर बॉक्स बनाने के लिए महंगे मानव लेबल की आवश्यकता के बिना, एआई को अधिक विश्वसनीय और सत्यापन योग्य बना सकते हैं।
निष्कर्ष (The Takeaway)
यह पेपर एआई को अधिक विश्वसनीय बनाने के लिए एक व्यावहारिक मार्ग का सुझाव देता है। यह दिखाता है कि "निर्देशांक इंटरफ़ेस" (नंबरों के साथ बॉक्स बनाना) एक कमजोर कड़ी है जो एआई को भ्रमित (hallucinate) करती है। "भाषा इंटरफ़ेस" (टेक्स्ट को उद्धृत करना और फिर एक सिस्टम को स्थान खोजने देना) में स्विच करके, हम एआई के सही स्थान दिखाने की क्षमता में नाटकीय रूप से सुधार कर सकते हैं।
निष्कर्ष बताते हैं कि समस्या यह नहीं है कि एआई दस्तावेज़ को "देख" नहीं सकता; समस्या यह है कि हम उसे इशारा करने के लिए जिस तरह से कहते हैं, वह त्रुटिपूर्ण है। एआई को उद्धरणों में बोलने देकर और एक स्मार्ट सिस्टम को इशारा करने देना देकर, हमें एक अधिक विश्वसनीय जासूस मिलता है। पेपर का सुझाव है कि कानून, चिकित्सा और वित्त जैसे क्षेत्रों के लिए बेहतर एआई बनाने के लिए यह एक व्यवहार्य, लागत प्रभावी तरीका है, जहाँ अपने स्रोत को सिद्ध करना उतना ही महत्वपूर्ण है जितना कि उत्तर प्राप्त करना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।