Beyond Accuracy: Auditing Spatial Provenance in Visual Token Pruning for OCR-Critical MLLM Inference
यह शोधपत्र टेक्स्ट-रिच (text-rich) MLLMs में विजुअल टोकन प्रूनिंग के लिए एक एविडेंस-रिस्क ऑडिट फ्रेमवर्क प्रस्तुत करता है जो यह प्रकट करता है कि कैसे सटीकता-आधारित मेट्रिक्स स्थानिक प्रोवेनेंस (spatial provenance) की महत्वपूर्ण विफलताओं को छिपा सकते हैं, और यह प्रदर्शित करता है कि पारदर्शी, ट्रेनिंग-फ्री चयनकर्ता (selectors) OCR-महत्वपूर्ण क्षेत्रों की ट्रैसेबिलिटी से समझौता किए बिना, बैच गति और मेमोरी दक्षता में उल्लेखनीय सुधार करते हुए तुलनीय सटीकता प्राप्त कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर चित्रों को "देख" सकते हैं और उनके बारे में सवाल के जवाब दे सकते हैं, जैसे कि कोई बहुत समझदार दोस्त जो किसी फोटो से मेनू पढ़ सकता है या सड़क के साइन पर क्या लिखा है यह बता सकता है। यह मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) का क्षेत्र है। ऐसा करने के लिए, कंप्यूटर एक छवि को हजारों छोटे डिजिटल पहेली के टुकड़ों में तोड़ देता है जिन्हें "टोकन" कहा जाता है। फिर यह इन टुकड़ों को एक-एक करके पढ़ता है, ठीक वैसे ही जैसे किताब में शब्दों को पढ़ा जाता है, ताकि यह समझ सके कि चित्र किस बारे में है।
हालाँकि, बहुत सारे टेक्स्ट वाली एक हाई-रेज़ोल्यूशन फोटो को देखना एक बार में पूरी विश्वकोश (encyclopedia) पढ़ने की कोशिश करने जैसा है; इसमें बहुत समय और कंप्यूटर पावर लगती है। इन मॉडल्स को तेज़ बनाने के लिए, वैज्ञानिकों ने "विजुअल-टोकन प्रूनिंग" (visual-token pruning) नामक एक ट्रिक विकसित की है। इसे एक ऐसे लाइब्रेरियन के रूप में सोचें जो, आपके सवाल पूछने से पहले, एक किताब को जल्दी से स्कैन करता है और उन पन्नों को फेंक देता है जो उसे लगता है कि आपको ज़रूरत नहीं होगी, केवल सबसे महत्वपूर्ण पन्नों को रखता है। लक्ष्य उत्तर को सही रखना है जबकि प्रक्रिया को बहुत तेज़ बनाना है। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि लाइब्रेरियन को लगता है कि उसने सही पन्ने रखे हैं, इसका मतलब यह नहीं है कि उसने वास्तव में ऐसा किया है। यदि लाइब्रेरियन उस पन्ने को फेंक देता है जिसमें वह विशिष्ट तारीख लिखी थी जिसके बारे में आपने पूछा था, लेकिन कंप्यूटर फिर भी सही तारीख का अनुमान लगा लेता है क्योंकि वह जानता है कि तारीखें आमतौर पर कैसी दिखती हैं, तो उत्तर सही है, लेकिन तर्क (reasoning) टूटा हुआ है। यह शोध पत्र ठीक इसी छिपे हुए खतरे की जांच करता है।
द ग्रेट टोकन हाइस्ट: जब उत्तर सही होता है, लेकिन सुराग गायब होते हैं
इस शोध पत्र के लेखक, फेइक्सियांग लियू (Feixiang Liu) और उनकी टीम ने इन "लाइब्रेरियनों" (प्रूनिंग विधियों) का परीक्षण करने के लिए एक बहुत ही विशिष्ट प्रश्न चुना: यदि कंप्यूटर सही उत्तर देता है, तो क्या उसने वास्तव में उत्तर पाने के लिए चित्र के सही हिस्से को देखा था?
उन्होंने पाया कि कई मामलों में, उत्तर है "नहीं।"
कल्पना कीजिए कि आप एक रसीद (receipt) के बारे में परीक्षा दे रहे हैं। प्रश्न पूछता है, "कुल कीमत क्या है?" रसीद में एक छोटे बॉक्स में एक बहुत ही विशिष्ट नंबर लिखा है। एक स्मार्ट प्रूनिंग विधि समय बचाने के लिए रसीद के 70% इमेज टोकन को हटा सकती है। आश्चर्यजनक रूप से, कंप्यूटर अभी भी सही ढंग से "15.99" उत्तर दे सकता है। लेकिन लेखकों ने पाया कि इन "सही" उत्तरों में से कई में, कंप्यूटर ने वास्तव में उस छोटे प्राइस बॉक्स का प्रतिनिधित्व करने वाले टोकन को नहीं रखा था। इसके बजाय, कंप्यूटर ने रसीद के आकार, फॉन्ट, या बस इस सामान्य ज्ञान के आधार पर कीमत का अनुमान लगाया कि रसीदें आमतौर पर क्या कहती हैं।
यह इस शोध पत्र की मुख्य खोज है: सटीकता (Accuracy) अकेले एक झूठ बोलने वाला है। आपके पास एक ऐसा मॉडल हो सकता है जो 78% बार सही उत्तर देता है, लेकिन यदि आप बारीकी से देखें कि उसने कहाँ देखा, तो आप देखेंगे कि उसने उस विशिष्ट साक्ष्य (evidence) को अनदेखा कर दिया जिसकी उसे आवश्यकता थी। लेखक इस गायब कड़ी को "स्पेशियल प्रोवेनेंस" (spatial provenance) कहते हैं—एक फैंसी तरीका यह पूछने का कि, "क्या हम उत्तर को चित्र के उस सटीक स्थान तक ट्रैक कर सकते हैं जहाँ साक्ष्य मौजूद है?"
डिटेक्टिव का टूलकिट
इसे साबित करने के लिए, टीम ने एक विशेष "एविडेंस-रिस्क ऑडिट" (evidence-risk audit) बनाया। उन्होंने चित्र को एक अपराध स्थल की तरह माना।
- पॉजिटिव क्लू (Positive Clue): उन्होंने चित्र पर एक विशिष्ट शब्द या नंबर (जैसे कि एक कीमत) चुना और पूछा, "क्या कंप्यूटर ने इस विशिष्ट स्थान के टोकन को रखा?"
- ट्रैप (The Trap): उन्होंने उन चीजों के बारे में भी सवाल पूछे जो वहाँ नहीं थीं (जैसे कि एक नकली कीमत) यह देखने के लिए कि क्या कंप्यूटर केवल अनुमान लगा रहा था या वास्तवв में जाँच कर रहा था।
- ऑडिट (The Audit): उन्होंने टोकन को रखने के तीन अलग-अलग तरीकों की तुलना की:
- टारगेट (Target): कंप्यूटर सवाल के आधार पर अनुमान लगाता है कि कौन से टोकन महत्वपूर्ण हैं।
- रैंडम (Random): कंप्यूटर एक डिजिटल पासा फेंककर टोकन चुनता है।
- ग्रिड (Grid): कंप्यूटर एक व्यवस्थित चेकरबोर्ड पैटर्न में टोकन चुनता है।
चौंकाने वाले परिणाम
परिणाम आँखें खोल देने वाले थे। जब उन्होंने Qwen नामक एक लोकप्रिय मॉडल का 30% रिटेंशन बजट (केवल 30% इमेज टोकन रखना) पर परीक्षण किया:
- "टारगेट" विधि ने उत्तर को सही रखा (0.786 सटीकता) और लगभग 62% सवालों के लिए विशिष्ट साक्ष्य टोकन को बनाए रखा।
- "रैंडम" विधि ने कम बार सही उत्तर दिया (0.739 सटीकता) और साक्ष्य टोकन को केवल 27% मामलों में रखा।
- "ग्रिड" विधि रैंडम के समान थी, जिसने साक्ष्य को केवल 31% मामलों में रखा।
यहाँ एक मोड़ है: भले ही "टारगेट" विधि बेहतर थी, फिर भी इसने उन मामलों में लगभग 40% बार साक्ष्य को मिस कर दिया जहाँ इसने उत्तर सही दिया था! इसका मतलब है कि कंप्यूटर अक्सर भाषा के पैटर्न पर निर्भर था न कि चित्र पर।
लेखकों ने यह भी पाया कि अलग-अलग मॉडल अलग-अलग नियमों के अनुसार चलते हैं। जो एक मॉडल (जैसे Qwen) के लिए काम करता है, वह दूसरे (जैसे LLaVA या InternVL) के लिए काम नहीं करता है। उदाहरण के लिए, एक विधि जो LLaVA के लिए साक्ष्य को सुरक्षित रखती है, वह वास्तव में इसे अधिक अनुमान लगाने के लिए प्रेरित कर सकती है। कोई "वन-साइज़-फिट्स-ऑल" सेटिंग नहीं है।
गति की लागत
शोध पत्र ने वास्तविक दुनिया के गति लाभों को भी देखा। टोकन को 70% तक काटकर, उन्होंने कंप्यूटर को तेज़ बनाया।
- Qwen मॉडल के लिए, उन्होंने इमेज के बैचों को प्रोसेस करने में 4.32 गुना की स्पीडअप देखी।
- उन्होंने इमेज डेटा को रखने के लिए आवश्यक मेमोरी में 76.4% की बचत भी की।
लेकिन लेखक चेतावनी देते हैं कि यह गति एक छिपी हुई लागत के साथ आती है। यदि आप किसी महत्वपूर्ण चीज़ के लिए मॉडल का उपयोग कर रहे हैं, जैसे कि मेडिकल प्रिस्क्रिप्शन या कानूनी दस्तावेज़ पढ़ना, तो साक्ष्य को फेंक देने के कारण अनुमान लगाना खतरनाक है। शोध पत्र सुझाव देता है कि हमें केवल "सटीकता" (Accuracy) और "कंप्रेशन रेशियो" (Compression Ratio) रिपोर्ट नहीं करना चाहिए। हमें "स्पेशियल प्रोवेनेंस" (Spatial Provenance) भी रिपोर्ट करना चाहिए—मूल रूप से एक स्कोर जो हमें बताता है कि वास्तविक विजुअल साक्ष्य का कितना हिस्सा प्रूनिंग के बाद बचा है।
निष्कर्ष
यह शोध पत्र यह नहीं कहता कि प्रूनिंग खराब है। यह कहता है कि हमें इसे मापने के तरीके में अधिक स्मार्ट होने की आवश्यकता है। सिर्फ इसलिए कि कंप्यूटर सही उत्तर देता है, इसका मतलब यह नहीं है कि उसने सही चीज़ देखी। लेखक एक नया मानक प्रस्तावित करते हैं: जब हम कंप्यूटर के पढ़ने के लिए एक चित्र को कंप्रेस करते हैं, तो हमें यह जांचना चाहिए कि क्या "सुराग" अभी भी वहां हैं। यदि उत्तर सही है लेकिन सुराग गायब हैं, तो सिस्टम अविश्वसनीय है, चाहे वह कितना भी तेज़ क्यों न हो।
अंत में, लेखक सुझाव देते हैं कि जिन कार्यों के लिए विशिष्ट टेक्स्ट पढ़ना महत्वपूर्ण है (जैसे OCR), हमें उम्मीद से अधिक चित्र को सुरक्षित रखना होगा, या कम से कम इस बारे में ईमानदार होना होगा कि हमने वास्तव में चित्र के कितने हिस्से को देखा है। उन्होंने AI सुरक्षा में एक नया द्वार खोला है, यह दिखाते हुए कि "तेज़" और "सटीक" होना पर्याप्त नहीं है; हमें "ट्रेसेबल" (traceable) भी होना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।