🤖 AI

Detached Skip-Links and $R$ -Probe: Decoupling Feature Aggregation from Gradient Propagation for MLLM OCR

यह शोध पत्र "डिटैच्ड स्किप-लिंक्स" (Detached Skip-Links) का प्रस्ताव देकर स्किप कनेक्शंस से होने वाले ग्रेडिएंट इंटरफेरेंस के कारण OCR कार्यों पर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) की विफलता को संबोधित करता है, जो फीचर एग्रीगेशन को ग्रेडिएंट प्रोपेगेशन से अलग करता है, और सूक्ष्म-स्तरीय दृश्य सूचना संरक्षण को सत्यापित करने के लिए " $R$ -प्रोब" ( $R$ -Probe) मीट्रिक पेश करता है, जिसके परिणामस्वरूप OCR और सामान्य मल्टीमॉडल बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होते हैं।

मूल लेखक: Ziye Yuan, Ruchang Yao, Chengxin Zheng, Yusheng Zhao, Daxiang Dong, Ming Zhang

प्रकाशित 2026-03-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziye Yuan, Ruchang Yao, Chengxin Zheng, Yusheng Zhao, Daxiang Dong, Ming Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय डिटेक्टिव (Large Language Model) है जो जटिल रहस्यों को सुलझाने, चुटकुलों को समझने और गहरी बातचीत करने में माहिर है। हालाँकि, जब आप इस डिटेक्टिव को कोई धुंधला, हाथ से लिखा हुआ नोट या कोई सघन कानूनी दस्तावेज़ देते हैं, तो वे अंदाज़ा लगाने लगते हैं। वे "appie" को "apple" पढ़ सकते हैं या चार्ट के एक छोटे से विवरण को मिस कर सकते हैं।

क्यों? क्योंकि डिटेक्टिव एक फोटोग्राफर (Vision Encoder) पर निर्भर है जो दृश्य का वर्णन करता है। फोटोग्राफर फोटो लेने और यह कहने में माहिर है कि, "यह एक बिल्ली है," या "यह एक सूर्यास्त है।" लेकिन बारीक टेक्स्ट पढ़ने के लिए, डिटेक्टिव को फोटोग्राफर से यह सुनने की ज़रूरत है कि, "यहाँ एक विशिष्ट वक्र (curve) है, वहाँ एक तीखा कोण है, और एक धब्बा है जो '7' जैसा दिखता है।"

वर्तमान AI सिस्टम में समस्या यह है कि डिटेक्टिव और फोटोग्राफर दोनों एक साथ बहुत कुछ करने की कोशिश कर रहे हैं, और वे एक-दूसरे के काम में बाधा डाल रहे हैं।

यहाँ इस पेपर के समाधान का सरल विवरण दिया गया, जो दो मुख्य विचारों का उपयोग करता है: Detached Skip-Links और R-Probe।

1. समस्या: "दबाव बनाने वाला मैनेजर" (The Overbearing Manager)

वर्तमान AI मॉडल्स में, डिटेक्टिव (LLM) और फोटोग्राफर (Vision Encoder) एक सीधी फोन लाइन द्वारा जुड़े हुए हैं।

समस्या: जब डिटेक्टिव एक कठिन पहेली को हल करने की कोशिश करता है (जैसे, "फ्रांस की राजधानी क्या है?"), तो वे फोटोग्राफर की ओर फोन लाइन के माध्यम से निर्देश चिल्लाते हैं। "बड़ी तस्वीर पर ध्यान केंद्रित करो! छोटे विवरणों को अनदेखा करो!"
परिणाम: फोटोग्राफर, जिसे मूल रूप से बारीक विवरणों (जैसे छोटा टेक्स्ट पढ़ना) का मास्टर बनने के लिए प्रशिक्षित किया गया था, भ्रमित हो जाता है। डिटेक्टिव के ऊंचे स्तर के निर्देश फोटोग्राफर के सूक्ष्म, निम्न-स्तरीय संकेतों को "ओवरराइट" कर देते हैं। यह एक मैनेजर की तरह है जो एक कुशल शिल्पकार पर चिल्ला रहा हो कि "बस इसे अच्छा दिखाओ," जिससे शिल्पकार छेनी पकड़ना ही भूल जाता है। परिणाम? AI टेक्स्ट के बारे में भ्रमित (hallucinate) होता है या छोटी वस्तुओं को मिस कर देता है।

2. समाधान: "Detached Skip-Links" (एकतरफा कांच)

लेखक एक चतुर समाधान प्रस्तावित करते हैं जिसे Detached Skip-Links कहा जाता है।

उपमा: कल्पना कीजिए कि फोटोग्राफर के पास एक "उथला स्केच" (फोटो की शुरुआती परतें जो किनारों और आकृतियों को दिखाती हैं) और एक "गहरा विश्लेषण" (बाद की परतें जो दर्शाती हैं कि वस्तु क्या है) है।
पुराना तरीका: डिटेक्टिव स्केच और विश्लेषण दोनों को देखता है। यदि डिटेक्टिव को स्केच पसंद नहीं आता है, तो वे फोटोग्राफर को स्केच बदलने के लिए एक "सुधार संकेत" (correction signal) भेजते हैं। यह स्केच को खराब कर देता है।
नया तरीका (Detached Skip-Links): लेखक डिटेक्टिव और उथले स्केच के बीच एक एकतरफा कांच (One-Way Glass) लगा देते हैं।
- फॉरवर्ड पास (देखना): डिटेक्टिव उथले स्केच को पूरी तरह से देख सकता है। उन्हें टेक्स्ट पढ़ने के लिए आवश्यक सभी बारीक विवरण मिलते हैं।
- बैकवर्ड पास (सीखना): यदि डिटेक्टिव कोई गलती करता है, तो "सुधार संकेत" (gradient) एकतरफा कांच से टकराता है और टकराकर वापस लौट जाता है। यह फोटोग्राफर के पास वापस जाकर स्केच को बदल नहीं सकता।
परिणाम: फोटोग्राफर अपना मूल, उच्च-गुणवत्ता वाला "स्केच" बरकरार रखता है (बारीक विवरणों को सुरक्षित रखता है), जबकि डिटेक्टिव फिर भी समस्या को हल करने के लिए उस जानकारी का उपयोग कर सकता है। डिटेक्टिव स्केच को बदलने के बजाय, स्केच के अनुकूल होना सीखता है।

3. डायग्नोस्टिक टूल: "R-Probe" (सत्य की परीक्षा)

आप कैसे जानेंगे कि डिटेक्टिव वास्तव में बारीक विवरण देख रहा है, या वह केवल अपने सामान्य ज्ञान के आधार पर अंदाज़ा लगा रहा है? मानक परीक्षण शोर भरे होते हैं क्योंकि डिटेक्टिव अपनी याददाश्त का उपयोग करके धोखाधड़ी कर सकता है।

लेखकों ने R-Probe का आविष्कार किया है, जो एक विशेष डायग्नोस्टिक टूल है।

उपमा: कल्पना कीजिए कि आप यह परीक्षण करना चाहते हैं कि क्या छात्र ने वास्तव में एक जटिल आरेख (diagram) को देखा है, या उसने केवल उत्तर कुंजी रट ली है।
परीक्षण: छात्र को गणित की समस्या हल करने के लिए कहने के बजाय, आप उन्हें आरेख देते हैं और उनसे उसे अपनी याददाश्त से दोबारा बनाने (redraw) के लिए कहते हैं।
ट्विस्ट: आप उन्हें मजबूर करते हैं कि वे अपने मस्तिष्क के केवल पहले कुछ परतों (वह हिस्सा जो कच्ची आकृतियों को संभालता है, न कि जटिल तर्क को) का उपयोग करके इसे दोबारा बनाएं।
तर्क: यदि छात्र आरेख की छोटी रेखाओं और वक्रों को सटीक रूप से फिर से बना सकता है, तो यह साबित करता है कि जानकारी वास्तव में उनकी स्मृति में सुरक्षित थी। यदि वे असफल होते हैं, तो इसका मतलब है कि जानकारी उन तक पहुँचने से पहले ही खो गई या बिगड़ गई।
महत्व: यह टूल शोधकर्ताओं को यह जल्दी से जांच करने में मदद करता है कि क्या उनका AI मॉडल वास्तव में बारीक विवरणों को "देख" रहा है या केवल भ्रमित (hallucinate) हो रहा है।

4. बड़ी तस्वीर के परिणाम (The Big Picture Results)

लेखकों ने विभिन्न प्रकार के "फोटोग्राफरों" (Vision Transformers) के साथ बड़े पैमाने पर (लाखों प्रशिक्षण उदाहरणों के साथ) इसका परीक्षण किया।

परिणाम: एकतरफा कांच (Detached Skip-Links) का उपयोग करके, AI टेक्स्ट पढ़ने, छोटी वस्तुओं को पहचानने और चार्ट को समझने में बहुत बेहतर हो गया।
बोनस: इसने बातचीत करने या सामान्य तर्क करने की AI की क्षमता को नुकसान नहीं पहुँचाया। वास्तव में, क्योंकि प्रशिक्षण अधिक स्थिर था, सब कुछ थोड़ा बेहतर हो गया।
निष्कर्ष: इस समस्या को ठीक करने के लिए आपको एक विशाल, जटिल नई मशीन बनाने की आवश्यकता नहीं है। आपको बस यह रोकने की आवश्यकता है कि "मैनेजर" (AI का मस्तिष्क) "शिल्पकार" (प्रारंभिक विजुअल लेयर्स) पर चिल्लाए, जबकि उन्हें एक-दूसरे से बात करने भी करने दें।

सारांश

समस्या: AI बारीक टेक्स्ट पढ़ने में भ्रमित हो जाता है क्योंकि उसका "मस्तिष्क" उसकी "आंखों" के बारीक विवरणों को ओवरराइट कर देता है।
समाधान: मस्तिष्क को विवरणों को देखने दें, लेकिन उसे आंखों के कच्चे डेटा को बदलने से रोकें। (Detached Skip-Links)।
जांच: यह सुनिश्चित करने के लिए कि विवरण वास्तव में वहां हैं, एक "रीड्रॉ टेस्ट" का उपयोग करें। (R-Probe)।
परिणाम: बेहतर OCR, बेहतर विजन, और एक अधिक स्थिर AI जो भ्रमित (hallucinate) नहीं होता।

यहाँ शोध पत्र "Detached Skip-Links and R-Probe: Decoupling Feature Aggregation from Gradient Propagation for MLLM OCR" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) उच्च-स्तरीय सिमेंटिक रीजनिंग (semantic reasoning) में उत्कृष्ट हैं, लेकिन वे अक्सर ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) और सूक्ष्म विजुअल ग्राउंडिंग (fine-grained visual grounding) में संघर्ष करते हैं। लेखकों ने मौजूदा मल्टी-लेयर फीचर फ्यूजन आर्किटेक्चर में एक विशिष्ट अनुकूलन बाधा (optimization bottleneck) की पहचान की है:

ग्रेडिएंट इंटरफेरेंस (Gradient Interference): मानक स्किप-कनेक्शन (skip-connections) ViT (Vision Transformer) की शुरुआती, उथली परतों (shallow layers) से LLM के उच्च-स्तरीय सिमेंटिक उद्देश्यों (जैसे, नेक्स्ट-टोकन प्रेडिक्शन) तक सीधे बैक-प्रोपैगेशन पथ बना देते हैं।
सिग्नल ओवरराइट (Signal Overwrite): उथली ViT परतें कम-स्तरीय ज्यामितीय विवरणों (स्ट्रोक्स, किनारे, बनावट) को एनकोड करने के लिए प्री-ट्रेन की गई होती हैं। जब उच्च-स्तरीय सिमेंटिक कार्यों से ग्रेडिएंट सीधे इन परतों में प्रवाहित होते हैं, तो वे लो-लेवल सिग्नल्स को ओवरराइट कर देते हैं, जिससे संरचनात्मक अस्थिरता और "डिफ्यूज्ड" अटेंशन पैटर्न उत्पन्न होते हैं।
निदान का अभाव (Lack of Diagnostics): मौजूदा बेंचमार्क विजुअल क्षमता के शोर वाले प्रॉक्सी (noisy proxies) हैं क्योंकि MLLMs वास्तविक विजुअल परसेप्शन के बजाय लैंग्वेज प्रायर्स (language priors) का उपयोग करके टेक्स्ट को मतिभ्रम (hallucinate) कर सकते हैं। यह मापने के लिए कोई विश्वसनीय मीट्रिक नहीं है कि क्या सूक्ष्म विजुअल जानकारी वास्तव में संरक्षित है और LLM द्वारा उपयोग योग्य है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र दो मुख्य नवाचार प्रस्तावित करता है: Detached Skip-Links (एक प्रशिक्षण तंत्र) और R-Probe (एक नैदानिक उपकरण)।

A. Detached Skip-Links

यह एक न्यूनतम आर्किटेक्चरल संशोधन है जिसे फीचर एग्रीगेशन को ग्रेडिएंट प्रोपेगेशन से अलग करने के लिए डिज़ाइन किया गया है।

तंत्र (Mechanism): मल्टी-लेयर फ्यूजन में, ViT से मध्यवर्ती फीचर्स को अंतिम आउटपुट के साथ जोड़ा जाता है (concatenate) और फिर LLM को फीड किया जाता है। लेखक बैकवर्ड पास के दौरान विशेष रूप से उथली (shallow) स्किप फीचर्स (जैसे, ब्लॉक 6 और 12) पर एक स्टॉप-ग्रेडिएंट ऑपरेटर ( $\text{sg}(\cdot)$ ) लागू करते हैं।
असममित डिज़ाइन (Asymmetric Design):
- फॉरवर्ड पास (Forward Pass): उथले फीचर्स का पूरी तरह से उपयोग किया जाता है और उन्हें कॉन्कैटिनेट किया जाता है, जिससे LLM को सूक्ष्म पिक्सेल-लेवल विवरण प्राप्त होते हैं।
- बैकवर्ड पास (Backward Pass): LLM ऑब्जेक्टिव से ग्रेडिएंट्स को उथले स्किप ब्रांच के माध्यम से वापस जाने से रोक दिया जाता है। केवल गहरे फीचर्स (जैसे, ब्लॉक 18, 23) ही पूर्ण ग्रेडिएंट अपडेट प्राप्त करते हैं।
सैद्धांतिक औचित्य (Theoretical Justification):
- बेयस रिस्क (Bayes Risk): उथले फीचर्स पूरक भविष्य कहनेवाला जानकारी ( $\Delta R > 0$ ) प्रदान करते हैं जो गहरे फीचर्स एब्स्ट्रैक्शन के कारण खो देते हैं।
- ग्रेडिएंट डायनेमिक्स (Gradient Dynamics): अनुभवजन्य विश्लेषण दिखाता है कि शुरुआती प्रशिक्षण में, स्किप-पाथ ग्रेडिएंट्स हाई-वेरिएंस नॉइज़ द्वारा हावी होते हैं और मुख्य पाथ ग्रेडिएंट्स के लगभग ऑर्थोगोनल (orthogonal) होते हैं। इस नॉइज़ी ग्रेडिएंट को उथली परतों को अपडेट करने देने से प्रशिक्षण अस्थिर हो जाता है। उन्हें अलग (detach) करने से ऑप्टिमाइजेशन का सिग्नल-टू-नॉइज़ रेशियो (SNR) बढ़ जाता है।

B. R-Probe (Reconstruction Probe)

LLM स्पेस में प्रोजेक्ट किए गए विजुअल टोकन्स की फिडेलिटी (fidelity) को मापने के लिए एक नैदानिक उपकरण।

आर्किटेक्चर: एक लाइटवेट डिकोडर जो फ्रोजन (frozen) MLLM बैकबोन से जुड़ा हुआ है। महत्वपूर्ण बात यह है कि डिकोडर को लक्ष्य LLM की परतों के पहले चौथाई हिस्से से इनिशियलाइज़ किया गया है।
कार्य (Function): यह प्रोजेक्ट किए गए विजुअल टोकन्स से मूल इमेज पिक्सल्स को पुनर्गठित (reconstruct) करने का प्रयास करता है।
तर्क (Rationale):
- स्टैंडर्ड ऑटोएनकोडर्स के विपरीत, R-Probe एक LLM-इनिशियलाइज्ड डिकोडर का उपयोग करता है ताकि यह सिम्युलेट किया जा सके कि लैंग्वेज मॉडल विजुअल इनपुट को कैसे "देखता" है।
- यह कॉन्टेक्स्ट-अवेयर रिकंस्ट्रक्शन को लागू करता है: मॉडल को आसपास के विजुअल कॉन्टेक्स्ट और टेक्स्टुअल प्रॉम्प्ट्स का उपयोग करके एक लक्षित टेक्स्ट क्षेत्र को पुनर्गठित करना चाहिए।
- मीट्रिक (Metric): कम रिकंस्ट्रक्शन लॉस (MSE) यह दर्शाता है कि विजुअल टोकन्स सूक्ष्म जानकारी बनाए रखते हैं और LLM के डिकोडिंग स्पेस के साथ संरेखित (aligned) हैं।

3. प्रमुख योगदान (Key Contributions)

Detached Skip-Links: एक पैरामीटर-फ्री विधि जो उच्च-स्तरीय सिमेंटिक ग्रेडिएंट्स को लो-लेवल विजुअल फीचर्स को दूषित करने से रोककर प्रशिक्षण स्थिरता और अभिसरण (convergence) में सुधार करती है। यह बिना किसी नए लर्न करने योग्य पैरामीटर के इसे प्राप्त करती है।
R-Probe: एक नवीन नैदानिक मीट्रिक जो LLM द्वारा विजुअल विवरणों की "रिकवरेबिलिटी" (recoverability) को मापता है। यह लीनियर प्रोबिंग से आगे बढ़कर पिक्सेल-लेवल रिकंस्ट्रक्शन तक जाता है, जो विजुअल फिडेलिटी के प्रॉक्सी के रूप में कार्य करता है।
स्केल और सामान्यीकरण (Scale and Generalizability): इस दृष्टिकोण को कई ViT बैकबोन (InternViT, AimV2, SigLip2) पर मान्य किया गया है और यह 7 मिलियन ट्रेनिंग सैंपल्स तक स्केल होता है, जो निरंतर सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार श्रेणियों: STEM, General, Alignment, और OCR के तहत 22 बेंचमार्क पर अपने दृष्टिकोण का मूल्यांकन किया।

OCR प्रदर्शन: विधि ने OCR-केंद्रित कार्यों पर महत्वपूर्ण लाभ प्राप्त किया।
- OCRBench: 714 (बेसलाइन) से सुधरकर 731 हुआ।
- DocVQA: 71.4 से सुधरकर 73.2 हुआ।
- कुल OCR औसत: 65.2 से बढ़कर 68.3 हुआ।
सामान्य मल्टीमॉडल कार्य: विधि ने सामान्य रीजनिंग और अलाइनमेंट कार्यों पर प्रदर्शन को बनाए रखा या सुधारा (जैसे, जनरल एवरेज 53.2 से बढ़कर 54.6 हो गया), जो यह सिद्ध करता है कि ग्रेडिएंट को अलग करने से उच्च-स्तरीय रीजनिंग को नुकसान नहीं पहुँचता है।
एब्लेशन स्टडीज (Ablation Studies):
- डिटैचमेंट स्ट्रैटेजी (Detachment Strategy): गहरे परतों को ट्रेन करने योग्य रखते हुए उथली परतों को डिटैच करने से सबसे अच्छे परिणाम मिले। गहरे परतों को डिटैच करने से अस्थिरता पैदा हुई।
- फ्यूजन डेंसिटी (Fusion Density): मध्यम फ्यूजन डेंसिटी (सैंपलिंग स्ट्राइड $S=6$ या $4$) स्पार्स (sparse) या डेंस (dense) फ्यूजन की तुलना में बेहतर रहा।
R-Probe वैलिडेशन:
- कम R-Probe रिकंस्ट्रक्शन लॉस वाले मॉडल्स ने लगातार उच्च डाउनस्ट्रीम OCR स्कोर दिखाए।
- R-Probe ने सफलतापूर्वक पता लगाया कि "Detached" कॉन्फ़िगरेशन बेसलाइन की तुलना में तेजी से अभिसरण (1689 स्टेप्स बनाम 2158 स्टेप्स) प्राप्त करता है और कम फाइनल लॉस हासिल करता है।

5. महत्व और प्रभाव (Significance and Impact)

ऑप्टिमाइजेशन इनसाइट: यह शोध पत्र इस धारणा को चुनौती देता है कि सभी स्किप-कनेक्शन पूरी तरह से डिफरेंशिएबल (differentiable) होने चाहिए। यह हाइलाइट करता है कि हेट्रोजेनियस फ्यूजन (विज़न + लैंग्वेज) में ग्रेडिएंट इंटरफेरेंस एक महत्वपूर्ण, अनदेखी समस्या है।
व्यावहारिक दक्षता: समाधान हल्का है (कोई नया मॉड्यूल या पैरामीटर नहीं) और मौजूदा आर्किटेक्चरल डिज़ाइन्स (जैसे, इसे DenseConnectors या DeepStack के साथ जोड़ा जा सकता है) के प्रति ऑर्थोगोनल है।
नैदानिक मानक: R-Probe यह मूल्यांकन करने के लिए एक नया मानक प्रदान करता है कि क्या एक MLLM वास्तव में सूक्ष्म विवरणों को "देख" रहा है या केवल लैंग्वेज प्रायर्स के आधार पर मतिभ्रम (hallucination) कर रहा है।
व्यापक प्रयोज्यता: निष्कर्ष बताते हैं कि फीचर एग्रीगेशन को ग्रेडिएंट प्रोपेगेशन से अलग करना किसी भी ViT-LLM ब्रिजिंग मैकेनिज्म के लिए फाइन-ग्रैन्ड परसेप्शन को बेहतर बनाने का एक सामान्य सिद्धांत है, विशेष रूप से डॉक्यूमेंट अंडरस्टैंडिंग और हाई-रेसोल्यूशन विजुअल टास्क के लिए।