Internalized Reasoning for Long-Context Visual Document Understanding
यह शोध पत्र एक सिंथेटिक डेटा पाइपलाइन पेश करता है जो लो-स्ट्रेंथ मॉडल मर्जिंग के माध्यम से लॉन्ग-कॉन्टेक्स्ट विजुअल डॉक्यूमेंट अंडरस्टैंडिंग के लिए रीजनिंग ट्रेसेस को जेनरेट और इंटरनलाइज़ करता है, जिससे Qwen3 VL 32B जैसे छोटे मॉडल काफी बड़े समकक्षों से बेहतर प्रदर्शन करने में सक्षम होते हैं और आउटपुट टोकन के उपयोग को भी भारी रूप से कम करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके पेपर का स्पष्टीकरण दिया गया है।
बड़ी समस्या: "अलेक्जेंड्रिया के पुस्तकालय" जैसा ओवरलोड
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन सुराग 1,00,000 किताबों वाले एक पुस्तकालय में छिपे हुए हैं। आपको एक विशिष्ट प्रश्न दिया गया है, जैसे "कुकी किसने चुराई?"
यदि आप उत्तर खोजने के लिए हर एक किताब को शुरू से अंत तक पढ़ने की कोशिश करेंगे, तो आप थक जाएंगे, भ्रमित हो जाएंगे और संभावना है कि सुराग खो जाएगा क्योंकि वह इतने सारे शोर (noise) के बीच कहीं दब गया है। यह लॉन्ग-कॉन्टेक्स्ट विजुअल डॉक्यूमेंट अंडरस्टैंडिंग (Long-Context Visual Document Understanding) की समस्या है। कंप्यूटर (AI मॉडल्स) छोटे नोट्स पढ़ने में बहुत अच्छे होते हैं, लेकिन जब आप उन्हें 300 पन्नों का कानूनी अनुबंध या वैज्ञानिक जर्नल देते हैं, तो वे अक्सर "बीच में खो" जाते हैं या बस अनुमान लगाने लगते हैं क्योंकि वे एक साथ पूरी चीज़ को प्रोसेस नहीं कर पाते।
पुराना तरीका बनाम नया तरीका
पुराना तरीका (द "ब्रूट फोर्स" अप्रोच):
पहले, AI को लंबे दस्तावेज़ पढ़ने में स्मार्ट बनाने के लिए, शोधकर्ताओं ने बस AI को बड़ा बना दिया (जैसे जासूस को एक बड़ा दिमाग देना)। लेकिन सबसे बड़े AI मॉडल्स भी संघर्ष कर रहे थे। वे एक विशालकाय व्यक्ति की तरह थे जो तेज़ी से पढ़ तो सकता था लेकिन उसे यह नहीं पता था कि कैसे सोचना है। वे बस टेक्स्ट को स्कैन करते थे और उम्मीद करते थे कि सब ठीक हो जाए।
नया तरीका (द "स्मार्ट डिटेक्टिव" अप्रोच):
यह पेपर एक नई विधि पेश करता है जिसे इंटरनलाइज्ड रीजनिंग (Internalized Reasoning) कहा जाता है। केवल AI को बड़ा बनाने के बजाय, उन्होंने इसे उत्तर देने से पहले सोचना सिखाया।
इसे एक छात्र को निबंध लिखने से पहले नोट्स लेना सिखाने जैसा समझें।
- ट्रेनिंग: शोधकर्ताओं ने एक "नकली" ट्रेनिंग सेट बनाया जहाँ AI को एक जासूस की तरह काम करना था।
- चरण 1: इसने दस्तावेज़ के हर पन्ने को देखा।
- चरण 2: इसने हर पन्ने को एक "प्रासंगिकता स्कोर" (relevance score) दिया (जैसे 0 से 10 तक का ग्रेड)। "यह पन्ना उबाऊ है (1/10)।" "इस पन्ने में उत्तर है (9/10)।"
- चरण 3: इसने उबाऊ पन्नों को हटा दिया और केवल सबसे महत्वपूर्ण 24 पन्नों को ही रखा।
- चरण 4: इसने अपनी "सोचने की प्रक्रिया" (सुबूत) लिखी और फिर अंतिम उत्तर दिया।
जादू का कमाल: "सोच को अंदर समाहित करना" (Internalizing the Thought)
सबसे दिलचस्प बात यहाँ है। आमतौर पर, जब कोई AI "सोचता" है, तो उसे उत्तर देने से पहले स्क्रीन पर वे सभी नोट्स और गणनाएँ दिखानी पड़ती हैं। इसमें बहुत समय लगता है और बहुत अधिक कंप्यूटर पावर खर्च होती है।
शोधकर्ता चाहते थे कि AI उसकी सोच को अपने दिमाग के अंदर ही रखे।
उन्होंने मॉडल मर्जिंग (Model Merging) नामक एक तकनीक का उपयोग किया। कल्पना कीजिए कि आपके पास एक चरित्र के दो संस्करण हैं:
- संस्करण A: एक जासूस जो अपराध सुलझाते समय लगातार खुद से बातें करता रहता है।
- संस्करण B: एक जासूस जो बिना एक शब्द बोले तुरंत अपराध सुलझा लेता है।
उन्होंने इन दोनों संस्करणों को आपस में मिला दिया (गणितीय रूप से मिला दिया) लेकिन इस "मिश्रण" को बहुत हल्का रखा। परिणाम? AI ने जासूस की तर्क शक्ति (सही पन्नों को खोजने का तरीका) तो सीख ली, लेकिन उसने विचारों को ज़ोर से बोलना बंद कर दिया।
परिणाम:
- पहले: AI कहता, "मैं पेज 1 देख रहा हूँ... यह अप्रासंगिक है। पेज 2... अप्रासंगिक। पेज 3... अरे! यहाँ उत्तर है।" (इसमें बहुत समय लगता है)।
- बाद में: AI दस्तावेज़ को देखता है, तुरंत "जान" जाता है कि कौन से पन्ने महत्वपूर्ण हैं, और कहता है, "उत्तर 59 है।" (यह तुरंत होता है)।
यह एक मास्टर शेफ की तरह है जो पहले कहता था, "मैं प्याज काट रहा हूँ, अब मैं पैन गरम कर रहा हूँ..." लेकिन अब वह बिना कुछ बोले एकदम सही खाना बनाता है। कौशल अब आंतरिक (internalized) हो गया है।
यह क्यों महत्वपूर्ण है
- गति और दक्षता: नया AI उत्तर देने में 12 गुना तेज़ है क्योंकि वह अपने विचारों को टाइप करने में समय बर्बाद नहीं करता है।
- दिग्गजों से बेहतर: उन्होंने इस विधि का उपयोग करके एक अपेक्षाकृत छोटे AI (32 बिलियन पैरामीटर्स) को प्रशिक्षित किया। इसने लंबे दस्तावेज़ों को पढ़ने में एक विशालकाय "विशाल" AI (235 बिलियन पैरामीटर्स) को भी पीछे छोड़ दिया। यह एक स्मार्ट हाई स्कूल छात्र के उस पीएचडी छात्र को हराने जैसा है जिसके पास बड़ी याददाश्त तो है, लेकिन छात्र वास्तव में जानता है कि पढ़ाई कैसे करनी है।
- ऑन/ऑफ स्विच: उन्होंने एक "कंट्रोल टोकन" (एक गुप्त स्विच) बनाया। यदि आप स्विच चालू करते हैं, तो AI फिर से ज़ोर से बोलना शुरू कर देता है (अपना काम दिखाता है)। यदि आप इसे बंद करते हैं, तो वह चुप रहता है लेकिन फिर भी सोचता रहता है। यह साबित करता है कि सोचने की क्षमता वास्तव में मॉडल के अंदर है, न कि केवल प्रॉम्प्ट का कोई ट्रिक।
"ट्रेस" डिज़ाइन का सबक
पेपर में यह भी पाया गया कि आप AI को कैसे सोचना सिखाते हैं, यह मायने रखता है।
- खराब डिज़ाइन (v1): उन्होंने AI को क्रमवार हर एक पन्ने की जाँच करने के लिए सिखाया, यहाँ तक कि उबाऊ पन्नों की भी। AI भ्रमित हो गया और बार-बार लूप में फंस गया, उन पन्नों की जाँच करने लगा जो मौजूद ही नहीं थे।
- अच्छा डिज़ाइन (v2): उन्होंने AI को केवल शीर्ष 24 सबसे प्रासंगिक पन्नों की जाँच करने के लिए सिखाया। इसने भ्रम को रोका और AI को बहुत स्मार्ट बना दिया।
सारांश
यह पेपर AI को एक स्मार्ट लाइब्रेरियन बनाने के बारे में है, न कि एक बेमतलब के स्कैनर के रूप में। इसे शोर को फ़िल्टर करने, महत्वपूर्ण हिस्सों पर ध्यान केंद्रित करने और फिर उस सोचने की प्रक्रिया को "आंतरिक" करने के लिए प्रशिक्षित करके, उन्होंने एक ऐसा मॉडल बनाया जो तेज़ है, चलाने में सस्ता है, और आश्चर्यजनक रूप से बड़े मॉडल्स से भी स्मार्ट है। यह साबित करता है कि लंबे दस्तावेज़ों को पढ़ने जैसे जटिल कार्यों के लिए, आपका दिमाग कितना बड़ा है उससे कहीं अधिक महत्वपूर्ण यह है कि आप कैसे सोचते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।