← नवीनतम पेपर
💬 NLP

InSight-doc: Agentic Visual Perception for Long-Document Understanding

InSight-doc एक एजेंटिक विज़ुअल परसेप्शन फ्रेमवर्क है जो बाहरी रिट्रिवर्स पर निर्भर हुए बिना, सटीकता में उल्लेखनीय सुधार करने, मतिभ्रम (hallucinations) को कम करने और इन्फरेंस लेटेंसी को घटाने के लिए लंबे दस्तावेज़ों के उच्च-रिज़ॉल्यूशन वाले क्षेत्रों में अनुकूल रूप से ज़ूम करता है।

मूल लेखक: Kaican Li, Weiyan Xie, Lewei Yao, Jiannan Wu, Lanqing Hong, Yongxiang Huang, Nevin L. Zhang

प्रकाशित 2026-08-12
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Kaican Li, Weiyan Xie, Lewei Yao, Jiannan Wu, Lanqing Hong, Yongxiang Huang, Nevin L. Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल जिग्सॉ पहेली (jigsaw puzzle) सुलझाने की कोशिश कर रहे हैं, लेकिन एक मेज के बजाय, उसके टुकड़े एक शहर जितने बड़े पुस्तकालय में बिखरे हुए हैं। अब, कल्पना कीजिए कि आपके पास मदद के लिए एक सुपर-स्मार्ट रोबोट सहायक है। पुराने दिनों में, यह रोबोट एक ही समय में पूरे पुस्तकालय को देखने की कोशिश करता, अपनी आँखें इतनी ज़ोर से सिकोड़ता कि उसे सिरदर्द हो जाता, बारीक विवरणों को मिस कर देता, और अंततः पहेली सुलझाने में हार मान लेता। यह वर्तमान AI के साथ होने वाली समस्या है जब वह लंबे दस्तावेज़ों को पढ़ने की कोशिश करता है: वह जानकारी की विशाल मात्रा से अभिभूत हो जाता है, अपना ध्यान खो देता है, और खाली जगहों को भरने के लिए कुछ भी मनगढ़ंत बनाने लगता है (एक गड़बड़ी जिसे "हैलुसिनेशन" या भ्रम कहा जाता है)।

इसे ठीक करने के लिए, वैज्ञानिक AI को एक मानव जासूस की तरह व्यवहार करना सिखा रहे हैं। एक पूरे पन्ने को शून्य होकर देखने के बजाय, एक मानव जासूस एक विशिष्ट सुराग पर ज़ूम करता है, बारीक अक्षरों को पढ़ता है, और फिर अगले स्थान पर चला जाता है। यह पेपर एक नया AI सिस्टम पेश करता है जिसे InSight-doc कहा जाता है जो बिल्कुल यही करता है। यह "ज़ूम इन" करने को एक निश्चित सेटिंग के रूप में नहीं, बल्कि एक ऐसी शक्ति के रूप में देखता है जिसका उपयोग वह ज़रूरत पड़ने पर कर सकता है। यह पहले दूर से पूरे दस्तावेज़ को (लो-रेज़ोल्यूशन में) देखता है, और केवल तभी जब इसे कुछ दिलचस्प दिखता है, तो यह उस छोटे से हिस्से का एक क्रिस्टल-क्लियर, हाई-रेज़ोल्यूशन दृश्य प्राप्त करने के लिए आवर्धक लेंस (magnifying glass) निकालता है। इस तरह, यह ऊर्जा बचाता है, भ्रमित होने से बचता है, और अंदाज़ा लगाने के बजाय सच्चाई खोज लेता है।

जादुई आवर्धक लेंस वाला जासूस

मिलिए InSight-doc से, एक नए प्रकार के AI जासूस से जिसे रिसर्च पेपर्स, वित्तीय रिपोर्ट या कानूनी अनुबंधों जैसे लंबे, जटिल दस्तावेज़ों को पढ़ने के दुस्वप्न से निपटने के लिए डिज़ाइन किया गया है। आज के अधिकांश AI मॉडल एक ऐसे छात्र की तरह हैं जो पूरी किताब को एक साथ देखने के लिए पूरी चीज़ की एक छोटी फोटोकॉपी को सिकोड़कर पढ़ने की कोशिश कर रहा है। वे हर एक शब्द और छवि को एक साथ प्रोसेस करने की कोशिश करते हैं। यह आपदा का नुस्खा है: कंप्यूटर धीमा हो जाता है, मेमोरी खत्म हो जाती है, और क्योंकि यह एक साथ बहुत कुछ पकड़ने की कोशिश कर रहा है, यह "सड़ने" (एक तकनीकी शब्द जिसका अर्थ है भ्रमित होना और जो अभी पढ़ा है उसे भूल जाना) लगता है। इससे भी बुरा यह है कि जब यह फंस जाता है, तो यह अक्सर स्मार्ट दिखने के लिए खुद ही कोई उत्तर बना लेता है, जिसे हम "हैलुसिनेशन" कहते हैं।

InSight-doc इस कहानी को बदल देता है। पूरी किताब को एक बार में निगलने के बजाय, यह एक पत्रिका के पन्नों को पलटते हुए एक जिज्ञासु किशोर की तरह काम करता है। यह कम रेज़ोल्यूशन के साथ पन्नों को तेज़ी से सरसरी नज़र से देखता है—इतना कि बड़ी तस्वीरों और शीर्षकों को देखा जा सके। फिर, जब इसे एक पैराग्राफ या चार्ट दिखता है जो लग सकता है कि उत्तर रखे हुए है, तो यह केवल अंदाज़ा नहीं लगाता। यह एक "ज़ूम-इन" टूल का उपयोग करके केवल उस विशिष्ट क्षेत्र का एक हाई-रेज़ोल्यूशन, क्रिस्टल-क्लियर क्रॉप लेता है। यह एक जादुई आवर्धक लेंस रखने जैसा है जिसका उपयोग आप केवल तभी करते हैं जब आपको वास्तव में बारीक अक्षरों को पढ़ने की आवश्यकता होती है।

पेपर दिखाता है कि यह "कोर्स-टू-फाइन" (स्थूल-से-सूक्ष्म) दृष्टिकोण एक गेम-चेंजर है। शुरुआत छोटे से करने और केवल आवश्यकता होने पर ज़ूम करने से, InSight-doc न केवल समय बचाता है; बल्कि यह वास्तव में स्मार्ट भी हो जाता है। लंबे दस्तावेज़ों के परीक्षणों में, इसने मानक मॉडलों की तुलना में "मनगढ़ंत" उत्तरों (हैलुसिनेशन) की संख्या को 40% से अधिक कम कर दिया। यह बहुत तेज़ भी हो गया, सोचने और उत्तर देने के समय को 41% से 68% तक कम कर दिया, और साथ ही सही उत्तर भी अधिक बार दिया।

इसने ज़ूम करना कैसे सीखा

आप सोच सकते हैं कि एक रोबोट यह कैसे सीखता है कि कब ज़ूम करना है और कहाँ देखना है? शोधकर्ताओं ने केवल AI को "स्मार्ट" बनने के लिए नहीं कहा। उन्होंने इसके लिए एक विशाल प्रशिक्षण मैदान बनाया। उन्होंने 17,900 उदाहरणों का एक विशेष डेटासेट बनाया जहाँ AI को ठीक वैसे ही चरण-दर-चरण ज़ूम करना सिखाया गया जैसे एक शिक्षक छात्र को माइक्रोस्कोप का उपयोग करना सिखाता है। उन्होंने 19,200 अन्य कठिन उदाहरण भी जोड़े जहाँ AI को सुरागों की तलाश करने का सबसे अच्छा तरीका खोजने के लिए प्रयास और त्रुटि (जिसे रीइन्फोर्समेंट लर्निंग कहा जाता है) के माध्यम से सीखना था।

इस प्रशिक्षण के माध्यम से, AI ने एक "मल्टीमॉडल चेन ऑफ थॉट" सीखी। यह एक फैंसी तरीका है यह कहने का कि इसने खुद से बात करना सीखा: "हम्म, उत्तर पेज 1 पर नहीं है। मुझे पेज 5 पर चार्ट पर ज़ूम करना चाहिए। ओह, यह भी नहीं है। मुझे पेज 12 पर टेबल को चेक करना चाहिए।" यह साक्ष्य का एक रास्ता बनाता है, दस्तावेज़ के विभिन्न हिस्सों पर ज़ूम करता है जब तक कि उसके पास एक आत्मविश्वासी उत्तर देने के लिए पर्याप्त प्रमाण न हो जाए। यदि दस्तावेज़ में उत्तर नहीं है, तो यह अंदाज़ा लगाने के बजाय यह कहना सीख जाता है कि, "मुझे नहीं पता।"

परिणाम: तेज़, स्मार्ट और कम गैस वाला

इस पेपर ने इस नए जासूस का परीक्षण उपलब्ध कुछ सबसे स्मार्ट AI मॉडलों के खिलाफ किया, जिसमें प्रमुख टेक कंपनियों के बड़े प्रोप्राइटरी मॉडल भी शामिल हैं। परिणाम प्रभावशाली थे। मानक दस्तावेज़ क्विज़ पर, InSight-doc ने सटीकता में एक बड़ा सुधार किया—लो-रेज़ोल्यूशन व्यू से शुरू करने पर बेसलाइन मॉडल की तुलना में 16.4 प्रतिशत अंक तक बेहतर।

लेकिन असली जादू सबसे लंबे, सबसे भ्रमित करने वाले दस्तावेज़ों के साथ हुआ। जब दस्तावेज़ वास्तव में लंबे (सैकड़ों पन्ने) हो गए, तो पुराने मॉडल लड़खड़ाने लगे और गलतियाँ करने लगे। हालाँकि, InSight-doc शांत रहा। इसने सही उत्तर खोजने में सफल रहा जबकि इसने 58% कम "टोकन" (टेक्स्ट और इमेज के डिजिटल बिल्डिंग ब्लॉक्स जिन्हें कंप्यूटर को प्रोसेस करना होता है) का उपयोग किया। इसका मतलब है कि इसने न केवल सही उत्तर पाया; बल्कि इसने बहुत कम कंप्यूटिंग पावर और समय के साथ इसे किया।

शोधकर्ताओं ने यह भी जांचा कि क्या इस कौशल का उपयोग दस्तावेज़ों के अलावा अन्य चीजों पर किया जा सकता है, जैसे जटिल मानचित्रों या चार्टों को देखना। भले ही इसे मुख्य रूप से दस्तावेज़ों पर प्रशिक्षित किया गया था, AI ने दिखाया कि यह इन विजुअल पहेलियों पर भी अपने प्रदर्शन में सुधार करके सामान्यीकरण (generalize) कर सकता है।

यह क्या नहीं है (और यह क्या नहीं करता)

यह जानना महत्वपूर्ण है कि InSight-doc क्या नहीं है। यह कोई जादुई छड़ी नहीं है जो आपका मन पढ़ ले, और यह पन्ने खोजने के लिए किसी बाहरी सर्च इंजन पर निर्भर नहीं है। कुछ अन्य AI सिस्टम पहले सही पन्ने को "खोजने" की कोशिश करते हैं, जैसे किसी PDF को खोजने के लिए Google का उपयोग करना। InSight-doc यह पूरी तरह से अपने दिमाग के अंदर, बिना किसी बाहरी मदद के करता है। यह इसे तेज़ बनाता है और इस बात की संभावना कम करता है कि यदि सर्च इंजन गलत पन्ना चुन ले तो यह भटक जाए।

पेपर यह भी स्पष्ट करता है कि यह हर स्थिति के लिए हल की गई समस्या नहीं है। शोधकर्ताओं ने इसे विशिष्ट प्रकार के दस्तावेज़ों और प्रश्नों पर परखा। उन्होंने यह दावा नहीं किया कि यह ब्रह्मांड में मौजूद हर प्रकार की छवि या टेक्स्ट पर पूरी तरह से काम करता है, और उन्होंने स्वीकार किया कि इसे और भी बेहतर बनाने की गुंजाइश है। उन्होंने किसी फैंसी नई गणितीय ट्रिक या गुप्त सामग्री का उपयोग नहीं किया; उन्होंने बस यह दिखाया कि AI को ज़रूरत पड़ने पर "करीब से देखने" की क्षमता देना एक शक्तिशाली, सरल विचार है जो आश्चर्यजनक रूप से अच्छा काम करता है।

संक्षेप में, InSight-doc हमें सिखाता है कि कभी-कभी, पूरी तस्वीर देखने का सबसे अच्छा तरीका एक साथ सब कुछ देखने की कोशिश करना छोड़ देना है। ज़रूरत पड़ने पर विवरणों पर ज़ूम करना सीखकर, AI दुनिया की सबसे जटिल दस्तावेज़ पहेलियों को हल करने में एक अधिक विश्वसनीय, कुशल और ईमानदार साथी बन सकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →