SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding
यह शोधपत्र SynthDocBench प्रस्तुत करता है, जो दस्तावेज़ कारकों को व्यवस्थित रूप से नियंत्रित करने के लिए कॉम्बिनेटोरियल डिज़ाइन का उपयोग करने वाला एक पूर्णतः सिंथेटिक बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान विज़न-लैंग्वेज मॉडल विशिष्ट लॉन्ग-कॉन्टेक्स्ट विफलता मोड—जैसे लंबाई के साथ प्रदर्शन में गिरावट, पोजीशनल सेंसिटिविटी और चार्ट कॉम्प्रिहेन्शन ब्रेकडाउन—से ग्रस्त हैं, जो मौजूदा बेंचमार्क द्वारा छिप जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक विशाल, 50 पन्नों की कॉमिक बुक पढ़ना सिखा रहे हैं, जो टेक्स्ट, अजीबोगरीब लेआउट और सैकड़ों रंगीन चार्टों से भरी हुई है। आप यह जानना चाहते हैं कि क्या रोबोट वास्तव में इतना स्मार्ट है कि वह पेज 34 के बीच में छिपे एक पेचीदा सवाल का जवाब ढूंढ सके, या वह सिर्फ उन पैटर्न के आधार पर अंदाज़ा लगा रहा है जो उसने छोटी, सरल किताबों से याद किए हैं।
लेखकों ने बिल्कुल यही किया जो इस पेपर के लेखकों ने किया। उन्होंने एक बिल्कुल नया, सुपर-कंट्रोल्ड टेस्ट बनाया जिसे SynthDocBench कहा जाता है, ताकि यह देख सकें कि आज के सबसे स्मार्ट "विज़न-लैंग्वेज मॉडल्स" (VLMs)—यानी वे AI दिमाग जो देख और पढ़ सकते हैं—क्या वास्तव में वास्तविक दुनिया के लिए तैयार हैं।
समस्या: "जादुई ट्रिक" बनाम असली चीज़
इस पेपर से पहले, AI मॉडल एकल-पृष्ठ दस्तावेज़ों या अलग-थलग चार्टों के बारे में सवालों के जवाब देने में बहुत अच्छे हो रहे थे। यह ऐसा था जैसे वे सिंगल वर्कशीट पर गणित के टेस्ट में टॉप कर रहे हों। लेकिन जब आपने उन्हें मिश्रित मीडिया वाला एक पूरा उपन्यास-लंबाई का दस्तावेज़ दिया, तो वे लड़खड़ाने लगे।
समस्या यह थी कि कोई यह नहीं जानता था कि वे क्यों विफल हो रहे हैं। क्या इसलिए क्योंकि दस्तावेज़ बहुत लंबा था? क्या इसलिए क्योंकि चार्ट बहुत जटिल थे? या क्या सवाल ही बहुत कठिन था? यह एक धुंधले तूफान में कार के खराब होने का कारण पता लगाने जैसा था—आप यह नहीं देख पा रहे थे कि कौन सा हिस्सा विफल हुआ क्योंकि सब कुछ एक साथ हो रहा था।
समाधान: एक रोबोट-जनरेटेड "ट्रेनिंग जिम"
इसे ठीक करने के लिए, टीम ने SynthDocBench बनाया। इसे असली किताबों के पुस्तकालय के रूप में न देखें, बल्कि एक विशाल, रोबोटिक फैक्ट्री के रूप में देखें जो शुरुआत से 200 नकली दस्तावेज़ बनाती है।
खास बात यह है: उन्होंने केवल रैंडम चीजें नहीं फेंकीं। उन्होंने एक "कॉम्बिनेटोरियल डिज़ाइन" का उपयोग किया, जो एक फैंसी तरीका है यह कहने का कि उन्होंने एक ऐसा टेस्ट बनाया जहाँ वे एक बार में एक नॉब (knob) को ट्यून कर सकते थे।
- वे दस्तावेज़ को लंबा या छोटा कर सकते थे।
- वे लेआउट को "मैगजीन" स्टाइल से "ब्रूटलिस्ट" स्टाइल में बदल सकते थे।
- वे चार्ट को अलग-अलग प्रकारों (जैसे "डंबल" चार्ट या "लॉलीपॉप" चार्ट) से बदल सकते थे।
- वे सवालों को आसान (एक नंबर पढ़ना) या कठिन (पेज 5 के टेक्स्ट को पेज 40 के चार्ट के साथ जोड़ना) बना सकते थे।
उन्होंने इन दस्तावेज़ों को एक पाइपलाइन का उपयोग करके जनरेट किया जो टेक्स्ट, चार्ट (D3.js नामक टूल का उपयोग करके) और सवालों को एक साथ बनाता है। महत्वपूर्ण रूप से, उन्होंने लेआउट के लिए एक "40% रैंडम ओवरराइड" जोड़ा। यह सुनिश्चित करने के लिए एक कर्वबॉल फेंकने जैसा था कि AI यह याद करके धोखाधड़ी न कर सके कि "अर्थशास्त्र की रिपोर्टों में हमेशा बाईं ओर पाई चार्ट होते हैं।" वे यह देखना चाहते थे कि क्या AI वास्तव में तर्क (reasoning) कर सकता है, न कि केवल पैटर्न-मैचिंग।
बड़ा खुलासा: "मिडल-सेक्शन ब्लैक होल" और "चार्ट ब्लाइंडनेस"
उन्होंने इस नए बेंचमार्क पर दुनिया के सात सबसे उन्नत AI मॉडल्स का परीक्षण किया। परिणाम एक तरह का वेक-अप कॉल थे। जबकि कुछ मॉडल्स सिंगल पेज के लिए बेहतरीन थे, वे लंबे दस्तावेज़ों के साथ दीवार से टकरा गए। इस पेपर ने तीन विशिष्ट तरीकों को उजागर किया जिनसे वे विफल होते हैं, जो पुराने टेस्ट कभी नहीं दिखा पाए:
1. "मिडल-सेक्शन ब्लैक होल" (मध्य भाग का काला छेद)
यह सबसे आश्चर्यजनक खोज थी। लेखकों ने पाया कि छह में से पांच मॉडल्स के लिए, दस्तावेज़ का मध्य एक-तिहाई हिस्सा जानकारी खोजने के लिए सबसे कठिन जगह है। यह ऐसा है जैसे यदि आप किसी इंसान को 50 पन्नों की कहानी पढ़ने के लिए कहें, और उसे शुरुआत और अंत पूरी तरह से याद हो, लेकिन बीच का हिस्सा उसके लिए एक धुंधला सा बन जाए।
- डेटा: एक मॉडल, Claude-Sonnet-4.5, ने दस्तावेज़ की शुरुआत से अंत तक अपनी सटीकता में 11.7 प्रतिशत अंक की गिरावट देखी। एक अन्य मॉडल, Qwen3.5-VL-122B, ने शुरुआत से मध्य तक भारी 18.5 प्रतिशत अंक की गिरावट दर्ज की।
- टेकअवे: पेपर सुझाव देता है कि ये मॉडल्स शायद "मिडल में खो जाते हैं" (lost in the middle), और जैसे-जैसे दस्तावेज़ लंबा होता जाता है, जानकारी को ट्रैक करने में संघर्ष करते हैं।
2. "चार्ट कॉम्प्रिहेन्शन क्रैश" (चार्ट समझ का ढहना)
जब दस्तावेज़ लंबे हुए, तो चार्ट पढ़ने की मॉडल्स की क्षमता पूरी तरह से ध्वस्त हो गई। यहाँ तक कि वे मॉडल्स जो अकेले चार्ट पढ़ने में बहुत अच्छे थे (जैसे सिंगल पेज पर), वे भी विफल होने लगे जब वे चार्ट एक 50-पन्नों की रिपोर्ट के भीतर दबे हुए थे।
- डेटा: पेपर लंबे दस्तावेज़ों के इन सेटिंग्स में "सटीक चार्ट-रीडिंग सटीकता के पतन" को नोट करता है।
- टेकअवे: यह सुझाव देता है कि वर्तमान मॉडल्स शायद इस बात के लिए ओवरफिट (overfitting) हो रहे हैं कि अलग-थलग पन्नों पर चार्ट कैसे दिखते हैं, और वे अव्यवस्थित, लंबे संदर्भ में उन्हें संभालने के लिए पर्याप्त मजबूत नहीं हैं।
3. जटिलता के साथ "शार्प ड्रॉप" (तीव्र गिरावट)
जैसे-जैसे सवाल कठिन होते गए (जिसके लिए कई सबूतों को जोड़ने की आवश्यकता थी), प्रदर्शन केवल गिरा नहीं; बल्कि बुरी तरह गिर गया।
- डेटा: अधिकांश मॉडल्स के लिए, जैसे-जैसे वे सरल सवालों (लेवल 1) से जटिल सवालों (लेवल 5) की ओर बढ़े, सटीकता तेजी से गिरी। एक मॉडल, Claude-Sonnet-4.5, ने सबसे आसान और सबसे कठिन स्तरों के बीच 23 प्रतिशत अंक की गिरावट देखी।
- टेकअवे: पेपर सुझाव देता है कि जबकि ये मॉडल्स साधारण लुकअप कर सकते हैं, उन्हें तब काफी संघर्ष करना पड़ता है जब उन्हें एक लंबे दस्तावेज़ में गहरा, मल्टी-स्टेप रीजनिंग करने की आवश्यकता होती है।
"विज़न बनाम टेक्स्ट" मुकाबला
शोधकर्ताओं ने एक मजेदार प्रयोग भी चलाया: उन्होंने मॉडल्स को दस्तावेज़ों का टेक्स्ट दिया लेकिन इमेज को छिपा दिया (इमेज को टेक्स्ट में बदलने के लिए OCR का उपयोग किया)।
- परिणाम: जब सवाल जटिल रीजनिंग (टेक्स्ट सुरागों को मिलाने) के बारे में था, तो टेक्स्ट-ओनली वर्जन वास्तव में विज़न वर्जन से बेहतर प्रदर्शन कर रहा था।
- ट्विस्ट: लेकिन जब सवाल चार्ट पढ़ने के बारे में था, तो टेक्स्ट-ओनली वर्जन बुरी तरह विफल रहा।
- निष्कर्ष: यह साबित करता है कि चार्ट वाले सवालों के लिए, मॉडल्स को वास्तव में पिक्सेल को "देखने" की आवश्यकता होती है। वे केवल टेक्स्ट नहीं पढ़ रहे हैं; वे वास्तव में विजुअल डेटा को डिकोड करने की कोशिश कर रहे हैं। हालांकि, चार्ट रीडिंग पर सबसे अच्छे मॉडल (Gemini-3.1-Pro) और अन्य के बीच का अंतर बहुत बड़ा था (46 प्रतिशत अंक), जो बताता है कि विजुअल परसेप्शन अभी भी एक बड़ी बाधा है।
फैसला: क्या हम वहां पहुँच गए हैं?
पेपर निष्कर्ष निकालता है कि हालांकि ये AI मॉडल्स प्रभावशाली हैं, वे "बेंचमार्क आर्टिफ़ेक्ट्स के लिए ओवरफिट" हो सकते हैं। इसका मतलब है कि वे मौजूदा टेस्ट पर उच्च स्कोर प्राप्त कर रहे हैं क्योंकि उन टेस्ट में छिपे हुए पैटर्न हैं जिन्हें मॉडल्स ने सीख लिया है, न कि इसलिए कि वे वास्तव में लंबे, जटिल दस्तावेज़ों को समझते हैं।
लेखक सुझाव देते हैं कि हमें यह मानना बंद कर देना चाहिए कि ये मॉडल्स "हल" (solved) हो गए हैं क्योंकि वे सिंगल-पेज टेस्ट पर उच्च स्कोर करते हैं। नया बेंचमार्क, SynthDocBench, एक डायग्नोस्टिक टूल के रूप में कार्य करता है, जो यह प्रकट करता है कि दस्तावेज़ का "मिडल" एक अंध बिंदु (blind spot) है और लंबे-संदर्भ वाले चार्ट रीडिंग के लिए अभी भी एक बड़ी चुनौती है।
संक्षेप में: रोबोट स्मार्ट हो रहे हैं, लेकिन वे अभी भी एक लंबी कहानी के बीच में खो जाते हैं और जब कहानी बहुत लंबी हो जाती है तो ग्राफ को नहीं पढ़ पाते। हमें उन्हें सीखने में मदद करने के लिए बेहतर टेस्ट बनाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।