VAREX: A Benchmark for Multi-Modal Structured Extraction from Documents
VAREX सरकारी फॉर्मों से संरचित डेटा निष्कर्षण पर मल्टीमॉडल फाउंडेशन मॉडल का मूल्यांकन करने के लिए एक नवीन बेंचमार्क है, जिसमें एक अद्वितीय रिवर्स एनोटेशन पाइपलाइन, चार विशिष्ट इनपुट मोडैलिटीज़ और ऐसे निष्कर्ष शामिल हैं जो लेआउट-संरक्षित टेक्स्ट को सबसे प्रभावी इनपुट फॉर्मेट के रूप में उजागर करते हैं और 4B पैरामीटर्स से कम वाले मॉडल्स के लिए स्कीमा अनुपालन को प्राथमिक बाधा के रूप में पहचानते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास सरकारी फॉर्मों का एक विशाल ढेर है—टैक्स रिटर्न, परमिट आवेदन, लाइसेंस नवीनीकरण। आपका लक्ष्य इन बिखरे हुए कागजी (या PDF) दस्तावेजों को साफ-सुथरे, व्यवस्थित डिजिटल स्प्रेडशीट में बदलना है जिसे कंप्यूटर पढ़ सके। इसे स्ट्रक्चर्ड डेटा एक्सट्रैक्शन (Structured Data Extraction) कहा जाता है।
लंबे समय से, कंप्यूटर इस काम में बेहतर होते रहे हैं, लेकिन एक समस्या थी: हमारे पास छोटे, सस्ते कंप्यूटरों को टेस्ट करने का कोई अच्छा तरीका नहीं था। हम केवल "सुपरकंप्यूटरों" (महंगे, विशाल AI मॉडल्स) का परीक्षण कर रहे थे। यह बिल्कुल वैसा ही है जैसे केवल रेस कारों को ट्रैक पर टेस्ट करना और इस बात को नजरअंदाज कर देना कि क्या एक साइकिल भी ड्राइववे पर चल सकती है।
यहाँ VAREX आता है। VAREX को एक विशाल, स्वचालित "खाली स्थान भरें" (fill-in-the-blanks) टेस्ट के रूप में समझें, जिसे विशेष रूप से यह देखने के लिए डिज़ाइन किया गया है कि विभिन्न AI मॉडल्स फॉर्म को कितनी अच्छी तरह पढ़ सकते हैं और उत्तरों को सही ढंग से भर सकते हैं।
यह कैसे काम करता है और उन्होंने क्या पाया, इसका विवरण यहाँ रोजमर्रा के उदाहरणों के साथ दिया गया है:
1. "रिवर्स एनोटेशन" की तरकीब: रेसिपी से खाना बनाना
आमतौर पर, एक AI को टेस्ट करने के लिए, इंसान एक दस्तावेज़ देखते हैं, उसे पढ़ते हैं और उत्तर लिखते हैं (ग्राउंड ट्रुथ)। यह धीमा है और इसमें मानवीय त्रुटि की संभावना रहती है।
VAREX टीम ने रिवर्स एनोटेशन (Reverse Annotation) नामक एक चतुर तरीका अपनाया।
- पुराना तरीका: आपके पास एक खाली फॉर्म होता है, आप उसे भरते हैं, फिर उसे वापस पढ़ने की कोशिश करते हैं।
- VAREX का तरीका: उन्होंने एक डिजिटल रेसिपी (एक टेम्पलेट) से शुरुआत की। उन्होंने एक रोबोट को उस टेम्पलेट को नकली डेटा (जैसे "John Doe", "123 Fake Street") के साथ भरने के लिए प्रोग्राम किया। क्योंकि रोबोट ने डेटा लिखा था, इसलिए वह जानता है कि वहां वास्तव में क्या होना चाहिए।
- परिणाम: उन्होंने 1,777 अद्वितीय फॉर्म और 1,771 अलग-अलग लेआउट बनाए। चूंकि कंप्यूटर ने ही उत्तर लिखे थे, इसलिए "सही उत्तर कुंजी" (correct answer key) 100% सटीक है। इसमें कोई अनुमान नहीं लगाना पड़ता।
2. AI की चार "इंद्रियां"
इस बेंचमार्क ने AI को चार अलग-अलग तरीकों से टेस्ट किया, जैसे किसी छात्र को चार अलग-अलग फॉर्मेट में परीक्षा देना:
- प्लेन टेक्स्ट (Plain Text): सिर्फ शब्द, जैसे बिना क्रम के सामग्री की एक सूची। (यह समझना कठिन है कि चीजें कहाँ स्थित हैं)।
- स्पेशियल टेक्स्ट (Spatial Text): शब्द, लेकिन कॉलम दिखाने के लिए अतिरिक्त स्पेस के साथ। जैसे टाइपराइटर का पेज जहाँ आप अलाइनमेंट देख सकते हैं।
- इमेज (Image): फॉर्म की एक तस्वीर (जैसे फोन से फोटो लेना)।
- इमेज + टेक्स्ट (Image + Text): फोटो और टेक्स्ट दोनों एक साथ।
बड़ा आश्चर्य: उन्होंने पाया कि कई मॉडल्स के लिए, स्पेशियल टेक्स्ट (सिर्फ स्पेस के साथ शब्द) फोटो देखने की तुलना में वास्तव में बेहतर था! यह एक टाइप किए गए मेनू को पढ़ने जैसा आसान है, बजाय इसके कि आप हाथ से लिखे मेनू की धुंधली फोटो को समझने की कोशिश करें। इमेज में मौजूद विजुअल "शोर" (visual noise) कभी-कभी AI को मदद करने के बजाय भ्रमित कर देता है।
3. "छोटा मॉडल" संकट: "इको" (Echo) की समस्या
यह सबसे महत्वपूर्ण खोज है। टीम ने 20 अलग-अलग AI मॉडल्स का परीक्षण किया, बहुत छोटे मॉडल्स (2 बिलियन पैरामीटर्स, जैसे एक कॉम्पैक्ट कार) से लेकर विशाल मॉडल्स (जैसे एक सुपरटैंकर) तक।
उन्होंने पाया कि छोटे मॉडल्स (4 बिलियन पैरामीटर्स से कम वाले) इसलिए फेल नहीं हो रहे थे क्योंकि वे "अंधे" थे या टेक्स्ट नहीं पढ़ पा रहे थे। वे इसलिए फेल हो रहे थे क्योंकि वे निर्देशों का पालन करने में खराब थे।
- "इको" का रूपक: कल्पना कीजिए कि आप एक छात्र से पूछते हैं, "इस फॉर्म पर नाम क्या है?" और वह जवाब देता है, "इस फॉर्म पर नाम [नाम] है।"
- समझदार छात्र कहता है: "John Doe."
- भ्रमित छात्र कहता है: "इस फॉर्म पर नाम John Doe है।"
- सबसे खराब छात्र (एक "इको" मॉडल) कहता है: "इस फॉर्म पर नाम [नाम] है।" वे उत्तर देने के बजाय केवल सवाल के स्ट्रक्चर को ही दोहरा देते हैं।
पेपर में, वे इसे "स्कीमा इको" (Schema Echo) कहते हैं। छोटे मॉडल्स रिक्वेस्ट के फॉर्मेट से इतने विचलित हो गए कि उन्होंने डेटा भरने के बजाय टेम्पलेट को ही कंप्यूटर को वापस कॉपी कर दिया। इसकी वजह से उनके स्कोर में 45-65% की गिरावट आई।
4. "जादुई समाधान": फाइन-ट्यूनिंग (Fine-Tuning)
पेपर में पाया गया कि आपको इस समस्या को ठीक करने के लिए विशाल सुपरकंप्यूटर की आवश्यकता नहीं है।
- उन्होंने एक छोटे मॉडल को लिया और उसे थोड़ा विशिष्ट प्रशिक्षण (फाइन-ट्यूनिंग) दिया, जो विशेष रूप से फॉर्म भरने पर आधारित था।
- परिणाम: छोटे मॉडल का प्रदर्शन लगभग शून्य से बढ़कर लगभग पूर्ण (perfect) हो गया।
- सबक: यह बड़े दिमाग के बारे में नहीं है; यह छोटे दिमाग को यह सिखाने के बारे में है कि व्यवहार कैसे करना है। एक 2-बिलियन-पैरामीटर वाला मॉडल, यदि सही ढंग से प्रशिक्षित किया जाए, तो वह 100-बिलियन-पैरामीटर वाले मॉडल के लगभग बराबर प्रदर्शन कर सकता है।
5. रिज़ॉल्यूशन: "धुंधली फोटो" का टेस्ट
उन्होंने यह भी टेस्ट किया कि अगर इमेज धुंधली (लो रिज़ॉल्यूशन) हो तो क्या होता है।
- बड़े मॉडल्स: जब आप फोटो को धुंधला करते हैं, तो विशाल मॉडल्स (जैसे GPT-4o) भ्रमित हो जाते हैं और उनके स्कोर में भारी गिरावट आती है। वे हर छोटे पिक्सेल को देखने पर बहुत अधिक निर्भर करते हैं।
- छोटे मॉडल्स: आश्चर्यजनक रूप से, कुछ छोटे मॉडल्स ने बड़े मॉडल्स की तुलना में धुंधली फोटो को बेहतर तरीके से संभाला। वे हाई-डेफिनिशन विवरणों पर कम निर्भर थे और टेक्स्ट स्ट्रक्चर पर अधिक केंद्रित थे।
सारांश: हमारे लिए इसका क्या अर्थ है?
VAREX एक चेतावनी है।
- सिर्फ सबसे बड़े, सबसे महंगे AI को न खरीदें। फॉर्म पढ़ने के लिए, एक छोटा और सस्ता मॉडल भी उतना ही अच्छा काम कर सकता है यदि उसे सही ढंग से प्रशिक्षित किया गया हो।
- "इको" (Echo) दुश्मन है। यदि कोई AI सवाल पूछने के बजाय सवाल को ही दोहराता रहता है, तो यह विजन (देखने) की समस्या नहीं है; यह निर्देश पालन (instruction-following) की समस्या है।
- टेक्स्ट अक्सर तस्वीरों से बेहतर होता है। कभी-कभी, AI को स्पेस के साथ टेक्स्ट देना, उसे दस्तावेज़ की फोटो दिखाने की तुलना में अधिक विश्वसनीय होता है।
संक्षेप में, VAREX AI को मापने का एक नया पैमाना है। यह हमें बताता है कि फॉर्म पढ़ने जैसे रोज़मर्रा के काम के लिए, हमें फेरारी की ज़रूरत नहीं है; हमें बस एक अच्छी तरह से ट्यून की गई साइकिल की ज़रूरत है जो नियमों का पालन करना जानती हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।