From Pixels to Pairs: A Comprehensive Benchmark of LLM-Driven Key–Value Extraction in Noisy Document Settings
यह शोध पत्र एक व्यापक बेंचमार्किंग फ्रेमवर्क प्रस्तुत करता है जो शोर युक्त (noisy) OCR-जनित दस्तावेजों से की-वैल्यू पेयर्स (key-value pairs) निकालने में लार्ज लैंग्वेज मॉडल्स की मजबूती का मूल्यांकन करता है, जो यह प्रकट करता है कि स्वच्छ-टेक्स्ट प्रदर्शन वास्तविक दुनिया की विश्वसनीयता के लिए एक अविश्वसनीय प्रॉक्सी है और निरंतर मॉडल रैंकिंग तथा फ्यू-शॉट प्रॉम्पटिंग (few-shot prompting) के मोनोटोनिक लाभों के बारे में धारणाओं को चुनौती देता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, सूचना की विशाल मात्रा कागजी दस्तावेजों के भीतर फंसी हुई है: चालान (invoices), चिकित्सा रिकॉर्ड और सरकारी फॉर्म। इस डेटा को कंप्यूटर के लिए उपयोगी बनाने के लिए, हमें पहले इन पृष्ठों की छवियों को टेक्स्ट में बदलना होगा, जिसे ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) कहा जाता है। एक बार जब छवि टेक्स्ट बन जाती है, तो बुद्धि का एक दूसरा स्तर, जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है, उस टेक्स्ट को पढ़कर विशिष्ट जानकारी ढूंढता है, जैसे कि देय राशि की कुल रकम या किसी ग्राहक का नाम। यह दो-चरणीय प्रक्रिया कई स्वचालित प्रणालियों की रीढ़ है, फिर भी यह एक नाजुक श्रृंखला पर निर्भर करती है। यदि पहला चरण टेक्स्ट का एक अव्यवस्थित या गलत संस्करण तैयार करता है, तो दूसरे चरण को उस शोर (noise) के साथ काम करना पड़ता है, जिससे अक्सर ऐसी त्रुटियां होती हैं जिन्हें ट्रैक करना कठिन होता है। वर्षों से, शोधकर्ताओं ने इन बुद्धिमान मॉडलों का परीक्षण पूर्ण, स्वच्छ टेक्स्ट का उपयोग करके किया है, यह मानते हुए कि यदि कोई मॉडल एक आदर्श पृष्ठ पर अच्छा काम करता है, तो वह एक वास्तविक, स्कैन किए गए पृष्ठ पर भी अच्छा काम करेगा। इस धारणा ने हमारी समझ में एक अंतर छोड़ दिया है कि ये सिस्टम वास्तविक दुनिया की धुंधली, धब्बेदार या विकृत वास्तविकता का सामना करने पर वास्तव में कैसा व्यवहार करते हैं।
वेस्टक्लिफ यूनिवर्सिटी की ज़हरा अनवरी द्वारा किया गया एक नया अध्ययन इस अंतर को समझने के लिए कदम बढ़ाता है कि वास्तव में क्या होता है जब ये डिजिटल उपकरण अपूर्ण वास्तविकता से मिलते हैं। शोधकर्ता ने पांच अलग-अलग प्रकार के बुद्धिमान भाषा मॉडलों का परीक्षण करने के लिए एक विशाल, नियंत्रित प्रयोग स्थापित किया। इन मॉडलों को तीन अलग-अलग प्रकार के दस्तावेजों से विशिष्ट 'की-वैल्यू पेयर्स' (key-value pairs) निकालने के लिए कहा गया था—जैसे कि लेबल "Date" को संख्या "12/05/2023" के साथ मिलाना—जो जटिल फॉर्म, सरल रसीदें और घने चालान (invoices) थे। वास्तविक दुनिया का अनुकरण करने के लिए, अध्ययन ने केवल मॉडलों को पूर्ण टेक्स्ट नहीं दिया। इसके बजाय, इसने मूल दस्तावेज़ छवियों को तीन अलग-अलग ऑप्टिकल कैरेक्टर रिकग्निशन इंजनों के माध्यम से चलाया, जो वे सॉफ्टवेयर उपकरण हैं जो छवियों को टेक्स्ट में बदलते हैं। ये इंजन गलतियाँ करने के लिए जाने जाते हैं, जैसे कि शून्य (0) को 'O' से बदलना, किसी शब्द को बीच से तोड़ देना, या लाइनों के क्रम को अस्त-व्यस्त कर देना। अध्ययन ने फिर यह तुलना की कि मॉडलों ने पूर्ण, मूल टेक्स्ट बनाम अव्यवस्थित, मशीन-जनित टेक्स्ट के साथ कैसा प्रदर्शन किया।
परिणामों ने खुलासा किया कि इन मॉडलों के बारे में सामान्य विश्वास काफी हद तक गलत था। अध्ययन में पाया गया कि किसी मॉडल की स्वच्छ, पूर्ण टेक्स्ट पर अच्छा प्रदर्शन करने की क्षमता इस बात का विश्वसनीय संकेतक नहीं है कि वह शोर वाले, स्कैन किए गए टेक्स्ट को कैसे संभालेगा। वास्तव में, कौन सा मॉडल "सर्वश्रेष्ठ" है, इसकी रैंकिंग पूरी तरह से बदल गई, चाहे टेक्स्ट स्वच्छ हो या शोर वाला। एक मॉडल जो पूर्ण दस्तावेजों पर शीर्ष प्रदर्शन करने वाला था, वह अक्सर उन प्रतिस्पर्धियों से पीछे रह गया जब टेक्स्ट OCR त्रुटियों से दूषित हो गया था। यह सुझाव देता है कि एक पूर्ण पृष्ठ को पढ़ने के लिए आवश्यक कौशल और एक अव्यवस्थित पृष्ठ को समझने के लिए आवश्यक कौशल अलग-अलग हैं। इसके अलावा, अध्ययन ने दिखाया कि ये मॉडल जानकारी की सही श्रेणी खोजने में विशेष रूप से अच्छे हैं, जैसे कि यह जानना कि "Total" का क्षेत्र कहाँ है, लेकिन वे तब संघर्ष करते हैं जब उस क्षेत्र के वास्तविक अंक या अक्षर थोड़े भी गलत होते हैं। एक मॉडल सही ढंग से पहचान सकता है कि एक दस्तावेज़ में कुल राशि शामिल है, लेकिन यदि ऑप्टिकल कैरेक्टर रिकग्निशन इंजन ने एक अंक को गलत पढ़ लिया है, तो मॉडल अक्सर सही मान को पुनः प्राप्त करने में विफल रहता है, या इससे भी बुरा, वह खाली स्थान को भरने के लिए एक विश्वसनीय दिखने वाला लेकिन गलत नंबर आत्मविश्वास के साथ बना लेता है।
एक अन्य आश्चर्यजनक खोज मॉडलों को सीखने में मदद करने के लिए उदाहरणों के उपयोग से संबंधित थी। यह एक सामान्य अभ्यास है कि किसी कंप्यूटर मॉडल को कार्य करने के लिए कहने से पहले उसे कार्य के कुछ उदाहरण दिखाए जाते हैं, जिसे 'फ्यू-शॉट प्रॉम्प्टिंग' (few-shot prompting) नामक तकनीक कहा जाता है। अध्ययन ने यह परीक्षण किया कि क्या मॉडलों को एक, दो या तीन उदाहरण देने से उनकी सटीकता में लगातार सुधार होता है। निष्कर्षों ने दिखाया कि यह एक गारंटीकृत समाधान नहीं है। अधिक उदाहरण जोड़ने से हमेशा बेहतर परिणाम नहीं मिले; कभी-कभी, मॉडल को अधिक उदाहरण देने से वास्तव में उसका प्रदर्शन खराब हो गया। इस पद्धति की सफलता काफी हद तक उपयोग किए जा रहे विशिष्ट मॉडल, दस्तावेज़ के प्रकार और यहाँ तक कि मॉडल को दिखाने के लिए चुने गए विशिष्ट उदाहरणों पर निर्भर थी। कुछ मामलों में, मॉडल बिना किसी उदाहरण के सबसे अच्छा प्रदर्शन करता था, जबकि अन्य में, एक एकल उदाहरण पर्याप्त था, और अधिक उदाहरण बाधा बन गए। यह अस्थिरता बताती है कि केवल अधिक प्रशिक्षण उदाहरण जोड़ना इन प्रणालियों को वास्तविक दुनिया की त्रुटियों के प्रति मजबूत बनाने के लिए कोई जादुई समाधान नहीं है।
अध्ययन ने यह भी रेखांकित किया कि दस्तावेज़ की संरचना स्वयं कितनी महत्वपूर्ण भूमिका निभाती है। जब शोधकर्ताओं ने उन फॉर्मों पर मॉडलों का परीक्षण किया जहाँ प्रश्न और उत्तर के बीच का संबंध पृष्ठ पर उनकी भौतिक स्थिति पर निर्भर करता है, तो टेक्स्ट को एक साधारण सूची में बदलने के बाद प्रदर्शन तेजी से गिर गया। दृश्य लेआउट (visual layout) के बिना, मॉडल जानकारी के सही टुकड़ों को जोड़ने में संघर्ष करने लगे। यह विशेष रूप रूप से रसीदों जैसे घने दस्तावेजों के लिए सच हुआ जहाँ कई लाइन आइटम होते हैं, जहाँ टेक्स्ट के क्रम को पढ़ने में एक छोटी सी त्रुटि से गलतियों की एक श्रृंखला शुरू हो गई, जिससे कीमतें गलत वस्तुओं के साथ मिल गईं। अनुसंधान ने प्रदर्शित किया कि हालांकि ये बुद्धिमान मॉडल शक्तिशाली हैं, लेकिन वे प्राप्त इनपुट के क्षरण (degradation) से सुरक्षित नहीं हैं। वे उस जानकारी का जादुई रूप से पुनर्निर्माण नहीं कर सकते जो उनके देखने से पहले ही खो गई या दूषित हो गई थी।
अंततः, यह कार्य दस्तावेज़ स्वचालन (document automation) के क्षेत्र के लिए एक कठोर वास्तविकता की जाँच के रूप में कार्य करता है। यह सिद्ध करता है कि इन प्रणालियों का परीक्षण केवल पूर्ण डेटा पर करना सुरक्षा की एक झूठी भावना देता है। अध्ययन इन प्रणालियों की विफलता का एक विस्तृत मानचित्र प्रदान करता है, जो दिखाता है कि एक स्कैन की गई छवि से एक उपयोगी डिजिटल रिकॉर्ड तक का मार्ग विशिष्ट और अनुमानित बाधाओं से भरा है। टेक्स्ट-रीडिंग सॉफ्टवेयर द्वारा की गई त्रुटियों को बुद्धिमान मॉडल द्वारा की गई त्रुटियों से अलग करके, यह शोध इन उपकरणों का मूल्यांकन करने और सुधारने का एक स्पष्ट तरीका प्रदान करता है। निष्कर्ष बताते हैं कि वास्तव में विश्वसनीय प्रणालियाँ बनाने के लिए, हम केवल मॉडलों पर पिछले (upstream) दोषों को ठीक करने के लिए निर्भर नहीं रह सकते। इसके बजाय, हमें पूरी प्रक्रिया को एक जुड़ी हुई श्रृंखला के रूप में मानना चाहिए, जहाँ अंतिम परिणाम की गुणवत्ता हर कड़ी की गुणवत्ता पर निर्भर करती है, प्रारंभिक स्कैन से लेकर डेटा के अंतिम निष्कर्षण तक।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।