PIX2DB: Reconstructing Executable Relational Databases from Document Images with a 2B Vision-Language Model
यह शोध पत्र PIX2DB को प्रस्तुत करता है, जो एक 2B विजन-लैंग्वेज मॉडल है जिसे एक नियतात्मक रिपेयर लेयर (deterministic repair layer) के साथ जोड़ा गया है जो रेंडर किए गए और एनोटेटेड स्रोतों के हाइब्रिड प्रशिक्षण डेटासेट का लाभ उठाते हुए, सिंथेटिक बेंचमार्क पर अत्याधुनिक प्रदर्शन और वास्तविक दुनिया के रसीदों और तालिकाओं पर मजबूत परिणाम प्राप्त करते हुए, दस्तावेज़ छवियों से सीधे क्वेरेबल SQLite डेटाबेस को पुनर्गठित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
दशकों से, दुनिया कागज और पिक्सेल में डूब रही है। रसीदें, चालान, स्कैन की गई रिपोर्ट और स्प्रेडशीट के स्क्रीनशॉट हमारे डिजिटल अभिलेखागारों में सपाट चित्रों के रूप में पड़े रहते हैं। मानवीय आंखों के लिए, ये चित्र अर्थ से भरे होते हैं: संख्याओं की पंक्तियाँ, डेटा को समूहबद्ध करने वाले हेडर, और ऐसे सेल जो डेटा दिखाने के लिए कॉलमों में फैले होते हैं। लेकिन एक कंप्यूटर के लिए, एक छवि केवल रंगीन बिंदुओं का एक संग्रह है। वह एक तालिका के आकार को तो देखता है लेकिन उसके भीतर के तर्क को नहीं। वह यह नहीं समझ पाता कि एक 'मर्ज किया हुआ' (merged) सेल नीचे की प्रत्येक पंक्ति से संबंधित है, या डॉलर का चिह्न एक संख्या के लिए प्रतीक है, न कि किसी अक्षर के लिए। डेटा को देखने के हमारे तरीके और मशीनों द्वारा इसे पढ़ने के बीच का यह अंतर लंबे समय से एक बाधा बना रहा है। हम किसी दस्तावेज़ की फोटो ले सकते हैं, लेकिन उस फोटो को एक कार्यात्मक डेटाबेस में बदलना—जहाँ एक प्रोग्राम वास्तव में लागतों को जोड़ सके या तारीखों को क्रमबद्ध कर सके—आमतौर पर इसके लिए आवश्यक होता था कि कोई इंसान जानकारी को मैन्युअल रूप से फिर से टाइप करे या संरचना का अनुमान लगाने के लिए जटिल स्क्रिप्ट लिखे।
शोधकर्ताओं ने कंप्यूटर को पृष्ठ के लेआउट को पहचानने के लिए प्रशिक्षित करके इसे हल करने का प्रयास किया, जिससे छवियों को टेक्स्ट या कोड में बदला जा सके जो एक तालिका जैसा दिखता हो। हालाँकि, इन तरीकों से अक्सर दृश्य डिज़ाइन की एक वफादार प्रति तो मिल जाती है, लेकिन अंतर्निहित डेटा नहीं। एक कंप्यूटर सही ढंग से पहचान सकता है कि एक सेल दो पंक्तियों तक फैला हुआ है, लेकिन वह यह समझने में विफल रहता है कि उस सेल के भीतर का मान डेटाबेस की दोनों पंक्तियों पर लागू होता है। वह छवि को एक विवरण योग्य चित्र के रूप में मानता है, न कि पुनर्निर्मित किए जाने वाले सत्य के स्रोत के रूप में। इस नए कार्य का लक्ष्य उस अंतिम अंतर को पाटना है: एक दस्तावेज़ की एक एकल छवि लेना और एक पूरी तरह से कार्यात्मक डेटाबेस बनाना जिसे एक मानक कंप्यूटर प्रोग्राम बिना किसी मानवीय हस्तक्षेप के तुरंत उपयोग, क्वेरी और विश्लेषण कर सके।
इस परियोजना के पीछे के शोधकर्ता, मूसा पेकर ने इस समस्या को इस सवाल के साथ देखा कि कंप्यूटर कुछ ऐसा करे जो वह शायद ही कभी करता है: डेटा संरचना के बारे में स्वयं कठिन निर्णय लेना। केवल वही देखने के बजाय जो वह देखता है, सिस्टम को यह तय करने के लिए प्रशिक्षित किया गया है कि पंक्तियाँ और कॉलम कैसे संबंधित हैं, मर्ज किए गए सेल को कैसे संभालना है, और दस्तावेज़ के विभिन्न हिस्सों को एक एकल, तार्किक प्रणाली में कैसे जोड़ना है। उन्होंने PIX2DB नामक एक प्रणाली बनाई, जिसका अर्थ है "पिक्चर टू डेटाबेस" (चित्र से डेटाबेस)। इस प्रणाली का मूल एक विजन-लैंग्वेज मॉडल है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो एक छवि को देख सकता है और उसके भीतर के टेक्स्ट और संरचना को समझ सकता है। शोधकर्ता ने इस मॉडल के एक अपेक्षाकृत छोटे संस्करण को, जिसमें दो अरब पैरामीटर थे, तालिकाओं और रसीदों की छवियों को देखने और निर्देशों का एक विशिष्ट सेट आउटपुट करने के लिए प्रशिक्षित किया जिसे SQL डंप कहा जाता है। यह एक ऐसा प्रारूप है जो एक डेटाबेस इंजन को ठीक से बताता है कि टेबल कैसे बनाए जाएं, प्रत्येक कॉलम में किस प्रकार का डेटा जाए, और टेबल एक दूसरे से कैसे जुड़ते हैं।
मॉडल को यह कौशल सिखाने के लिए, शोधकर्ता को एक महत्वपूर्ण बाधा का सामना करना पड़ा: उन्हें सटीक उदाहरणों की आवश्यकता थी कि आउटपुट कैसा दिखना चाहिए। वे मौजूदा डेटासेट पर भरोसा नहीं कर सकते थे क्योंकि उनमें आमतौर पर केवल दृश्य लेआउट होता है, सही डेटाबेस संरचना नहीं। इसलिए, उन्होंने अपना स्वयं का प्रशिक्षण क्षेत्र बनाया। उन्होंने वास्तविक दुनिया के डेटाबेस लिए, जैसे कि ऑनलाइन स्टोर या प्रॉपर्टी लिस्टिंग में उपयोग किए जाने वाले, और एक कंप्यूटर प्रोग्राम का उपयोग करके उन्हें छवियों के रूप में रेंडर किया। उन्होंने हजारों ऐसी छवियां बनाईं, जिनमें अलग-अलग फोंट, रंग, मर्ज किए गए सेल, और यहाँ तक कि फोटोग्राफ की खामियों, जैसे कि हल्का धुंधलापन या असमान रोशनी जोड़कर कठिनाई के स्तर को बदला। उन्होंने तालिकाओं और रसीदों के मौजूदा सार्वजनिक डेटासेट को भी उसी सख्त प्रारूप में परिवर्तित किया। उनके द्वारा उत्पन्न प्रत्येक उदाहरण की जांच कोड चलाकर की गई ताकि यह सुनिश्चित हो सके कि वह वास्तव में काम करता है। इस प्रक्रिया ने उन्हें "गोल्ड स्टैंडर्ड" जोड़ों का एक विशाल पुस्तकालय दिया: एक तरफ एक छवि और दूसरी तरफ पूर्ण, निष्पादन योग्य डेटाबेस।
इस प्रशिक्षण के परिणाम आश्चर्यजनक थे। छोटा, दो अरब पैरामीटर वाला मॉडल, जिसे इन छत्तीस हजार उदाहरणों पर प्रशिक्षित किया गया था, अपने आकार से चार गुना बड़े मॉडलों से बेहतर प्रदर्शन करता है। जब उन तालिकाओं की छवियों पर परीक्षण किया गया जिन्हें उसने पहले कभी नहीं देखा था, तो छोटे मॉडल ने उच्च सटीकता के साथ डेटाबेस संरचना का सफलतापूर्वक पुनर्निर्माण किया। इसने सही ढंग से पहचाना कि मर्ज किए गए सेल को व्यक्तिगत पंक्तियों में कैसे विभाजित किया जाए, दो-स्तरीय हेडर को एकल कॉलम नाम में कैसे बदला जाए, और मुख्य चालान (invoice) हेडर से मदों (items) की सूची को 'फॉरेन की' (foreign key) का उपयोग करके कैसे जोड़ा जाए, जो दो तालिकाओं को जोड़ने वाला एक नियम है। सिंथेटिक छवियों वाले परीक्षणों में, मॉडल ने अस्सी छह प्रतिशत मामलों में तालिका संरचना पर सटीक मिलान प्राप्त किया। इससे भी अधिक प्रभावशाली बात यह है कि इसने विभिन्न तालिकाओं के बीच के कनेक्शन को लगभग पूरी तरह से रिकवर किया, और फॉरेन की को निन्यानवे प्रतिशत बार सही पाया।
शोधकर्ता ने वास्तविक दुनिया की छवियों पर भी सिस्टम का परीक्षण किया, जैसे कि रसीदों की तस्वीरें और स्कैन किए गए वित्तीय दस्तावेज़। यहाँ, मॉडल ने मजबूत प्रदर्शन जारी रखा, वित्तीय तालिकाओं के लिए डेटा को निन्यानवे प्रतिशत सेल में सही ढंग से पहचाना और रसीद की तस्वीरों से तिरानवे प्रतिशत डेटा को रिकवर किया। सिस्टम दस्तावेज़ों की अव्यवस्थित वास्तविकता को संभालने में विशेष रूप से कुशल साबित हुआ, जैसे कि एक मर्ज किए गए सेल से मान को हर उस पंक्ति में दोहराना जिसे वह कवर करता है, एक ऐसा कार्य जिसने बड़े मॉडलों और अन्य मौजूदा उपकरणों को भ्रमित कर दिया था। हालाँकि, अध्ययन ने एक स्पष्ट सीमा भी प्रकट की। जब टीम ने मॉडल का परीक्षण तालिकाओं के एक ऐसे डेटासेट पर किया जो प्रशिक्षण के दौरान देखे गए किसी भी डेटा से पूरी तरह से अलग था, तो इसका प्रदर्शन गिर गया। मॉडल इन नई, अपरिचित तस्वीरों में टेक्स्ट पढ़ने में संघर्ष करता था, अक्सर संख्याओं या अक्षरों को गलत पढ़ता था। इससे पता चलता है कि जबकि मॉडल ने डेटा को संरचित करने के तर्क में महारत हासिल कर ली थी, वह स्वयं टेक्स्ट को पढ़ने के लिए प्रशिक्षण डेटा पर निर्भर था।
शोध का एक प्रमुख निष्कर्ष स्वयं प्रशिक्षण डेटा का महत्व था। शोधकर्ता ने एक प्रयोग चलाया जहाँ उन्होंने मॉडल के एक संस्करण को केवल उन्हीं सिंथेटिक छवियों का उपयोग करके प्रशिक्षित किया जो उन्होंने बनाई थीं, बिना किसी वास्तविक दुनिया की फोटो के। इस संस्करण ने सिंथेटिक परीक्षणों पर तो उत्तम प्रदर्शन किया लेकिन वास्तविक दस्तावेजों की तस्वीरों को दिखाने पर बुरी तरह विफल रहा। यह वास्तविक फोटोग्राफ में पाए जाने वाले अव्यवस्थित टेक्स्ट को नहीं संभाल सका। इसने सिद्ध किया कि सिंथेटिक डेटा ने मॉडल को खेल के नियम सिखाए, लेकिन वास्तविक डेटा ने उसे खिलाड़ियों को पढ़ना सिखाया। अंतिम प्रणाली ने दोनों को मिलाया, संरचना सीखने के लिए सिंथेटिक डेटा और टेक्स्ट सीखने के लिए वास्तविक डेटा का उपयोग किया।
शोधकर्ता ने अपने सिस्टम में एक सुरक्षा जाल भी जोड़ा, एक 'डिटरमिनिस्टिक रिपेयर लेयर' (deterministic repair layer) जो डेटाबेस बनने से पहले अंतिम जांच के रूप में कार्य करता है। यदि मॉडल कोई छोटी गलती करता है, जैसे कि किसी शब्द में कॉमा (comma) होने पर उद्धरण चिह्न (quote) लगाना भूल जाना, तो यह लेयर त्रुटि को स्वचालित रूप से ठीक कर देता है। इस चरण ने सुनिश्चित किया कि आउटपुट न केवल सैद्धांतिक रूप से सही हो बल्कि वास्तव में निष्पादन योग्य भी हो। इस रिपेयर स्टेप के बिना, कई आउटपुट विफल हो जाते। इसके साथ, सिस्टम ने लगभग हर मामले में काम करने वाले डेटाबेस बनाए, जिससे एक दृश्य छवि एक ऐसे उपकरण में बदल गई जिसे तुरंत क्वेरी, सॉर्ट और विश्लेषण किया जा सकता है।
अध्ययन यह निष्कर्ष निकालता है कि एक तस्वीर से काम करने वाले डेटाबेस तक का रास्ता एक बड़ा, अधिक शक्तिशाली मस्तिष्क बनाने के बारे में नहीं है, बल्कि एक छोटे, केंद्रित मॉडल को डेटा संरचना के विशिष्ट नियम सिखाने के बारे में है। शोधकर्ता ने पाया कि एक संक्षिप्त मॉडल, जिसे सटीक उदाहरणों पर प्रशिक्षित किया गया है और जिसे एक सरल रिपेयर मैकेनिज्म का समर्थन प्राप्त है, उन बड़े, सामान्य मॉडलों से बेहतर प्रदर्शन कर सकता है जिन्हें केवल संरचना का अनुमान लगाने के लिए कहा गया था। हालाँकि सिस्टम अभी भी कठिन, अपरिचित फोटोग्राफ में टेक्स्ट पढ़ने के लिए संघर्ष करता है, लेकिन इसने दस्तावेज़ के दृश्य लेआउट को एक तार्किक, रिलेशनल डेटाबेस में बदलने की समस्या को सफलतापूर्वक हल कर लिया है। इसका अर्थ यह है कि पहली बार, एक कंप्यूटर किसी रसीद या चार्ट की फोटो देख सकता है और तुरंत एक डेटाबेस बना सकता है जिसका उपयोग मानव प्रश्न पूछने, कुल योग खोजने या रुझानों को ट्रैक करने के लिए कर सकता है, जिससे प्रभावी रूप से छवि के भीतर फंसे डेटा को अनलॉक किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।