💬 NLP

PulseBench-Tab: A Multilingual Benchmark for Table Extraction with Graph-Based Evaluation

यह शोधपत्र PulseBench-Tab प्रस्तुत करता है, जो नौ भाषाओं और चार लिपियों में 1,820 मानव-एनोटेटेड तालिकाओं से युक्त एक बहुभाषी बेंचमार्क है, साथ ही इसमें जटिल, वास्तविक दुनिया की दस्तावेज़ छवियों पर विभिन्न तालिका निष्कर्षण प्रणालियों के प्रदर्शन का आकलन करने के लिए T-LAG नामक एक नवीन ग्राफ-आधारित मूल्यांकन मीट्रिक भी शामिल है।

मूल लेखक: Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास दस्तावेजों का एक विशाल पुस्तकालय है—वित्तीय रिपोर्ट, सरकारी फॉर्म और कॉर्पोरेट खुलासे—जो नौ अलग-अलग भाषाओं में छपे हुए हैं। इन दस्तावेजों के भीतर हजारों टेबल हैं, जैसे कि स्प्रेडशीट, जो संख्याओं और टेक्स्ट से भरी हुई हैं। इस पेपर का लक्ष्य यह देखना है कि कंप्यूटर कितनी अच्छी तरह से इन टेबल्स को "पढ़" सकते हैं, उन्हें पूरी तरह से कॉपी कर सकते हैं, और यह समझ सकते हैं कि जानकारी का हर एक हिस्सा वास्तव में कहाँ होना चाहिए।

यहाँ PulseBench-Tab और T-LAG का सरल विवरण दिया गया है।

1. समस्या: टेबल कठिन क्यों हैं

टेबल को पढ़ना केवल अक्षरों को पहचानना (जैसे कि किताब पढ़ना) नहीं है। यह ज्यामिति (geometry) को समझने के बारे में है।

उपमा (Analogy): कल्पना कीजिए कि एक टेबल एक जिग्सॉ पहेली (jigsaw puzzle) की तरह है। यदि आप "100" संख्या वाले एक टुकड़े को गलत जगह रख देते हैं, तो पूरी तस्वीर बिगड़ जाती है। एक कंप्यूटर सिस्टम में, यदि कोई संख्या गलत सेल में चली जाती है, तो यह केवल एक टाइपिंग की गलती नहीं है; यह एक आपदा है जो बाद में किए जाने वाले किसी भी कैलकुलेशन को खराब कर देती है।
अंतराल (Gap): पिछले परीक्षणों में ज्यादातर अंग्रेजी टेबल्स को देखा गया या टेबल्स को शब्दों की लंबी सूचियों (फ्लैटनिंग) की तरह माना गया, जिससे उनकी 2D संरचना (पंक्तियाँ और कॉलम) खो जाती है। उन्होंने उन भाषाओं का भी पर्याप्त परीक्षण नहीं किया जो दाएं-से-बाएं लिखी जाती हैं (जैसे अरबी) या जो जटिल पात्रों (जैसे चीनी या जापानी) का उपयोग करती हैं।

2. समाधान: एक नया "टेबल जिम" (डेटासेट)

लेखकों ने PulseBench-Tab नामक एक विशाल प्रशिक्षण मैदान बनाया है।

आकार: इसमें 1,820 वास्तविक दुनिया की टेबल्स शामिल हैं।
विविधता: ये टेबल्स 9 भाषाओं (अंग्रेजी, चीनी, अरबी, रूसी, आदि) में 380 विभिन्न दस्तावेजों से ली गई हैं और 4 अलग-अलग लेखन प्रणालियों का उपयोग करती हैं।
कठिनाई: कुछ टेबल्स बहुत छोटी हैं (केवल 2 सेल), जबकि अन्य 1,000 से अधिक सेल वाले दैत्य समान हैं। लगभग आधे में "मर्ज" किए गए सेल (जहाँ एक बड़ा सेल दो या तीन छोटे सेल्स की जगह घेर लेता है) हैं, जो एक पहेली के टुकड़े की तरह है जो बोर्ड पर कई स्थानों को कवर करता है।
गोल्ड स्टैंडर्ड: प्रत्येक टेबल की जांच उन विशिष्ट भाषाओं के मानव विशेषज्ञों द्वारा की गई थी ताकि यह सुनिश्चित हो सके कि "उत्तर कुंजी" 100% सही है।

3. नया रूलर: T-LAG (ग्राफ मेट्रिक)

कंप्यूटरों को ग्रेड देने के लिए, लेखकों ने T-LAG नामक एक नई स्कोरिंग प्रणाली बनाई है।

पुराना तरीका: पिछली विधियों ने अक्सर यह देखा कि कंप्यूटर ने सही शब्द प्राप्त किए या नहीं, लेकिन उन्हें इस बात की ज्यादा परवाह नहीं थी कि वे शब्द उनके सही पड़ोसियों के साथ थे या नहीं। यह एक छात्र को स्पेलिंग टेस्ट पर ग्रेड देने जैसा था लेकिन इस बात को नजरअंदाज करना कि उन्होंने शब्दों को सही वाक्यों में रखा है या नहीं।
नया तरीका (T-LAG): टेबल को सड़कों से जुड़े शहरों के मानचित्र के रूप में कल्पना करें।
- नोड्स (शहर): व्यक्तिगत सेल।
- एजेस (सड़कें): सेल के बीच के संबंध (जैसे, "सेल A, सेल B के दाईं ओर है" या "सेल C, सेल D के नीचे है")।
स्कोरिंग कैसे होती है: T-LAG "सड़कों" को देखता है। यह पूछता है: "क्या कंप्यूटर ने वास्तविक टेबल की तरह ही सड़कों का नक्शा बनाया है?"
- यदि कंप्यूटर टेक्स्ट को सही प्राप्त करता है लेकिन उसे गलत कॉलम में रखता है, तो "सड़क" टूट जाती है, और स्कोर गिर जाता है।
- यह एक विशेष गणितीय ट्रिक (हंगेरियन एल्गोरिदम) का उपयोग करता है ताकि वास्तविक टेबल और कंप्यूटर की टेबल के बीच सबसे अच्छा मिलान पाया जा सके, यह सुनिश्चित करने के लिए कि यह केवल रैंडम अनुमान न लगाए।
- "कठोरता" का डायल: लेखकों ने स्कोरिंग को बहुत सख्त (एक "k=7" सेटिंग) रखा है। वास्तविक दुनिया में, यदि एक वित्तीय रिपोर्ट " $1 मिलियन" के बजाय "$ 10 मिलियन" कहती है, तो यह एक विफलता है, न कि एक "करीब-करीब" का प्रयास। यह मेट्रिक वास्तविक दुनिया की जरूरतों को दर्शाने के लिए छोटी गलतियों को भी बड़ी विफलताओं के रूप में मानता है।

4. दौड़: कौन जीता?

लेखकों ने इस डेटासेट पर 9 अलग-अलग कंप्यूटर सिस्टम (बड़ी टेक API, ओपन-सोर्स टूल्स और उनके अपने सिस्टम सहित) का परीक्षण किया।

विजेता: Pulse Ultra 2 (लेखकों का अपना सिस्टम) 93.5% के स्कोर के साथ पहले स्थान पर आया। यह एकमात्र ऐसा सिस्टम था जिसने आधी से अधिक टेबल्स पर "परफेक्ट" स्कोर प्राप्त किया।
उपविजेता: Gemini 3.1 81.6% के साथ दूसरे स्थान पर रहा।
अंतराल: शीर्ष दो के बाद स्कोर में भारी गिरावट आई। निचले तीसरे हिस्से के सिस्टमों का स्कोर 72% से नीचे था, जिसका अर्थ है कि वे काफी संघर्ष कर रहे थे।
सबसे कठिन चुनौती: गैर-लैटिन लिपियाँ (जैसे अरबी, कोरियाई और चीनी) सभी के लिए सबसे कठिन थीं।
- उपमा: इसे एक ऐसे धावक के रूप में सोचें जो एक सपाट, पक्की सड़क (अंग्रेजी) पर बहुत अच्छा है लेकिन एक पहाड़ी रास्ते (अरबी/कोरियाई) पर हर पत्थर से टकराकर गिर जाता है। सबसे अच्छे सिस्टमों ने भी भाषा बदलने पर अपने स्कोर में महत्वपूर्ण गिरावट देखी।
"साइलेंट फेलियर्स" (मौन विफलताएं): कुछ सिस्टमों ने केवल गलत उत्तर ही नहीं दिए; बल्कि लगभग 20% टेबल्स के लिए उन्होंने कोई उत्तर ही नहीं दिया। वास्तविक व्यवसाय में, यह एक ऐसे रोबोट की तरह है जो कठिन दस्तावेज़ देखते ही काम करना बंद कर देता है।

5. निष्कर्ष (Takeaway)

पेपर यह निष्कर्ष निकालता है कि हालांकि कंप्यूटर टेबल्स को पढ़ने में बेहतर हो रहे हैं, लेकिन सबसे अच्छे सिस्टम और बाकी क्षेत्र के बीच एक बड़ा अंतर है, खासकर जटिल लेआउट या गैर-अंग्रेजी भाषाओं के मामले में।

उन्होंने डेटासेट, स्कोरिंग कोड और परिणामों को सार्वजनिक रूप से जारी कर दिया है। यह जिम के दरवाजे सभी के लिए खोलने जैसा है, ताकि शोधकर्ता देख सकें कि मशीनें वास्तव में कहाँ विफल हो रही हैं और अनुमान लगाने के बजाय उन्हें ठीक करने का प्रयास कर सकें।

संक्षेप में: उन्होंने टेबल-रीडिंग AI के लिए एक कठिन, बहुभाषी बाधा दौड़ (obstacle course) बनाई, AI ने इस बाधा दौड़ को कितनी अच्छी तरह पार किया, इसे मापने के लिए एक नया रूलर बनाया, और पाया कि हालांकि एक सिस्टम वर्तमान में सबसे आगे है, लेकिन अधिकांश अन्य अभी भी जटिल, गैर-अंग्रेजी परिवेश में अपना संतुलन बनाए रखने के लिए संघर्ष कर रहे हैं।

तकनीकी सारांश: PulseBench-Tab और T-LAG

1. समस्या विवरण

दस्तावेज़ छवियों से तालिका निष्कर्षण (Table extraction) दस्तावेज़ इंटेलिजेंस का एक मौलिक कार्य है, जो वित्तीय विश्लेषण, नियामक अनुपालन और एंटरप्राइज डेटा प्रोसेसिंग के लिए महत्वपूर्ण है। हालाँकि, मौजूदा बेंचमार्क और मूल्यांकन मेट्रिक्स महत्वपूर्ण सीमाओं से ग्रस्त हैं:

संरचनात्मक बनाम स्वरूपण संलयन (Structural vs. Formatting Conflation): TEDS जैसे मेट्रिक्स HTML DOM ट्री पर काम करते हैं, जो स्वरूपण परंपराओं (जैसे, <thead रैपर्स) को संरचनात्मक त्रुटियों के साथ मिला देते हैं।
2D टोपोलॉजी की हानि: अनुक्रम-संरेखण दृष्टिकोण (जैसे, Needleman-Wunsch) तालिकाओं को 1D अनुक्रमों में समतल कर देते हैं, जिससे क्षैतिज और ऊर्ध्वाधर आसन्नता (adjacency) के बीच का अंतर समाप्त हो जाता है।
भाषाई पूर्वाग्रह: अधिकांश बेंचमार्क मुख्य रूप से अंग्रेजी पर केंद्रित हैं, जिससे गैर-लैटिन लिपियों (अरबी, सिरिलिक), दाएं-से-बाएं (RTL) भाषाओं, और CJK (चीनी, जापानी, कोरियाई) टेक्स्ट के प्रदर्शन का मापन काफी हद तक अधूरा रह जाता है।
सिमेंटिक संवेदनशीलता: डाउनस्ट्रीम अनुप्रयोगों में, गलत सेल में एक संख्या केवल एक OCR त्रुटि नहीं, बल्कि एक सिमेंटिक विफलता है। वर्तमान मेट्रिक्स अक्सर positional त्रुटियों को पर्याप्त रूप से दंडित करने में विफल रहते हैं।

2. कार्यप्रणाली

2.1 PulseBench-Tab डेटासेट

लेखक PulseBench-Tab पेश करते हैं, जो एक खुला, बहुभाषी बेंचमार्क है जिसे इन कमियों को दूर करने के लिए डिज़ाइन किया गया है।

पैमाना और दायरा: इस डेटासेट में 380 अद्वितीय स्रोत दस्तावेजों (वित्तीय फाइलिंग, सरकारी रिपोर्ट, नियामक प्रकटीकरण) से निकाले गए 1,820 मानव-एनोटेटेड तालिका चित्र शामिल हैं।
भाषाई विविधता: यह 4 लिपियों (लैटिन, CJK, अरबी, सिरिलिक) में 9 भाषाओं तक फैला हुआ है। अंग्रेजी नमूनों का 32.6% हिस्सा है, शेष वितरण चीनी, स्पेनिश, रूसी, फ्रेंच, जापानी, अरबी, जर्मन और कोरियाई के बीच है।
जटिलता: तालिकाएँ 2 से 1,183 सेल तक विस्तृत हैं। विशेष रूप से, 48.1% तालिकाओं में मर्ज किए गए या स्पैनिंग सेल (rowspan/colspan) शामिल हैं, और डेटासेट में सघन स्प्रेडशीट और मल्टी-लेवल हेडर भी शामिल हैं।
ग्राउंड ट्रुथ (Ground Truth): एनोटेशन एक बहु-चरणीय पाइपलाइन के माध्यम से तैयार किए गए थे जिसमें मूल भाषा बोलने वाले डोमेन विशेषज्ञ, क्रॉस-लिंगुअल गुणवत्ता नियंत्रण, और स्रोत छवियों के विरुद्ध सेल-दर-सेल एडवरसैरियल ऑडिट शामिल थे। ग्राउंड ट्रुथ पूरी तरह से संरचित HTML के रूप में प्रदान किया गया है।

2.2 T-LAG मूल्यांकन मीट्रिक

निष्कर्षण गुणवत्ता का मूल्यांकन करने के लिए, लेखक T-LAG (Table Logical Adjacency Graph) प्रस्तावित करते हैं, जो एक नया मीट्रिक है जो एकल स्कोर में संरचनात्मक निष्ठा और सामग्री सटीकता दोनों को कैप्चर करने के लिए तालिकाओं को निर्देशित ग्राफ़ (directed graphs) के रूप में मॉडल करता है।

मूल दर्शन:
नोड-आधारित मेट्रिक्स के विपरीत जो सेल सामग्री को स्वतंत्र रूप से सत्यापित करते हैं, T-LAG एजेस (edges) (आसन्नता संबंध) पर कार्य करता है। यह सुनिश्चित करता है कि एक सेल का मूल्यांकन न केवल उसके टेक्स्ट द्वारा, बल्कि उसके पड़ोसियों के सापेक्ष उसकी स्थिति द्वारा भी किया जाए। उदाहरण के लिए, एक ट्रांसपोज़ की गई कॉलम के परिणामस्वरूप अलग एडजेसेंसी एजेस प्राप्त होंगे और इसे दंडित किया जाएगा।

पाइपलाइन:

ग्रिड पार्सिंग: दोनों ग्राउंड ट्रुथ और प्रेडिक्टेड HTML को सेल-पोजीशन ग्रिड मैट्रिक्स में पार्स किया जाता है, जो rowspan और colspan विशेषताओं को सुरक्षित रखता है।
एज एक्सट्रैक्शन: अलग-अलग ID वाले सेल्स के बीच RIGHT और BELOW आसन्नता के लिए निर्देशित एजेस उत्सर्जित किए जाते हैं। स्पैनिंग सेल्स के भीतर के एजेस को दबा दिया जाता है।
वेटिंग ( $\Psi$ फंक्शन): मैचिंग एजेस के लिए, एक टेक्स्ट समानता कर्नेल का उपयोग करके समानता भार (similarity weight) की गणना की जाती है।
- टेक्स्ट को सामान्य (व्हाइटस्पेस, यूनिकोड डैश, नल मार्कर) किया जाता है।
- समानता की गणना $1 - \frac{d_{Lev}}{\max(|g|, |p|)}$ के रूप में की जाती है, जिसे घातांक $k=7$ तक बढ़ाया गया है।
- $k=7$ के लिए तर्क: यह आक्रामक क्षय (decay) यह सुनिश्चित करता है कि 'नियर-मिस' टेक्स्ट (जैसे, 90% कैरेक्टर सटीकता) को भारी दंड दिया जाए ( $\Psi \approx 0.48$ ), जो एंटरप्राइज आवश्यकताओं को दर्शाता है जहाँ वित्तीय आंकड़े में एक अंक की त्रुटि भी डेटा को अनुपयोगी बना देती है।
ऑप्टिमल मैचिंग: ग्राउंड ट्रुथ और प्रेडिक्टेड एजेस के बीच वैश्विक रूप से इष्टतम एक-से-एक असाइनमेंट खोजने के लिए हंगेरियन एल्गोरिदम का उपयोग किया जाता है, जो कुल मैच किए गए भार को अधिकतम करता है। यह पिछले मेट्रिक्स की ग्रीडी एलाइनमेंट समस्याओं से बचता है।
स्कोरिंग: मैच किए गए भारित एजेस के आधार पर प्रिसिजन (Precision), रिकॉल (Recall) और F1 की गणना की जाती है।
- प्रिसिजन: काल्पनिक (hallucinated) पंक्तियों/स्तंभों को दंडित करता है।
- रिकॉल: छूटी हुई पंक्तियों या गायब मर्ज किए गए सेल्स को दंडित करता है।
- फालबैक: सिंगल-सेल तालिकाओं के लिए, स्कोर सीधे टेक्स्ट समानता पर डिफ़ॉल्ट होता है।

3. प्रमुख योगदान

बहुभाषी बेंचमार्क: एक बड़े पैमाने का, उच्च-गुणवत्ता वाला डेटासेट जो 9 भाषाओं और 4 लिपियों को कवर करता है, जो विशेष रूप से तालिका निष्कर्षण अनुसंधान में RTL और CJK भाषाओं के कम प्रतिनिधित्व को संबोधित करता है।
T-LAG मीट्रिक: एक ग्राफ-आधारित मूल्यांकन पद्धति जो 2D संरचनात्मक टोपोलॉजी को सुरक्षित रखती है और इष्टतम द्विपक्षीय मिलान (optimal bipartite matching) का उपयोग करती है, जो इसे ट्री-एडिट डिस्टेंस (TEDS) और 1D अनुक्रम संरेखण विधियों से अलग करती है।
व्यापक मूल्यांकन: 9 वाणिज्यिक और ओपन-सोर्स सिस्टम (Pulse Ultra 2, Gemini 3.1, LlamaParse, AWS Textract, और Azure DI सहित) का कठोर बेंचमार्किंग और सभी आउटपुट और स्कोरिंग कोड का सार्वजनिक रिलीज।

4. परिणाम

1,820 नमूनों में 9 प्रदाताओं का मूल्यांकन महत्वपूर्ण प्रदर्शन अंतर प्रकट करता है:

शीर्ष प्रदर्शनकर्ता: Pulse Ultra 2 का नेतृत्व 0.935 के T-LAG स्कोर के साथ होता है, जो 57.9% नमूनों पर 1.0 का माध्य स्कोर (परफेक्ट एक्सट्रैक्शन) प्राप्त करता है। यह दूसरे स्थान पर रखे गए सिस्टम से 11.9 प्रतिशत अंक अधिक है।
सामान्य प्रदर्शन: केवल एक प्रदाता 90% औसत T-LAG स्कोर को पार करता है। निचले तीसरे हिस्से के प्रदाता 0.72 से नीचे स्कोर करते हैं, जो वर्तमान बहुभाषी तालिका निष्कर्षण क्षमताओं में मौलिक सीमाओं को दर्शाता है।
स्ट्रक्चरल हैलुसिनेशन (Structural Hallucinations): उच्च प्रदर्शन करने वाली प्रणालियाँ (जैसे, Gemini 3.1) भी केवल ~28% तालिकाओं पर पूर्ण निष्कर्षण प्राप्त करती हैं, जो अक्सर निर्मित पंक्तियाँ, आविष्कारित सामग्री, या गलत स्पैन गुणों को पेश करती हैं।
भाषाई भिन्नता:
- सबसे आसान: फ्रेंच और स्पेनिश सभी प्रदाताओं में उच्चतम प्रदर्शन दिखाते हैं, जो संभवतः साझा लैटिन लिपियों और मानक स्वरूपण के कारण है।
- सबसे कठिन: अरबी और कोरियाई सबसे अधिक क्रॉस-प्रदाता भिन्नता (स्प्रेड >75 प्रतिशत अंक) प्रदर्शित करते हैं।
- CJK चुनौतियाँ: मजबूत अंग्रेजी प्रदर्शन वाले प्रदाता (जैसे, AWS Textract 0.724 पर) CJK भाषाओं (चीनी पर 0.324, कोरियाई पर 0.254) पर काफी गिर जाते हैं, जो OCR कमजोरियों को उजागर करता है।
कवरेज: कुछ "एजेंटिक" प्रणालियों ने ~20% नमूनों के लिए आउटपुट देने में विफलता दर्ज की, जो उत्पादन विश्वसनीयता के लिए एक महत्वपूर्ण कारक है।

5. महत्व और दावे

यह पेपर PulseBench-Tab और T-LAG को दस्तावेज़ इंटेलिजेंस के क्षेत्र को आगे बढ़ाने के लिए आवश्यक उपकरणों के रूप में स्थापित करता है:

यथार्थवादी मूल्यांकन: positional और संरचनात्मक त्रुटियों के लिए सख्त दंड लागू करके ( $k=7$ घातांक और एज-आधारित मिलान के माध्यम से), यह मीट्रिक एंटरप्राइज डेटा प्रोसेसिंग की परिचालन वास्तविकता को दर्शाता है, जहाँ अनुमानित निष्कर्षण कार्यात्मक रूप से विफलता के समान है।
पुनरुत्पादकता (Reproducibility): लेखक इस बात पर जोर देते हैं कि पूर्ण डेटासेट, स्कोरिंग कोड और सभी प्रदाता आउटपुट पुनरुत्पादनीय मूल्यांकन का समर्थन करने के लिए सार्वजनिक रूप से उपलब्ध हैं।
भविष्य की दिशा: परिणाम रेखांकित करते हैं कि गैर-लैटिन लिपियाँ अभी भी एक बड़ी अनसुलझी चुनौती बनी हुई हैं। लेखक नोट करते हैं कि हालांकि बेंचमार्क बड़ा है, लेकिन विश्वास अंतराल (confidence intervals) को कम करने के लिए छोटी भाषाओं (जैसे, कोरियाई, जर्मन) के लिए और अधिक स्केलिंग की आवश्यकता है।
सीमाएँ: लेखक वर्तमान सीमाओं को विनम्रतापूर्वक स्वीकार करते हैं, जिसमें सिंगल-टेबल-पर-इमेज और सिंगल-पेज टेबल का अनुमान शामिल है, नोट करते हुए कि मल्टी-टेबल लेआउट और मल्टी-पेज टेबल का अभी मूल्यांकन नहीं किया गया है।

निष्कर्षतः, पेपर का तर्क है कि वर्तमान तालिका निष्कर्षण प्रणालियाँ बिना अतिरिक्त सत्यापन के उच्च-दांव वाले एंटरप्राइज अनुप्रयोगों के लिए पर्याप्त मजबूत नहीं हैं, विशेष रूप से बहुभाषी और संरचनात्मक रूप से जटिल परिदृश्यों में। PulseBench-Tab इस लक्ष्य की ओर प्रगति को मापने के लिए आवश्यक बुनियादी ढांचा प्रदान करता है।