💬 NLP

Beyond Logprobs: A Multi-Signal Confidence Engine for LLM-Based Document Field Extraction

यह शोधपत्र ExtractConf को प्रस्तुत करता है, जो एक क्रॉस-डोमेन कॉन्फिडेंस इंजन है जो दो संरचनात्मक रूप से भिन्न निष्कर्षण रणनीतियों (एक फील्ड-गाइडेड "हंटर" और एक डॉक्यूमेंट-गाइडेड "मैपर") के संकेतों को इमेज और लेआउट फीचर्स के साथ जोड़कर LLM-आधारित डॉक्यूमेंट फील्ड एक्सट्रैक्शन की विश्वसनीयता में महत्वपूर्ण सुधार करता है, जिससे विश्वसनीय निष्कर्षणों को मतिभ्रम (hallucinations) से प्रभावी ढंग से अलग किया जा सके, और इस प्रकार सुरक्षित ह्यूमन-इन-द-लूप ऑटोमेशन को सक्षम बनाया जा सके।

मूल लेखक: Nitesh Kumar

प्रकाशित 2026-06-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nitesh Kumar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त फैक्ट्री चला रहे हैं जो हर दिन हजारों व्यावसायिक दस्तावेजों, जैसे कि इनवॉइस (invoices) और रसीदों को प्रोसेस करती है। आपने एक सुपर-स्मार्ट AI रोबोट (एक LLM) को काम पर रखा है जो इन दस्तावेजों को पढ़कर कुछ विशिष्ट नंबर निकाल सकता है, जैसे कि "कुल राशि" (Total Amount) या "टैक्स आईडी" (Tax ID)।

समस्या क्या है? कभी-कभी रोबोट गलती कर देता है। वह आत्मविश्वास के साथ एक ऐसा नंबर लिख सकता है जो मौजूद ही नहीं है, या किसी धुंधले निशान को शून्य (zero) समझ सकता है। एक उच्च-जोखिम वाली फैक्ट्री में, एक "साइलेंट मिस्टेक" (जहाँ रोबोट गलत उत्तर देता है लेकिन ऐसा व्यवहार करता है जैसे वह पूरी तरह निश्चित हो) उस स्थिति से भी बदतर है जहाँ रोबोट बस यह कह दे, "मैं इसे पढ़ नहीं सकता।"

यह पेपर EXTRACTCONF नामक एक नई प्रणाली पेश करता है। इसे केवल एक बेहतर 'रीडर' के रूप में नहीं, बल्कि एक सुपर-स्मार्ट क्वालिटी कंट्रोल इंस्पेक्टर के रूप में समझें जो रोबोट के बगल में खड़ा होकर यह निर्णय लेता है: "क्या हम इस उत्तर पर भरोसा कर सकते हैं, या हमें इसे जांचने के लिए किसी इंसान के पास भेजना चाहिए?"

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. "दो-सिर वाली" रणनीति (शिकारी बनाम मैपर)

अधिकांश सिस्टम AI से एक ही सवाल पूछते हैं: "कुल राशि क्या है?" यदि AI अनुमान लगाता है, तो वह गलत हो सकता है।

EXTRACTCONF AI को दस्तावेज़ को दो बार पढ़ने के लिए कहता है, लेकिन दो बिल्कुल अलग तरीकों से:

द हंटर (The Hunter - शिकारी): यह एक जासूस की तरह है जो एक विशिष्ट संदिग्ध की तलाश कर रहा है। इसे कहा जाता है, " 'कुल राशि' वाले फील्ड को खोजो।" क्योंकि यह उस विशिष्ट स्थान को खोजने के दबाव में होता है, इसलिए यदि फील्ड धुंधला या गायब है, तो यह गलती से "हैलुसिनेट" (मनगढ़ंत नंबर बनाना) कर सकता है।
द मैपर (The Mapper - मैपर): यह एक पर्यटक की तरह है जो एक मानचित्र देख रहा है। इसे कहा जाता है, "पूरे दस्तावेज़ को स्कैन करें और मुझे बताएं कि आपको कौन से महत्वपूर्ण नंबर दिख रहे हैं।" यह केवल वही रिपोर्ट करता है जो यह वास्तव में देखता है। यदि "कुल राशि" गायब है या धुंधली है, तो मैपर चुप रहता है।

जादुई बात: यदि शिकारी कहता है "कुल राशि $500 है" लेकिन मैपर कहता है "मुझे कोई कुल राशि नहीं दिख रही है," तो सिस्टम जानता है कि कुछ गलत है। यदि दोनों "$ 500" पर सहमत हैं, तो सिस्टम बहुत अधिक आश्वस्त महसूस करता है। यह "असहमति" एक बड़ा संकेत है कि कागज पढ़ने में कठिन है या उत्तर पेचीदा है।

2. सिर्फ रोबोट को नहीं, बल्कि कागज को देखना

पेपर का तर्क है कि रोबोट का आत्मविश्वास (कि वह कितना निश्चित महसूस करता है) अक्सर एक झूठ होता है। यदि कागज धुंधला है, तो रोबोट अभी भी गलत उत्तर के बारे में बहुत आश्वस्त हो सकता है।

इसलिए, EXTRACTCONF केवल रोबोट की बात नहीं सुनता। यह यह भी जाँचता है:

"कैमरा" (OCR): वास्तविक इमेज पर टेक्स्ट कितना स्पष्ट है? यदि कैमरा एक धब्बे को देखता है, तो सिस्टम जानता है कि उत्तर जोखिम भरा है, भले ही रोबोट कहे कि वह 100% निश्चित है।
"मैप" (स्थानिक लेआउट): रोबोट ने कहाँ देखा? यदि शिकारी ने ऊपर-बाएँ कोने को देखा और मैपर ने नीचे-दाएँ कोने को देखा, तो वे अलग-अलग चीजों को देख रहे हैं। यह एक चेतावनी का संकेत (red flag) है।
"टेक्सचर" (इमेज क्वालिटी): क्या कागज का वह विशिष्ट क्षेत्र जहाँ नंबर होना चाहिए, धुंधला या फीका है?

3. अंतिम फैसला

इन सभी सुरागों को (दो अलग-अलग रीडिंग, कैमरा क्वालिटी, स्थान और रोबोट का आंतरिक आत्मविश्वास) एक ट्रैफिक लाइट सिस्टम में डाला जाता है।

ग्रीन लाइट (हरी बत्ती): रोबोट और इंस्पेक्टर सहमत हैं, कागज स्पष्ट है, और स्थान समझ में आता है। इसे ऑटोमेट करें! (इसे कंप्यूटर के पास भेजें)।
रेड लाइट (लाल बत्ती): रोबोट और इंस्पेक्टर असहमत हैं, या कागज धुंधला है। रुकें! (इसे जांचने के लिए इंसान के पास भेजें)।

उन्होंने क्या पाया?

शोधकर्ताओं ने हजारों वास्तविक इनवॉइस पर इसका परीक्षण किया। यहाँ क्या हुआ:

पुराना तरीका: यदि वे केवल रोबोट के "कॉन्फिडेंस स्कोर" पर भरोसा करते, तो सिस्टम लगभग सब कुछ ऑटोमेट करने की कोशिश करता, जिसमें गलतियाँ भी शामिल होतीं। यह एक ऐसी ट्रैफिक लाइट की तरह होता जो हमेशा हरी बत्ती पर अटकी रहती है।
नया तरीका (EXTRACTCONF): "दो-सिर वाली" रणनीति और कागज की गुणवत्ता की जाँच करके, वे गलत उत्तरों को फ़िल्टर कर सके।
- जब उन्होंने "ग्रीन लाइट" वाले उत्तरों को ऑटोमेट करने दिया, तो 99.1% सही थे।
- बिना इस सिस्टम के, रोबोट केवल 73.3% बार सही था।
- उन्होंने पुराने तरीकों की तुलना में गलती करने के जोखिम को 70% तक कम कर दिया।

"जीरो-शॉट" सरप्राइज

सबसे दिलचस्प बात यह है कि उन्होंने इस सिस्टम को इनवॉइस पर प्रशिक्षित किया, और फिर इसे रसीदों (बिल्कुल अलग प्रकार का कागज) पर टेस्ट किया, बिना इसे कुछ नया सिखाए। यह उतना ही अच्छा काम करता है। यह साबित करता है कि सिस्टम केवल यह याद नहीं कर रहा है कि इनवॉइस कैसा दिखता है; बल्कि यह वास्तव में यह सीख रहा है कि यह कैसे पहचाना जाए कि कोई भी दस्तावेज़ पढ़ने में कठिन है।

संक्षेप में

EXTRACTCONF एक सुरक्षा जाल (safety net) है। यह AI को बेहतर ढंग से पढ़ने के लिए प्रशिक्षित नहीं करता; इसके बजाय, यह एक स्मार्ट जज बनाता है जो जानता है कि AI कब अनुमान लगा रहा है और कब वह वास्तव में सच्चाई देख रहा है। यह आसान चीजों को ऑटोमेट करके और कठिन चीजों को इंसानों के पास भेजकर पैसा बचाता है, जिससे यह सुनिश्चित होता है कि कोई भी गलत नंबर दरारों से बाहर न निकल पाए।

तकनीकी सारांश: लॉगप्रोब्स से परे: LLM-आधारित दस्तावेज़ फ़ील्ड निष्कर्षण के लिए एक मल्टी-सिग्नल कॉन्फिडेंस इंजन

समस्या विवरण

उच्च-जोखिम वाले दस्तावेज़ प्रसंस्करण पाइपलाइनों (जैसे, वित्तीय समाधान, अनुपालन) में, प्राथमिक चुनौती केवल निष्कर्षण सटीकता नहीं है, बल्कि विश्वसनीय आत्मविश्वास अनुमान (reliable confidence estimation) है। एक निष्कर्षण जो "मौन रूप से गलत" (silently wrong) है, वह उस निष्कर्षण से अधिक जोखिम पैदा करता है जो दृश्यमान रूप से अनुपस्थित है। LLM निष्कर्षणों के लिए आत्मविश्वास का अनुमान लगाने वाली वर्तमान विधियाँ—विशेष रूप से टोकन-स्तरीय लॉग-प्रायिकताएं (log-probabilities), मौखिक आत्म-आकलन (verbalized self-assessment), और मल्टी-सैंपल सेल्फ-कंसिस्टेंसी (multi-sample self-consistency)—विश्वसनीय और अविश्वसनीय आउटपुट के बीच विश्वसनीय अलगाव प्रदान करने में विफल रहती हैं। ये विधियाँ व्यावहारिक थ्रेशोल्ड पर "सभी-सकारात्मक" क्लासिफायर में सिमट जाती हैं क्योंकि वे उत्पन्न टोकन अनुक्रम की विश्वसनीयता को नहीं, बल्कि निष्कर्षण की स्रोत दस्तावेज़ में ग्राउंडिंग (grounding) को मापती हैं। फलस्वरूप, एक मॉडल अपठनीय OCR शोर को आत्मविश्वास के साथ ट्रांसक्राइब कर सकता है या अनुपस्थित फ़ील्ड्स के लिए मान (values) की कल्पना (hallucinate) कर सकता है, जिससे गलत उत्तरों के लिए भी उच्च लॉग-प्रायिकता प्राप्त होती है।

कार्यप्रणाली: EXTRACTCONF आर्किटेक्चर

यह शोध पत्र EXTRACTCONF का प्रस्ताव करता है, जो एक क्रॉस-डोमेन, फील्ड-अज्ञेय (field-agnostic) कॉन्फिडेंस इंजन है जो विषम स्रोतों से कई बहुआयामी संकेतों का निर्माण करता है। इसका मुख्य नवाचार एक डुअल-कॉल हंटर-मैपर डिज़ाइन (Dual-Call Hunter–Mapper design) है जो एक ही दस्तावेज़ को संरचनात्मक रूप से असममित प्रॉम्प्ट्स का उपयोग करके दो बार पढ़ता है ताकि विभिन्न विफलता मोड (failure modes) उत्पन्न किए जा सकें:

हंटर कॉल (फील्ड-गाइडेड): यह स्कीमा-स्लॉट पूर्णता के दबाव के तहत एक विशिष्ट फ़ील्ड $f$ को निकालने के प्रॉम्प्ट प्राप्त करता है। यह अस्पष्ट या अनुपस्थित फ़ील्ड्स के लिए संभावित मानों की कल्पना (hallucinate) करने की प्रवृत्ति रखता है ताकि स्कीमा को संतुष्ट किया जा सके।
मैपर कॉल (डॉक्यूमेंट-गाइडेड): यह दस्तावेज़ का समग्र रूप से स्कैन करने और वास्तव में मौजूद मानों को सामने लाने के लिए प्रॉम्प्ट प्राप्त करता है, बिना किसी विशिष्ट फ़ील्ड से बंधे। यह उन फ़ील्ड्स को छोड़ सकता है जो दृश्य रूप से प्रमुख नहीं हैं, लेकिन जब यह कोई मान प्रस्तुत करता है तो यह विश्वसनीय रहता है।

इन दोनों कॉल्स के बीच का असहमति (disagreement) एक स्वतंत्र विश्वसनीयता संकेत के रूप में कार्य करता है। यदि हंटर एक मान रिपोर्ट करता है जबकि मैपर मौन है, या यदि उनके मान आपस में टकराते हैं, तो यह वास्तविक निष्कर्षण अस्पष्टता का संकेत देता है।

फीचर फ्यूजन (Feature Fusion):
EXTRACTCONF पांच सिग्नल समूहों में 40 फीचर्स को एक ग्रेडिएंट-बूस्टेड बाइनरी क्लासिफायर (CatBoost) में फ्यूज करता है:

LLM आंतरिक अनिश्चितता: दोनों कॉल्स से लॉग-प्रायिकता और शैनन एंट्रॉपी (Shannon entropy) के टोकन-स्तरीय सांख्यिकी (मीन, मिन, पर्सेंटाइल)।
OCR ग्राउंडिंग और वैल्यू कॉन्फिडेंस: कच्चे OCR टोकन सूची के विरुद्ध निकाले गए मानों और लेबल के मिलान से प्राप्त क्षेत्र-स्तरीय (region-level) कॉन्फिडेंस स्कोर, जिसमें "वैल्यू-इन-OCR" मैच इंडिकेटर्स और कैंडिडेट कॉम्पिटिशन मेट्रिक्स शामिल हैं।
क्रॉस-कॉल सहमति: हंटर और मैपर आउटपुट के बीच सटीक मिलान संकेतक और समानता स्कोर (Levenshtein/FuzzyWuzzy)।
स्थानिक पड़ोस और सेंट्रॉइड (Spatial Neighbourhood & Centroid): अटेंडेड क्षेत्रों के स्थानिक बाउंडिंग बॉक्स से प्राप्त फीचर्स, जिसमें सेंट्रॉइड दूरी (कॉल्स के बीच विचलन) और नॉर्मलाइज्ड लैप्लासियन शार्पनेस (स्थानीय छवि गुणवत्ता) शामिल है।
फील्ड टाइप एनकोडिंग: अनुमानित फ़ील्ड प्रकारों (संख्यात्मक, तिथि, आदि) का वन-हॉट एनकोडिंग ताकि टाइप-कंडीशनल कैलिब्रेशन सक्षम हो सके।

पोस्ट-प्रोसेसिंग:
सिस्टम बेस मॉडल वेट्स को बदले बिना कैलिब्रेशन मेट्रिक्स (ECE, Brier score) में सुधार के लिए आइसोटोनिक रिग्रेशन (M7) या लासो-रेगुलराइज्ड लॉजिस्टिक रिग्रेशन (M8) का उपयोग करके पोस्ट-हॉक पुनर्मूल्यांकन (recalibration) का समर्थन करता है।

प्रमुख योगदान

डुअल-कॉल एसिमेट्री (Dual-Call Asymmetry): एक हंटर-मैपर आर्किटेक्चर पेश करता है जहाँ दो संरचनात्मक रूप से भिन्न LLM कॉल्स एक ही दस्तावेज़ के प्रति दृष्टिकोण रखते हैं, जिससे पूरक और सूचनात्मक विफलता मोड उत्पन्न होते हैं जब वे असहमत होते हैं।
मल्टी-सिग्नल फ्यूजन: प्रदर्शित करता है कि क्रॉस-कॉल असहमति, LLM आंतरिक अनिश्चितता, OCR गुणवत्ता और स्थानिक लेआउट का फ्यूजन, सिंगल-सिग्नल दृष्टिकोणों की तुलना में बेहतर प्रदर्शन करता है।
बेसलाइन विफलता विश्लेषण: दिखाता है कि मानक बेसलाइन (logprob-mean, मौखिक आत्मविश्वास, और 5x सेल्फ-कंसिस्टेंसी) रूटिंग सिग्नल के रूप में विफल रहते हैं, जबकि सेल्फ-कंसिस्टेंसी रूटिंग गुणवत्ता (AURC) में नगण्य सुधार के लिए 5x API लागत वसूल करती है।
दस्तावेज़ गुणवत्ता का प्रभुत्व: स्थापित करता है कि दस्तावेज़-पक्ष के संकेत (OCR कॉन्फिडेंस, इमेज शार्पनेस) प्राथमिक भविष्यवक्ता हैं, जो अक्सर मॉडल-आंतरिक अनिश्चितता मेट्रिक्स से बेहतर प्रदर्शन करते हैं।
जीरो-शॉट जनरलाइजेशन: सिद्ध करता है कि विश्वसनीयता संकेत हल्के लासो पुनर्मूल्यांकन (Lasso recalibration) के माध्यम से दस्तावेज़ डोमेन (जैसे, इनवॉइस से रसीदों तक) में सामान्यीकृत होते हैं।

प्रायोगिक परिणाम

DocILE (55-फ़ील्ड इनवॉइस जिसमें 26% प्राकृतिक विफलता दर है) और CORD (रसीदें) पर जीरो-शॉट ट्रांसफर के लिए मूल्यांकन किया गया:

विभेदन (AUC): EXTRACTCONF 0.928 ROC AUC प्राप्त करता है, जो logprob-mean (0.705) और सेल्फ-कंसिस्टेंसी (0.744) से काफी बेहतर है।
रूटिंग गुणवत्ता (AURC): सिस्टम logprob-mean (0.043 बनाम 0.145) की तुलना में एरिया अंडर द रिस्क-कवरेज कर्व (AURC) को 70% कम करता है।
परिचालन सटीकता: 80% कवरेज पर (शीर्ष 80% भविष्यवाणियों को स्वचालित करते हुए), EXTRACTCONF 99.1% सटीकता प्राप्त करता है, जो 73.3% की बेस रेट से 25.8-पॉइंट का सुधार है।
कैलिब्रेशन: पोस्ट-हॉक पुनर्मूल्यांकन (M7/M8) अपेक्षित कैलिब्रेशन त्रुटि (ECE) को 83% तक कम करता है।
जीरो-शॉट ट्रांसफर: CORD रसीदों पर, बिना पुनरप्रशिक्षण के, सिस्टम 0.858 AUC प्राप्त करता है। लासो पुनर्मूल्यांकन ECE को 89% और ब्रायर स्कोर (Brier score) को 43% कम करता है, जो संकेतों की दस्तावेज़-अज्ञेय प्रकृति की पुष्टि करता है।

महत्व और दावे

शोध पत्र तर्क देता है कि दस्तावेज़ प्रसंस्करण में निष्कर्षण त्रुटियां दस्तावेज़-कारण (जैसे, अपठनीय स्रोत सामग्री, अस्पष्ट लेआउट) होती हैं, न कि मॉडल-कारण। इसलिए, टोकन संभावनाओं पर भरोसा करना संरचनात्मक रूप से त्रुटिपूर्ण है क्योंकि एक मॉडल शोर के आधार पर आत्मविश्वास के साथ कल्पना (hallucinate) कर सकता है।

EXTRACTCONF का महत्व एक व्यावहारिक ह्यूमन-इन-द-लूप वर्कफ़्लो को सक्षम करने में निहित है: उच्च-विश्वास वाली भविष्यवाणियों को स्वचालित करना जबकि कम-विश्वास वाले मामलों को मानव समीक्षा के लिए रूट करना। लेखक दावा करते हैं कि हंटर-मैपर असहमति एक ऐसा विश्वसनीयता संकेत प्रदान करती है जो सिंगल-कॉल या रीसैंपलिंग दृष्टिकोणों में उपलब्ध नहीं है, और मल्टी-सिग्नल फ्यूजन एक मजबूत, डोमेन-अज्ञेय कॉन्फिडेंस इंजन बनाता है जो भेदभाव और कैलिब्रेशन दोनों में मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है, और यह सब प्रति दस्तावेज़ दो कॉल्स की निश्चित, कम API लागत बनाए रखते हुए किया जाता है।