Valid Per-Field Selective Risk Control for Document Extraction: Three Failure Modes, a Validity Ladder, and When Conditioning Pays

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर एक हस्तलिखित रसीद, एक मेडिकल फॉर्म, या एक शिपिंग लेबल को पढ़ सकते हैं और तुरंत उस बिखरे हुए टेक्स्ट को साफ, व्यवस्थित डेटा में बदल सकते हैं। यह आधुनिक दस्तावेज़ निष्कर्षण (document extraction) का वादा है, जो स्वचालित लेखांकन से लेकर डिजिटल रिकॉर्ड-कीपिंग तक सब कुछ संचालित करने वाली तकनीक है। इस प्रणाली के उपयोगी होने के लिए, इसका भरोसेमंद होना आवश्यक है। यदि कंप्यूटर किसी डॉलर की राशि को गलत पढ़ लेता है, तो इसके परिणाम वित्तीय या कानूनी हो सकते हैं। इसे प्रबंधित करने के लिए, इंजीनियरों ने एक "विश्वास अनुबंध" (trust contract) विकसित किया है: सिस्टम को केवल एक संख्या ही नहीं निकालनी चाहिए, बल्कि एक आत्मविश्वास स्कोर (confidence score) भी देना चाहिए। यदि सिस्टम अनिश्चित है, तो उसे मानवीय समीक्षा के लिए आइटम को चिह्नित करना चाहिए। लक्ष्य केवल उन उत्तरों को स्वीकार करना है जिनके बारे में कंप्यूटर आश्वस्त है, जबकि स्वीकृत उत्तरों के बीच त्रुटि दर को एक विशिष्ट, सुरक्षित सीमा के नीचे रखना है। पर्याप्त डेटा स्वीकार करने और सटीक रहने के लिए पर्याप्त डेटा को अस्वीकार करने के बीच का यह संतुलन इस क्षेत्र की केंद्रीय चुनौती है।

ज़ैस्टी एआई (Zasti AI) के भास्कर गुरम द्वारा किया गया एक हालिया अध्ययन इस बात की जांच करता है कि क्या इस विश्वास अनुबंध को लागू करने के लिए उपयोग की जाने वाली मानक विधियाँ वास्तव में वास्तविक दस्तावेजों पर काम करती हैं। शोधकर्ताओं ने अपने विचारों का परीक्षण 800 वास्तविक रसीदों से निकाले गए 13,859 डेटा फ़ील्ड्स के एक विशाल संग्रह पर एक शक्तिशाली आर्टिफिशियल इंटेलिजेंस मॉडल का उपयोग करके किया। उन्होंने पाया कि आत्मविश्वास थ्रेशोल्ड (confidence thresholds) निर्धारित करने का सामान्य, व्यापक रूप से स्वीकृत तरीका चुपचाप विफल हो रहा था। लगभग आधे परीक्षण परिदृश्यों में, सिस्टम ने बहुत अधिक त्रुटियों को स्वीकार कर लिया, जिससे वह सुरक्षा के वादे को तोड़ने लगा जिसे उसे निभाने के लिए बनाया गया था। अध्ययन ने इस विफलता के तीन विशिष्ट कारणों की पहचान की। पहला, डेटा स्वतंत्र नहीं था; त्रुटियां एक ही दस्तावेज़ के भीतर एक साथ क्लस्टर (समूह) बनाती थीं, जिससे परीक्षण डेटा वास्तव में जितना विश्वसनीय था, उससे अधिक विश्वसनीय दिखाई देता था। दूसरा, कंप्यूटर मूल रूप से उसी डेटा का उपयोग अपने आत्मविश्वास को स्कोर करने और सुरक्षा सीमा निर्धारित करने, दोनों के लिए कर रहा था, जिससे अपने प्रदर्शन के बारे में एक अत्यधिक आशावादी दृष्टिकोण पैदा हुआ। तीसरा, स्कोरिंग सिस्टम कभी-कभी बहुत अधिक समान स्कोर उत्पन्न करता था, जिससे एक गतिरोध (gridlock) पैदा हो जाता था जहाँ कोई सुरक्षित थ्रेशोल्ड नहीं मिल पाता था।

इन समस्याओं को ठीक करने के लिए, शोधकर्ताओं ने एक नया, चरण-दर-चरण ढांचा प्रस्तावित किया जिसे वे "वैलिडिटी लैडर" (validity ladder) कहते हैं। निचले पायदान पर, उन्होंने एक सरल प्रोटोकॉल पेश किया जो डेटा को दो अलग-अलग समूहों में विभाजित करता है: एक सिस्टम को स्कोर करना सिखाने के लिए, और एक पूरी तरह से अछूता समूह सुरक्षा सीमा निर्धारित करने के लिए। इस सरल अलगाव ने ओवरफिटिंग को रोक दिया और औसत त्रुटि दर को नियंत्रित करने की सिस्टम की क्षमता को बहाल कर दिया। हालांकि, शोधकर्ता जानते थे कि उच्च-दांव वाले अनुप्रयोगों के लिए, एक औसत गारंटी पर्याप्त नहीं है; उपयोगकर्ताओं को एक ऐसे प्रमाण पत्र की आवश्यकता होती है जो यह सिद्ध करे कि किसी भी विशिष्ट मामले में त्रुटि दर सीमा से अधिक नहीं होगी। इसे प्राप्त करने के लिए, वे अधिक कठोर सांख्यिकीय विधियों की ओर बढ़े। ये विधियाँ डेटा को विशिष्ट विशेषताओं, जैसे कि फ़ील्ड के प्रकार या स्रोत जानकारी की गुणवत्ता के आधार पर समूहित करती हैं, और प्रत्येक समूह पर सख्त गणितीय परीक्षण लागू करती हैं। यह सुनिश्चित करता है कि भले ही डेटा अव्यवस्थित या क्लस्टर्ड हो, सुरक्षा गारंटी हर समूह के लिए बनी रहे।

अध्ययन ने एक आश्चर्यजनक अंतर्दृष्टि प्रकट की कि ये जटिल समूहीकरण विधियाँ वास्तव में कब सहायक होती हैं। जब कंप्यूटर का आत्मविश्वास स्कोर पहले से ही बहुत स्मार्ट होता है और डेटा से सीख चुका होता है, तो अतिरिक्त समूहीकरण नियम जोड़ने से अक्सर चीजें खराब हो जाती हैं क्योंकि वे डेटा को बहुत छोटे टुकड़ों में तोड़ देते हैं। लेकिन जब आत्मविश्वास स्कोर कमजोर या स्थिर (frozen) होता है, तो डेटा को उसके स्रोत या प्रकार के आधार पर समूहित करना सफलता की कुंजी बन जाता है। सबसे कठिन परीक्षण मामले में, जहाँ एआई केवल आधे समय सही होता था, डेटा के "प्रोवेनेंस" (provenance - उत्पत्ति/स्रोत) के आधार पर एक विशिष्ट समूहीकरण विधि का उपयोग करना—अर्थात, कंप्यूटर कितनी अच्छी तरह से उस सटीक स्थान की ओर इशारा कर सकता था जहाँ उसने उत्तर पाया था—सिस्टम को वहां प्रमाणित करने की अनुमति देता था जहाँ वह पहले असमर्थ था। इस पद्धति ने इतनी अच्छी तरह से काम किया कि इसने सबसे कठिन परिदृश्यों में अन्य सभी दृष्टिकोणों को पछाड़ दिया, हालांकि इसने तब कोई लाभ नहीं दिया जब एआई पहले से ही अत्यधिक सटीक था।

शोधकर्ताओं ने अपने नए प्रोटोकॉल का परीक्षण विभिन्न एआई मॉडल के डेटा पर भी किया जिन्हें उन्होंने पहले कभी नहीं देखा था। सिस्टम टिका रहा, और अपनी मूल तकनीक बदलने के बावजूद भी अपने सुरक्षा गारंटियों को बनाए रखा। पूरी तरह से सुनिश्चित होने के लिए, उन्होंने मानव विशेषज्ञों से कंप्यूटर के स्वीकृत उत्तरों के एक नमूने की समीक्षा करवाई। मनुष्यों ने पाया कि वास्तविक त्रुटि दर सिस्टम के सुरक्षा बजट की अनुमति से बहुत कम थी, जिससे पुष्टि हुई कि नई विधियाँ न केवल गणितीय रूप से सुदृढ़ थीं बल्कि व्यावहारिक रूप से भी मजबूत थीं। अध्ययन निष्कर्ष निकालता है कि जबकि पुराने तरीके वास्तविक दस्तावेजों पर खतरनाक रूप से त्रुटिपूर्ण थे, सावधानीपूर्वक डेटा पृथक्करण और स्मार्ट समूहीकरण का संयोजन विश्वास को बहाल कर सकता है। यह डेवलपर्स के लिए एक स्पष्ट मार्ग प्रदान करता है: रोजमर्रा की विश्वसनीयता के लिए सरल पृथक्करण का उपयोग करें, और जब दांव ऊंचे हों या डेटा कठिन हो, तो कठोर, समूहीकृत प्रमाणन (certification) पर स्विच करें। यह कार्य केवल एक दोष की ओर इशारा नहीं करता है; यह एक काम करने वाला, परीक्षित समाधान प्रदान करता है जो मशीनों को दस्तावेजों को पढ़ने के लिए ईमानदारी और विश्वसनीयता के स्तर के साथ सक्षम बनाता है जो पहले गायब था।