💻 computer science

Multimodal Structural Anomaly Detection in Invoices Using Text–Logic Fusion

यह शोध पत्र एक मल्टीमॉडल अनसुपरवाइज्ड एनोमली डिटेक्शन फ्रेमवर्क प्रस्तावित करता है जो अर्ध-संरचित इनवॉइस में संरचनात्मक अनियमितताओं और धोखाधड़ी को प्रभावी ढंग से पहचानने के लिए OCR से प्राप्त टेक्स्टुअल सिमेंटिक्स और वित्तीय तार्किक विशेषताओं (फाइनांशियल लॉजिकल फीचर्स) को फ्यूज करता है, जो वास्तविक दुनिया के डेटा पर सिंगल-मोडैलिटी बेसलाइन्स से बेहतर प्रदर्शन करता है।

मूल लेखक: Mridumay Saha, Payal Khanal, Gaurav Sarma

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mridumay Saha, Payal Khanal, Gaurav Sarma

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त कार्यालय के प्रबंधक हैं जिन्हें हर दिन हजारों कागजी इनवॉइस (बीजक) प्राप्त होते हैं। आपका काम यह सुनिश्चित करना है कि उनमें से कोई भी फर्जी, टूटा हुआ या गणितीय त्रुटियों से भरा न हो। इसे हाथ से करना धीमा और उबाऊ है। आप एक रोबोट सहायक चाहते हैं, लेकिन इनवॉइस पेचीदा होते हैं: कुछ स्प्रेडशीट की तरह दिखते हैं, कुछ हस्तलिखित नोट्स की तरह, और कुछ में नंबर गायब होते हैं।

यह शोध पत्र एक नया "रोबोट सहायक" पेश करता है जिसे विशेष रूप से इन अजीब या टूटे हुए इनवॉइस को स्वचालित रूप से पहचानने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:

समस्या: इनवॉइस की जाँच करना कठिन क्यों है

एक इनवॉइस को एक पहेली की तरह समझें। इसके दो मुख्य भाग हैं:

कहानी (टेक्स्ट): शब्द, कंपनियों के नाम और लेआउट।
गणित (लॉजिक): संख्याएँ, टैक्स और कुल योग।

पुराने जमाने के कंप्यूटर प्रोग्राम एक सख्त अकाउंटेंट की तरह थे जो केवल गणित की जाँच करते थे। यदि संख्याएँ मिल जाती थीं, तो वे कहते थे "ठीक है," भले ही दस्तावेज़ का कोई पेज गायब हो या फॉन्ट गलत हो। अन्य प्रोग्राम एक लाइब्रेरियन की तरह थे जो केवल शब्दों की जाँच करते थे। वे बता सकते थे कि क्या कोई वाक्य समझ में आ रहा है, लेकिन उन्हें इस बात की परवाह नहीं थी कि गणित गलत है या नहीं।

समस्या यह है कि एक वास्तविक इनवॉइस के लिए ये दोनों चीजें सही होनी चाहिए। यदि टेक्स्ट कहता है "कुल: $100" लेकिन गणित का योग$ 90 आता है, तो कुछ गलत है।

समाधान: एक "डबल-ब्रेन" रोबोट

शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जिसमें दो "दिमाग" हैं जो एक जासूस टीम की तरह मिलकर काम करते हैं:

दिमाग A (टेक्स्ट रीडर): यह हिस्सा OCR (ऑप्टिकल कैरेक्टर रिकग्निशन) नामक टूल का उपयोग करता है ताकि वह एक इंसान की तरह इनवॉइस को "पढ़" सके। यह कागज की तस्वीर को डिजिटल शब्दों में बदल देता है। फिर यह शब्दों के अर्थ और संरचना को समझने के लिए एक विशेष न्यूरल नेटवर्क (एक प्रकार का AI) का उपयोग करता है। यह सीखता है कि शब्दों और लेआउट के मामले में एक "सामान्य" इनवॉइस कैसा दिखता है।
दिमाग B (मैथ चेकर): यह हिस्सा संख्याओं को देखता है। यह सब-टोटल्स, टैक्स और फाइनल टोटल के बीच के संबंधों की जाँच करता है। यह पूछता है, "क्या गणित समझ में आ रहा है?"

वे मिलकर कैसे काम करते हैं (फ्यूजन)

इन दोनों दिमागों को अलग-अलग काम करने देने के बजाय, शोधकर्ताओं ने उन्हें एक फ्यूजन ऑटोएनकोडर में जोड़ दिया है।

इसे एक संगीत के जुगलबंदी (ड्युएट) की तरह समझें।

दिमाग A धुन (टेक्स्ट) बजाता है।
दिमाग B लय (गणित) बजाता है।
सिस्टम एक आदर्श गाना बजाना सीखता है जहाँ धुन और लय पूरी तरह से मेल खाते हैं। यही वह चीज़ है जो एक "सामान्य" इनवॉइस की तरह सुनाई देती है।

जब कोई नया, अजीब इनवॉइस आता है, तो सिस्टम उसे बजाने की कोशिश करता है।

यदि इनवॉइस सामान्य है, तो सिस्टम इसे सुचारू रूप से बजाता है।
यदि इनवॉइस टूटा हुआ है (जैसे, कुल राशि गायब है, या गणित टेक्स्ट से मेल नहीं खाता), तो सिस्टम लड़खड़ा जाता है। संगीत "बेसुरा" हो जाता है।

यह त्रुटियों का पता कैसे लगाता है

सिस्टम को यह सीखने की आवश्यकता नहीं है कि "फर्जी" इनवॉइस कैसा दिखता है। इसके बजाय, यह हजारों सामान्य इनवॉइस का अध्ययन करके सीखता है कि एक परफेक्ट इनवॉइस कैसा दिखता है।

"रिकंस्ट्रक्शन एरर" (पुनर्निर्माण त्रुटि): कल्पना करें कि सिस्टम अपनी याददाश्त से इनवॉइस को फिर से बनाने की कोशिश करता है। यदि इनवॉइस अजीब है, तो सिस्टम इसे पूरी तरह से दोबारा नहीं बना पाता है। मूल अजीब इनवॉइस और सिस्टम की "परफेक्ट" याददाश्त के बीच के अंतर को रिकंस्ट्रक्शन एरर कहा जाता है।
अलार्म: एक छोटी त्रुटि का मतलब है कि इनवॉइस शायद ठीक है। एक बड़ी त्रुटि (संगीत में एक बड़ा झटका) का मतलब है कि सिस्टम भ्रमित है, इसलिए यह इसे एक विसंगति (Anomaly) के रूप में चिह्नित करता है।

उन्हें क्या पता चला

शोधकर्ताओं ने 8,000 से अधिक इनवॉइस के वास्तविक डेटासेट पर इस सिस्टम का परीक्षण किया। उन्होंने अपने "डबल-ब्रेन" सिस्टम की तुलना निम्नलिखित से की:

वे सिस्टम जो केवल टेक्स्ट देखते थे।
वे सिस्टम जो केवल गणित देखते थे।
पुराने जमाने के सांख्यिकीय तरीके।

परिणाम: "डबल-ब्रेन" सिस्टम अजीब इनवॉइस को पहचानने में सबसे बेहतर था। यह सिंगल-ब्रेन सिस्टम की तुलना में "अच्छे" इनवॉइस को "बुरे" इनवॉइस से अलग करने में अधिक सक्षम था। यह एक ही समय में गायब टोटल, अजीब फॉर्मेटिंग या गलत गणित जैसी चीजों को पकड़ सकता था।

सारांश में

यह शोध पत्र एक स्मार्ट टूल प्रस्तुत करता है जो शब्दों और संख्याओं दोनों को एक साथ समझकर इनवॉइस को पढ़ता है। यह सीखकर कि एक "सामान्य" इनवॉइस कैसा सुनाई देता है, यह तुरंत सुन सकता है कि इनवॉइस "बेसुरा" है, जिससे व्यवसायों को हर एक कागज की जांच किए बिना त्रुटियों और धोखाधड़ी को पकड़ने में मदद मिलती है।

तकनीकी सारांश: टेक्स्ट-लॉजिक फ्यूजन का उपयोग करके इनवॉइस में मल्टीमॉडल स्ट्रक्चरल विसंगति का पता लगाना

समस्या विवरण
वित्तीय दस्तावेज़, विशेष रूप से इनवॉइस (बीजक), स्वचालित ऑडिटिंग और लेखांकन प्रणालियों के लिए अत्यंत महत्वपूर्ण होते हैं। हालाँकि, ये अर्ध-संरचित रिकॉर्ड अनियमितताओं के प्रति संवेदनशील होते हैं, जैसे कि लुप्त फ़ील्ड्स, असामान्य स्वरूपण (फॉर्मेटिंग), और टेम्पलेट विचलन। पारंपरिक सत्यापन विधियाँ मुख्य रूप से नियम-आधारित अंकगणितीय जाँचों पर निर्भर करती हैं, जो लुप्त फ़ील्ड्स या लेआउट विसंगतियों जैसी संरचनात्मक विसंगतियों का पता लगाने में विफल रहती हैं। इसके विपरीत, टेक्स्ट-आधारित मशीन लर्निंग मॉडल अक्सर वित्तीय दस्तावेजों में निहित महत्वपूर्ण संख्यात्मक संबंधों की अनदेखी कर देते हैं। इस अध्ययन द्वारा संबोधित मूल चुनौती लेबल किए गए विसंगति डेटा के बिना इनवॉइस में संरचनात्मक विसंगतियों का पता लगाना है, जिसके लिए एक ऐसे सिस्टम की आवश्यकता है जो एक साथ अर्थपूर्ण टेक्स्ट पैटर्न और वित्तीय तार्किक निरंतरता को समझ सके।

कार्यप्रणाली
लेखक एक अनसुपरवाइज्ड (unsupervised) मल्टीमॉडल फ्रेमवर्क प्रस्तावित करते हैं जो टेक्स्टुअल सिमेंटिक्स और वित्तीय तर्क (लॉजिक) को जोड़कर संरचनात्मक विसंगतियों का पता लगाता है। कार्यप्रणाली निम्नलिखित चरणों में आगे बढ़ती है:

डेटा प्रीप्रोसेसिंग और फीचर एक्सट्रैक्शन:
- ऑप्टिकल कैरेक्टर रिकग्निशन (OCR): इनवॉइस छवियों से OCR का उपयोग करके टेक्स्ट निकाला जाता है। सिमेंटिक विश्लेषण के लिए तैयार करने हेतु कच्चे टेक्स्ट को साफ किया जाता है (लोअरकेसिंग, व्हाइटस्पेस और गैर-सूचनात्मक प्रतीकों को हटाना)।
- टेक्स्टुअल सिमेंटिक एनकोडर: Sentence-BERT का उपयोग करके साफ किए गए टेक्स्ट को डेंस सेंटेंस-लेवल एम्बेडिंग्स में परिवर्तित किया जाता है। ये एम्बेडिंग्स कॉन्टेक्स्टुअल संबंधों और लेआउट जानकारी को कैप्चर करते हैं। इन सिमेंटिक पैटर्न के लेटेंट रिप्रेजेंटेशन ( $z_t$ ) को सीखने के लिए एक ऑटोएनकोडर आर्किटेक्चर (ReLU एक्टिवेशन और बैच नॉर्मलाइजेशन के साथ एनकोडर-डिकोडर) का उपयोग किया जाता है, जो रिकंस्ट्रक्शन लॉस ( $L_{text}$ ) को कम करता है।
- फाइनेंशियल लॉजिक एनकोडर: OCR आउटपुट से संख्यात्मक मान (सबटोटल्स, टैक्स, टोटल्स) निकाले जाते हैं। अपेक्षित और प्रेक्षित वित्तीय मानों के बीच विचलन (जैसे, $\Delta_{line}, \Delta_{subtotal}, \Delta_{tax}, \Delta_{total}$ ) को दर्शाने के लिए लॉजिक-आधारित फीचर वेक्टर्स बनाए जाते हैं। एक अलग एनकोडर इन लॉजिक फीचर्स को एक लेटेंट स्पेस ( $z_l$ ) में मैप करता है, जो वित्तीय निरंतरता के पैटर्न को सीखता है।
मल्टीमॉडल फ्यूजन आर्किटेक्चर:
- टेक्स्टुअल एनकोडर ( $z_t$ ) और लॉजिक एनकोडर ( $z_l$ ) से प्राप्त लेटेंट रिप्रेजेंटेशन को एक एकीकृत मल्टीमॉडल फीचर वेक्टर ( $z_f$ ) बनाने के लिए संयोजित (concatenate) किया जाता है।
- एक फ्यूजन ऑटोएनकोडर इस संयुक्त वेक्टर को प्रोसेस करता है। नेटवर्क को इनपुट फ्यूज्ड फीचर्स को पुनर्गठित (reconstruct) करने के लिए प्रशिक्षित किया जाता है, जिससे यह सामान्य संरचना वाले इनवॉइस के वितरण को सीख लेता है।
- विसंगति स्कोरिंग (Anomaly Scoring): इन्फरेंस के दौरान, मूल फ्यूज्ड फीचर वेक्टर और उसके पुनर्गठित संस्करण के बीच मीन स्क्वेर्ड एरर (MSE) के रूप में विसंगति स्कोर ( $S$ ) की गणना की जाती है। उच्च रिकंस्ट्रक्शन एरर सीखे गए सामान्य पैटर्न से संरचनात्मक विचलन का संकेत देते हैं।

प्रमुख योगदान

मल्टीमॉडल फ्यूजन दृष्टिकोण: यह अध्ययन एक नया अनसुपरवाइज्ड फ्रेमवर्क पेश करता है जो टेक्स्टुअल सिमेंटिक फीचर्स और फाइनेंशियल लॉजिक फीचर्स को संयुक्त रूप से मॉडल करता है, जो उन सीमाओं को संबोधित करता है जहाँ मौजूदा विधियाँ इनवॉइस को केवल टेक्स्ट या केवल संख्यात्मक मान के रूप में देखती हैं।
अनसुपरवाइज्ड लर्निंग: यह सिस्टम लेबल किए गए विसंगति डेटा के बिना संचालित होता है, जो अपूर्ण इनवॉइस, टेम्पलेट पेजों और संरचनात्मक रूप से असंगत दस्तावेजों जैसी अनियमितताओं की पहचान करने के लिए रिकंस्ट्रक्शन एरर का उपयोग करता है।
हाइब्रिड आर्किटेक्चर: एक सिंगल फ्यूजन ऑटोएनकोडर के भीतर टेक्स्टुअल सिमेंटिक ब्लॉक और फाइनेंशियल लॉजिक ब्लॉक का एकीकरण मॉडल को सिमेंटिक लेआउट त्रुटियों और अंकगणितीय विसंगतियों दोनों को एक साथ पहचानने की अनुमति देता है।

प्रायोगिक परिणाम
प्रस्तावित मॉडल का मूल्यांकन "हाई क्वालिटी इनवॉइस इमेजेस फॉर OCR" डेटासेट पर किया गया, जिसमें विभिन्न संरचनाओं वाले 8,181 इनवॉइस चित्र शामिल हैं। डेटासेट को ट्रेनिंग (सामान्य नमूनों पर) और टेस्टिंग के लिए विभाजित किया गया था।

प्रदर्शन तुलना: प्रस्तावित फ्यूजन मॉडल की तुलना सिंगल-मोडैलिटी बेसलाइन्स (टेक्स्ट-ओनली ऑटोएनकोडर, लॉजिक-ओनली ऑटोएनकोडर) और क्लासिकल एनोमली डिटेक्शन एल्गोरिदम (आइसोलेशन फॉरेस्ट, वन-क्लास SVM, लोकल आउटलियर फैक्टर) से की गई।
मात्रात्मक निष्कर्ष: फ्यूजन मॉडल ने 0.2962 के मानक विचलन के साथ 0.3750 का मीन एनोमली स्कोर प्राप्त किया। जबकि लॉजिक-ओनली मॉडल ने 0.5107 का उच्च मीन स्कोर दिखाया, फ्यूजन मॉडल ने बेहतर सेपरेशन क्षमता प्रदर्शित की। टेक्स्ट-ओनली और लॉजिक-ओनली बेसलाइन्स अपने संबंधित डोमेन में प्रभावी थे, लेकिन उनमें फ्यूजन मॉडल द्वारा प्रदान किए गए समग्र दृष्टिकोण की कमी थी।
गुणात्मक विश्लेषण: एनोमली स्कोर वितरण ने सामान्य और विसंगतिपूर्ण नमूनों के बीच स्पष्ट अलगाव दिखाया। फ्यूजन मॉडल ने उच्च स्कोर डिस्पर्शन प्रदर्शित किया, जो यह सुझाव देता है कि इसमें उन सूक्ष्म विसंगतियों को पहचानने की बेहतर क्षमता है जिन्हें सिंगल-मोडैलिटी मॉडल मिस कर सकते हैं। कन्फ्यूजन मैट्रिक्स (स्यूडो-लेबल के आधार पर) ने हाई-रिस्क और लो-रिस्क नमूनों के बीच एक स्थिर सीमा दिखाई।

महत्व और दावे
पेपर का दावा है कि प्रस्तावित मल्टीमॉडल फ्यूजन दृष्टिकोण सिंगल-मोडैलिटी विधियों की तुलना में इनवॉइस विसंगति पहचान के लिए अधिक मजबूत और डिस्क्रिमिनेटिव समाधान प्रदान करता है। सिमेंटिक जानकारी और वित्तीय संरचना के बीच सहसंबंधों को सीखकर, सिस्टम संरचनात्मक अशुद्धियों, लुप्त जानकारी और वित्तीय विसंगतियों की प्रभावी ढंग से पहचान करता है। लेखक का तर्क है कि यह दृष्टिकोण बड़े पैमाने पर स्वचालित वित्तीय ऑडिट और डॉक्यूमेंट इंटेलिजेंस सिस्टम के लिए उपयुक्त है। अध्ययन निष्कर्ष निकालता है कि हालांकि वर्तमान परिणाम उत्साहजनक हैं, भविष्य के कार्यों में जटिल इनवॉइस संरचनाओं की समझ को और बढ़ाने के लिए लेआउट-अवेयर एम्बेडिंग्स और ट्रांसफार्मर-आधारित एनकोडर्स का अन्वेषण किया जा सकता है। यह शोध फॉल्स पॉजिटिव्स को कम करने और स्वचालित वित्तीय प्रसंस्करण की विश्वसनीयता में सुधार करने की दिशा में एक व्यवहार्य कदम के रूप में प्रस्तुत किया गया है।