🤖 AI

Noise-Robust Financial Numerical Entity Attribute Tagging

यह शोध पत्र NORA को प्रस्तुत करता है, जो एक शोर-सहिष्णु (noise-robust) ढांचा है जो वित्तीय संख्यात्मक इकाई (FNE) टैगिंग के लिए है और जो एक नए निर्मित बड़े पैमाने के बेंचमार्क पर अवधारणा नामों, रिपोर्टिंग समय, स्केल और लेखांकन संकेतों जैसे समृद्ध गुणों की संयुक्त रूप से भविष्यवाणी करने के लिए कार्य-जागरूक इंस्टेंस वेटिंग (task-aware instance weighting) और एक नवीन मूल्यांकन पद्धति का उपयोग करते हुए शोर वाले XBRL लेबल को प्रभावी ढंग से संभालता है।

मूल लेखक: Hsin-Min Lu, Chen-Yang Lai, Yi-Jhen Li, Ju-Chun Yen

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hsin-Min Lu, Chen-Yang Lai, Yi-Jhen Li, Ju-Chun Yen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो वित्तीय रिपोर्टों (financial reports) की एक विशाल लाइब्रेरी के भीतर एक रहस्य सुलझाने की कोशिश कर रहे हैं। ये रिपोर्ट नंबरों से भरी हुई हैं, जैसे " $5 मिलियन" या "10.2%"। लेकिन अकेले एक नंबर का कोई अर्थ नहीं होता। क्या वह$ 5 मिलियन लाभ है? कर्ज है? या यह पिछले साल का है, इस साल का, या अगले साल का? क्या यह एक बड़ी राशि है या बहुत छोटी?

यही फाइनेंशियल न्यूमेरिकल एंटिटी (FNE) अंडरस्टैंडिंग का काम है: वित्तीय रिपोर्ट में मौजूद हर नंबर के पीछे की असली कहानी को समझना।

समस्या: लाइब्रेरी बिखरी हुई है

इस शोध पत्र के लेखक, ह्सिन-मिन लू (Hsin-Min Lu) और उनके सहयोगियों ने बताया है कि हम वर्तमान में इस रहस्य को सुलझाने की कोशिश करने के तरीके में दो बड़ी समस्याएं हैं:

"स्रोत सामग्री" (Source Material) दोषपूर्ण है: वित्तीय कंपनियां अपनी रिपोर्ट इलेक्ट्रॉनिक रूप से (iXBRL नामक चीज़ का उपयोग करके) फाइल करती हैं। इसे ऐसे समझें जैसे कोई छात्र वर्कशीट भर रहा हो। कभी-कभी छात्र गलतियाँ करते हैं—गलत नंबर लिख देना, "लाभ" (profit) को "हानि" (loss) के साथ मिला देना, या तारीख गलत कर देना। क्योंकि कंप्यूटर अक्सर इन फाइलिंग को पढ़कर सीखते हैं, वे एक ऐसी स्रोत सामग्री से सीख रहे हैं जो गलतियों से भरी है। यह गणित सीखने के लिए उस पाठ्यपुस्तक से सीखने जैसा है जिसके आधे उत्तर ही गलत हैं।
हम केवल एक ही सवाल पूछ रहे हैं: पिछले अध्ययन मुख्य रूप से केवल यह पूछते थे, "इस नंबर को क्या कहा जाता है?" (जैसे, "क्या यह 'राजस्व' (Revenue) है?")। लेकिन वास्तविक दुनिया में, आपको बहुत अधिक जानने की आवश्यकता होती है: यह नंबर कब लागू होता है? इसकी इकाई (unit) कितनी बड़ी है (मिलियन बनाम बिलियन)? क्या यह एक सकारात्मक या नकारात्मक संख्या है? इन विवरणों को अनदेखा करना एक कार का वर्णन केवल उसके रंग से करने जैसा है, उसकी गति, मॉडल और वह चल रही है या नहीं, इसे नजरअंदाज करके।

समाधान: NORA (एक स्मार्ट जासूस)

इसे ठीक करने के लिए, टीम ने NORA (नॉइज़-रोबस्ट टैगिंग फॉर रिच फाइनेंशियल न्यूमेरिकल एंटिटी एट्रिब्यूट्स) नामक एक नया सिस्टम बनाया।

1. "नॉइज़ फ़िल्टर" (खराब सुरागों को अनदेखा करना सीखना)
कल्पना कीजिए कि आप एक ऐसे कमरे में हैं जहाँ बहुत से लोग पहेली सुलझाने में आपकी मदद करने के लिए सुराग चिल्ला रहे हैं। कुछ लोग सच चिल्ला रहे हैं, लेकिन अन्य बकवास या झूठ चिल्ला रहे हैं। यदि आप सभी को समान रूप से सुनते हैं, तो आप भ्रमित हो जाएंगे।
NORA एक ऐसे जासूस की तरह है जो आवाज के वॉल्यूम (तेजी) को सुनकर सीखना सीखता है। यह जानकारी के हर हिस्से को एक "ट्रस्ट स्कोर" (विश्वास स्कोर) देता है।

यदि कोई सुराग विश्वसनीय लगता है, तो NORA उसे ध्यान से सुनता है।
यदि कोई सुराग शोर भरा या विरोधाभासी लगता है, तो NORA उस सुराग की आवाज़ को कम कर देता है ताकि वह सीखने की प्रक्रिया को खराब न करे।
यह सिस्टम को उपलब्ध डेटा की विशाल मात्रा से सीखने में सक्षम बनाता है, भले ही उस डेटा में गलतियाँ हों।

2. "समृद्ध विवरण" (अधिक प्रश्न पूछना)
केवल "यह क्या है?" पूछने के बजाय, NORA हर नंबर के लिए एक साथ चार सवाल पूछता है:

टैग (Tag): यह अवधारणा (concept) क्या है? (जैसे, "राजस्व")
समय (Time): क्या यह एक विशिष्ट दिन का स्नैपशॉट (Instant) है या एक अवधि (Duration) की कहानी है? क्या यह अतीत, वर्तमान या भविष्य का है?
स्केल (Scale): यह नंबर डॉलर में है, मिलियन में या बिलियन में?
साइन (Sign): क्या यह एक सकारात्मक लाभ है या एक नकारात्मक हानि?

इन सभी सवालों के जवाब एक साथ देकर, सिस्टम वित्तीय कहानी की बहुत स्पष्ट तस्वीर प्राप्त करता है।

नई लाइब्रेरी (डेटासेट)

शोधकर्ताओं ने एक नया विशाल प्रशिक्षण मैदान भी बनाया जिसे NORA डेटासेट कहा जाता है।

आकार: इसमें 6.6 मिलियन उदाहरण हैं। इसे समझने के लिए, पिछले डेटासेट एक छोटी बुकशेल्फ़ (1.1 मिलियन या 79,000 उदाहरण) की तरह थे। यह एक पूरी लाइब्रेरी है।
गुणवत्ता: इसमें रिपोर्ट का पूरा संदर्भ (context) शामिल है, न कि केवल नंबर, ताकि AI नंबर के आसपास की कहानी को समझ सके।
यथार्थवाद: यह वास्तविक दुनिया के "शोर" (गलतियों) को बनाए रखता है ताकि सिस्टम अभ्यास कर सके, ठीक वैसे ही जैसे एक जासूस बिखरे हुए सबूतों के साथ अभ्यास करता है।

परिणाम: खेल में कौन जीता?

टीम ने NORA का परीक्षण अन्य स्मार्ट सिस्टमों (जैसे Co-teaching, Mixup, और SSR) के विरुद्ध दो प्रकार के परीक्षणों का उपयोग करके किया:

मेसी टेस्ट (The Messy Test): कच्चे, त्रुटिपूर्ण डेटा का उपयोग करके।
क्लीन टेस्ट (The Cleaned Test): एक विशेष फ़िल्टर (जिसे NPK कहा जाता है) का उपयोग करके जो सबसे स्पष्ट त्रुटियों को हटा देता है ताकि यह देखा जा सके कि यह "साफ" डेटा पर कैसा प्रदर्शन करता है।

फैसला:

NORA जीत गया। यह कॉन्सेप्ट नेम (टैग) और टाइम रिलेशन (समय) को समझने में सर्वश्रेष्ठ था।
यह विशेष रूप से समय को समझने में अच्छा था। यह समझ में आता है क्योंकि यह पता लगाने के लिए कि कोई नंबर "अतीत" का है या "भविष्य" का, पूरी कहानी को देखना आवश्यक है, और NORA की शोर वाले सुरागों को अनदेखा करने की क्षमता ने इसे इसे सही करने में मदद की।
यह अन्य कार्यों (स्केल और साइन) पर भी बहुत प्रतिस्पर्धी था, भले ही वे सबके लिए कठिन थे।

एक विशेष ट्रिक: "पड़ोसी चेक" (The Neighbor Check)

यह सुनिश्चित करने के लिए कि उनके परिणाम वास्तविक हैं, टीम ने यह जांचने का एक तरीका विकसित किया कि क्या टेस्ट डेटा वास्तव में साफ था। उन्होंने इसके लिए NPK (नेबरहुड प्रायोर-एडजस्टेड KNN) नामक एक विधि का उपयोग किया।
इसे ऐसे समझें: यदि आप गणित की समस्या का उत्तर देने की कोशिश कर रहे हैं, तो आप अपने पड़ोसियों के उत्तर देखते हैं। यदि 10 में से 9 पड़ोसियों के पास एक ही उत्तर है, तो संभावना है कि आपका उत्तर सही है। यदि आपका उत्तर सबसे अलग है, तो आप गलत हो सकते हैं।
NORA ने टेस्ट सेट से सबसे भ्रमित करने वाले उदाहरणों को फ़िल्टर करने के लिए इस "पड़ोसी चेक" का उपयोग किया, जिससे यह साबित हुआ कि वह वास्तव में पैटर्न सीख रहा था, न कि केवल शोर के साथ भाग्यशाली हो रहा था।

सारांश

संक्षेप में, शोध पत्र कहता है: "वित्तीय रिपोर्ट अव्यवस्थित होती हैं, और पुराने AI मॉडल गलतियों से भ्रमित हो जाते हैं। हमने एक नया सिस्टम, NORA बनाया है, जो शोर को अनदेखा करना सीखता है और साथ ही हर नंबर के बारे में विस्तृत प्रश्न पूछता है। हमने इसे डेटा की एक विशाल, नई लाइब्रेरी पर परखा, और इसने खुद को समय और वित्तीय नंबरों के अर्थ को समझने में सबसे स्मार्ट जासूस के रूप में साबित किया।"

तकनीकी सारांश: समृद्ध वित्तीय संख्यात्मक इकाई विशेषताओं के लिए शोर-रोधी टैगिंग (NORA)

समस्या की परिभाषा
वित्तीय संख्यात्मक इकाई (FNE) की समझ में वित्तीय रिपोर्टों (जैसे, 10-Ks और 10-Qs) में संख्यात्मक उल्लेखों के अर्थ संबंधी अर्थ को पुनः प्राप्त करना शामिल है। जबकि FiNER-139 और FNXL जैसे मौजूदा बेंचमार्क ने इस क्षेत्र को उन्नत किया है, वे दो महत्वपूर्ण सीमाओं से ग्रस्त हैं। पहला, वे इनलाइन XBRL (iXBRL) फाइलिंग से प्राप्त लेबल पर निर्भर करते हैं, जो अक्सर मैन्युअल रूप से तैयार किए जाते हैं और स्वाभाविक रूप से शोर युक्त होते हैं, जिनमें गलत टैग, छूटे हुए तत्व और गलत चिह्न जैसी त्रुटियां होती हैं। दूसरा, पिछला कार्य मुख्य रूप से केवल अकाउंटिंग कॉन्सेप्ट नाम (टैग) की भविष्यवाणी करने तक सीमित रहा है, जो पूर्ण व्याख्यात्मकता के लिए आवश्यक अन्य महत्वपूर्ण विशेषताओं की उपेक्षा करता है: रिपोर्टिंग-टाइम संबंध (जैसे, इंस्टेंट बनाम ड्यूरेशन, पास्ट बनाम करंट), मेजरमेंट स्केल, और अकाउंटिंग साइन। ये अंतराल मॉडलों को वास्तविक दुनिया के लेबल शोर के प्रति भंगुर बनाते हैं और वित्तीय डेटा की पूर्ण अर्थपूर्ण समृद्धि को पकड़ने में विफल रहते हैं।

कार्यप्रणाली
लेखक NORA (NOise-Robust Tagging for Rich Financial Numerical Entity Attributes) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे कई FNE विशेषताओं को संयुक्त रूप से मॉडल करने और शोर युक्त पर्यवेक्षण (supervision) के प्रभाव को कम करने के लिए डिज़ाइन किया गया है।

इंस्टेंस-विशिष्ट वेटिंग के साथ शोर-रोधी प्रशिक्षण:
NORA, FNE समझ को चार विशेषताओं (टैग, टाइम रिलेशन, स्केल, और साइन) को कवर करने वाले एक मल्टी-टास्क प्रेडिक्शन समस्या के रूप में मानता है। शोर वाले लेबल को संभालने के लिए, मॉडल एक टास्क-अवेयर, इंस्टेंस-विशिष्ट वेटिंग मैकेनिज्म का उपयोग करता है।
- मॉडल एक साझा डेंस लेयर और ग्लोबल [CLS] रिप्रेजेंटेशन पर लागू एक टास्क-विशिष्ट सिग्मॉइड लेयर का उपयोग करके प्रत्येक इंस्टेंस और प्रत्येक टास्क $a$ के लिए एक नॉइज़ गेट ( $g_a$ ) का अनुमान लगाता है।
- यह गेट, $g_a \in (0, 1)$ , इंस्टेंस के शोर के स्तर का अनुमान लगाता है। 0 के करीब मान एक विश्वसनीय इंस्टेंस को दर्शाता है, जबकि 1 के करीब मान शोर या अस्पष्टता का सुझाव देता है।
- लॉस फंक्शन को इस गेट द्वारा मॉड्युलेट किया जाता है: $\tilde{L}_a = (1 - g_a) \cdot L_a + \lambda_a \cdot g_a^2$ । पहला पद शोर वाले इंस्टेंस के लिए रॉ लॉस को कम करता है, जबकि दूसरा पद एक रेगुलराइज़र के रूप में कार्य करता है ताकि मॉडल सभी डेटा को $g_a \approx 1$ सेट करके नज़रअंदाज़ करने में विफल न हो।
- प्रत्येक टास्क के लिए विशिष्ट लॉस फंक्शन्स तैयार किए गए हैं: टैग के लिए क्लास-बैलेंस्ड क्रॉस-एन्ट्रॉपी (लॉन्ग-टेल डिस्ट्रीब्यूशन को संभालने के लिए), टाइम और स्केल के लिए क्लास वेट्स के साथ स्टैंडर्ड क्रॉस-एन्ट्रॉपी, और साइन के लिए फोकल लॉस (नेगेटिव साइन के गंभीर क्लास इम्बैलेंस को संबोधित करने के लिए)।
NPK फ़िल्टरिंग के माध्यम से रोबस्ट मूल्यांकन:
यह पहचानते हुए कि वास्तविक दुनिया के टेस्ट सेट्स में भी शोर होता है, लेखक मूल्यांकन के लिए नेबरहुड प्रायर-एडजस्टेड KNN (NPK) फ़िल्टरिंग विधि पेश करते हैं।
- यह विधि नेबरहुड कंसिस्टेंसी (पड़ोस निरंतरता) के अनुमान पर निर्भर करती है: सही लेबल एक इंस्टेंस के सिमेंटिक नेबरहुड के साथ संरेखित होने चाहिए।
- FAISS का उपयोग करते हुए, यह विधि सिमेंटिक एम्बेडिंग स्पेस में प्रत्येक टेस्ट इंस्टेंस के लिए $k$ निकटतम पड़ोसियों को रिट्रीव करती है।
- क्लास इम्बैलेंस को ठीक करने के लिए, ग्लोबल क्लास प्रायर्स के विरुद्ध नेबर काउंट्स को नॉर्मलाइज़ करके एक प्रायर-एडजस्टेड कंसिस्टेंसी स्कोर की गणना की जाती है।
- इंस्टेंस को इस कंसिस्टेंसी स्कोर द्वारा रैंक किया जाता है, और टॉप-स्कोरिंग सबसेट (जैसे, टॉप 90%) को एक लो-नॉइज़ इवैल्यूएशन सेट के रूप में उपयोग किया जाता है ताकि मॉडल के प्रदर्शन का अधिक विश्वसनीय मूल्यांकन प्रदान किया जा सके।
डेटासेट निर्माण:
लेखकों ने NORA डेटासेट का निर्माण किया है, जो 110,000 से अधिक SEC फाइलिंग से iXBRL फैक्ट्स के साथ संरेखित 6.6 मिलियन नैरेटिव इंस्टेंस वाला एक बड़े पैमाने का बेंचमार्क है। मौजूदा डेटासेट्स के विपरीत, इसमें समृद्ध मल्टी-एट्रीब्यूट लेबल (टैग, टाइम, स्केल, साइन) और डॉक्यूमेंट मेटाडेटा (कंपनी, पीरियड, फिस्कल ईयर) शामिल हैं ताकि टाइम-रिलेशन लर्निंग का समर्थन किया जा सके।

प्रमुख योगदान

फॉर्मुलेशन: यह पेपर FNE अंडरस्टैंडिंग को एक जॉइंट मल्टी-एट्रीब्यूट प्रेडिक्शन टास्क के रूप में फॉर्म्युलेट करता है, जो स्पष्ट रूप से कॉन्सेप्ट नेम, रिपोर्टिंग-टाइम रिलेशन, मेजरमेंट स्केल और अकाउंटिंग साइन को एक साथ मॉडल करता है।
फ्रेमवर्क: यह NORA पेश करता है, जो एक शोर-रोधी लर्निंग फ्रेमवर्क है जो नॉइज़ी लेबल के प्रभाव को कम करने के लिए लर्नबल इंस्टेंस-विशिष्ट वेट्स का उपयोग करता है, और शोर-युक्त लेबल बेसलाइन्स (Co-teaching, Mixup, SSR, SelfMix) से बेहतर प्रदर्शन करता है।
मूल्यांकन प्रोटोकॉल: यह NPK फ़िल्टरिंग विधि प्रस्तावित करता है, जो नेबरहुड कंसिस्टेंसी के आधार पर हाई-कॉन्फिडेंस सबसेट्स की पहचान करके वास्तविक दुनिया के नॉइजी टेस्ट सेट्स पर अधिक विश्वसनीय मॉडल मूल्यांकन सक्षम करता है।
संसाधन: यह NORA डेटासेट जारी करता है, जो मौजूदा बेंचमार्क (FiNER-139, FNXL) की तुलना में काफी बड़ा और अधिक एट्रीब्यूट-रिच रिसोर्स है, जिसे आइडियलाइज्ड बेंचमार्क और वास्तविक वित्तीय रिपोर्टिंग वातावरण के बीच के अंतर को पाटने के लिए डिज़ाइन किया गया है।

परिणाम
अनफ़िल्टर्ड और NPK-फ़िल्टर्ड दोनों टेस्ट सेट्स पर किए गए प्रयोग NORA की प्रभावशीलता को प्रदर्शित करते हैं:

प्रदर्शन: NORA Tag और Time प्रेडिक्शन टास्क के लिए सर्वश्रेष्ठ एक्यूरेसी, मैक्रो F1, और वेटेड F1 स्कोर प्राप्त करता है। सुधार विशेष रूप से टाइम प्रेडिक्शन में स्पष्ट है, जहाँ NORA अनफ़िल्टर्ड सेट पर अगले-सर्वश्रेष्ठ बेसलाइन से लगभग 19.8 प्रतिशत अंक एक्यूरेसी और 26.0 प्रतिशत अंक मैक्रो F1 में आगे निकल जाता है।
रोबस्टनेस: जबकि NORA स्केल और साइन टास्क (जहाँ Mixup या Co-teaching जैसे अन्य तरीके कभी-कभी थोड़ा आगे निकल जाते हैं) में अत्यधिक प्रतिस्पर्धी है, यह सबसे अधिक सिमेंटिक रूप से मांग वाले कार्यों में लगातार बेसलाइन्स से बेहतर प्रदर्शन करता है।
शोर की पहचान: सीखे गए नॉइज़ गेट्स ( $g_a$ ) का विश्लेषण यह प्रकट करता है कि टैग और टाइम टास्क के लिए उच्च अनुमानित शोर स्तर वाले इंस्टेंस काफी कम प्रेडिक्शन कंसिस्टेंसी प्रदर्शित करते हैं। एक सर्टिफाइड पब्लिक अकाउंटेंट (CPA) द्वारा मैनुअल निरीक्षण ने पुष्टि की कि हाई-गेट इंस्टेंस में अक्सर लेबल त्रुटियां होती हैं, जो अविश्वसनीय पर्यवेक्षण की पहचान करने की मॉडल की क्षमता को प्रमाणित करता है।

महत्व
पेपर दावा करता है कि NORA वास्तविक वित्तीय फाइलिंग में निहित लेबल शोर को स्पष्ट रूप से संबोधित करते हुए समृद्ध FNE एट्रीब्यूट्स को जॉइंटली मॉडल करने के मूल्य को प्रदर्शित करता है। केवल कॉन्सेप्ट-नेम टैगिंग से आगे बढ़कर और इंस्टेंस-विशिष्ट वेटिंग और रोबस्ट इवैल्यूएशन प्रोटोकॉल के माध्यम से शोर की समस्या को संबोधित करके, NORA रिस्क एनालिसिस, कंप्लायंस मॉनिटरिंग और बिजनेस एनालिसिस जैसे डाउनस्ट्रीम वित्तीय अनुप्रयोगों के लिए अधिक विश्वसनीय दृष्टिकोण प्रदान करता है। यह कार्य इस बात पर प्रकाश डालता है कि लेबल शोर और एट्रीब्यूट रिचनेस की उपेक्षा करने से सब-ऑप्टिमल मॉडल बनते हैं, जबकि एक नॉइज़-अवेयर, मल्टी-एट्रीब्यूट दृष्टिकोण वास्तविक, शोर वाले वातावरण में बेहतर प्रदर्शन प्रदान करता है।