LLM-based Triplet Extraction from Financial Reports
यह शोध पत्र LLMs और ऑन्टोलॉजी-संचालित प्रॉक्सी मेट्रिक्स का उपयोग करके वित्तीय ट्रिपलेट्स (triplets) निकालने के लिए एक अर्ध-स्वचालित पाइपलाइन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि स्वचालित रूप से प्रेरित ऑन्टोलॉजी स्कीमा ड्रिफ्ट (schema drift) को समाप्त करती है जबकि एक हाइब्रिड सत्यापन रणनीति मतिभ्रम (hallucination) की दरों को महत्वपूर्ण रूप से कम करती है और विषय-विषय (subject-object) पीढ़ी में व्यवस्थित विषमताओं को प्रकट करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वित्तीय जासूस (financial detective) हैं जो हजारों पन्नों की कॉर्पोरेट वार्षिक रिपोर्टों के भीतर छिपे रहस्यों को सुलझाने की कोशिश कर रहे हैं। ये रिपोर्टें "लीगल-स्पीक" (कानूनी भाषा) में लिखी गई घनी और जटिल उपन्यासों की तरह हैं, जो पैसिव वाक्यों (passive sentences) और छिपे हुए नंबरों से भरी होती हैं। आपका लक्ष्य विशिष्ट तथ्यों को निकालना है—जैसे कि "किसने, किसके साथ, क्या किया?"—और उन्हें एक व्यवस्थित सूची (Knowledge Graph) में व्यवस्थित करना है।
यह शोध पत्र इस काम को करने के लिए एक बेहतर रोबोटिक जासूस (लार्ज लैंग्वेज मॉडल्स या LLMs का उपयोग करके) बनाने के बारे में है। लेकिन इसमें एक पेच है: रोबोट "हैलुसिनेशन" (hallucinations) का शिकार हो जाता है, जिसका अर्थ है कि वह कभी-कभी ऐसे तथ्य बना देता है जो टेक्स्ट में मौजूद ही नहीं हैं। वित्त (finance) के क्षेत्र में, मनगढ़ंत बातें बनाना खतरनाक है।
यहाँ शोधकर्ताओं द्वारा एक बेहतर सिस्टम बनाने की कहानी सरल रूप में दी गई है:
1. समस्या: "बीच में खो जाना" (Lost in the Middle) और "कल्पना" का जाल
वित्तीय रिपोर्टें बहुत विशाल होती हैं। यदि आप पूरी रिपोर्ट एक साथ रोबोट को दे देते हैं, तो वह अभिभूत (overwhelmed) हो जाता है और बीच के महत्वपूर्ण विवरणों को भूल जाता है (इसे "lost in the middle" की समस्या कहा जाता है)। इसके अलावा, यदि आप केवल रोबोट से "तथ्य खोजने" के लिए कहते हैं, तो वह रचनात्मक हो सकता है और ऐसे संबंध बना सकता है जो अस्तित्व में ही नहीं हैं क्योंकि वह खाली जगह भरने के लिए स्मार्ट दिखना चाहता है।
उपमा: कल्पना कीजिए कि आप एक छात्र को 500 पन्नों की पाठ्यपुस्तक पढ़ने और हर तथ्य लिखने के लिए कह रहे हैं। यदि आप उसे एक बार में पूरी किताब दे देते हैं, तो वह ध्यान खो सकता है। यदि आप केवल कहते हैं "तथ्य लिखो," तो वह खाली जगहों को भरने के लिए काल्पनिक तथ्य बनाना शुरू कर सकता है क्योंकि वह खाली छोड़ने को लेकर घबराया हुआ है।
2. समाधान: एक "नियम पुस्तिका" (Ontology)
रोबोट को मनगढ़ंत बातें बनाने से रोकने के लिए, शोधकर्ताओं ने उसे एक सख्त नियम पुस्तिका दी जिसे ऑन्टोलॉजी (Ontology) कहा जाता है। यह एक टेम्पलेट की तरह है जो कहता है, "आप केवल वही तथ्य लिख सकते हैं जो इन विशिष्ट श्रेणियों में फिट बैठते हैं।"
उन्होंने इस नियम पुस्तिका को बनाने के दो तरीके आजमाए:
- मैनुअल नियम पुस्तिका (Static): एक मानव विशेषज्ञ ने एक कंपनी की रिपोर्ट के आधार पर एक सामान्य नियम पुस्तिका लिखी, और फिर उसी नियम पुस्तिका का उपयोग दूसरी कंपनी के लिए करने की कोशिश की।
- परिणाम: यह एक चौकोर लकड़ी को गोल छेद में फिट करने जैसा था। दूसरी कंपनी की रिपोर्ट पुराने नियमों में फिट नहीं बैठी, जिससे रोबदित भ्रमित हो गया या उसने नियमों को अनदेखा कर दिया।
- स्वचालित नियम पुस्तिका (Dynamic): रोबोट को प्रत्येक विशिष्ट रिपोर्ट को पढ़ते समय अपनी खुद की नियम पुस्तिका बनाने की अनुमति दी गई। उसने टेक्स्ट को देखा, कहा, "ओह, यह रिपोर्ट 'निवेश गतिविधियों' (Investing Activities) के बारे में बात करती है, इसलिए मैं इसे अपनी नियम पुस्तिका में जोड़ दूँगा," और फिर पढ़ना जारी रखा।
- परिणाम: यह एक सटीक फिट था। नियम पुस्तिका विशिष्ट दस्तावेज़ के लिए कस्टम-मेड थी, इसलिए रोबोट कभी भ्रमित नहीं हुआ या विषय से भटका नहीं। इसने नियमों का 100% पालन हासिल किया।
3. "नकली तथ्य" डिटेक्टर: Regex बनाम द जज (The Judge)
नियम पुस्तिका होने के बावजूद, रोबोट से कभी-कभी गलतियाँ हुईं। शोधकर्ताओं को यह जांचने के लिए कि क्या रोबोट सच बोल रहा है, एक तरीका चाहिए था, बिना किसी "सही उत्तर कुंजी" (correct answer key) के (क्योंकि किसी ने भी इन रिपोर्टों के हर एक तथ्य की मैन्युअल रूप से जांच नहीं की है)।
उन्होंने काम की जांच करने के दो तरीकों की तुलना की:
- "स्ट्रिक्ट स्ट्रिंग मैचर" (Regex): यह एक स्पेलचेकर की तरह है जो केवल सटीक शब्द मिलान देखता है। यदि टेक्स्ट में "द ग्रुप" (The Group) लिखा है और रोबट "द कंपनी" (The Company) लिखता है, तो स्पेलचेकर चिल्लाता है "त्रुटि! आपने इसे बनाया है!"
- समस्या: यह बहुत कठोर था। इसने 65% उत्तरों को "नकली" के रूप में चिह्नित किया क्योंकि शब्दों का चयन थोड़ा अलग था, भले ही उनका अर्थ सही था।
- "हाइब्रिड जज" (Regex + LLM-as-a-Judge): यह एक दो-चरणीय प्रक्रिया है। पहले, स्पेलचेकर सटीक मिलान खोजता है। यदि उसे कोई मिलान नहीं मिलता है, तो वह तुरंत रोबोट को विफल नहीं करता है। इसके बजाय, वह दूसरे, अधिक स्मार्ट रोबोट (जज) से पूछता है: "हे, क्या 'द कंपनी' का अर्थ इस वाक्य में 'द ग्रुप' के समान ही है?"
- परिणाम: जज ने महसूस किया, "हाँ, वे एक ही अर्थ रखते हैं।" इससे "नकली तथ्य" की दर 65% से घटकर मात्र 1.6% रह गई। इसने सिस्टम को शब्दों के थोड़े रचनात्मक होने पर दंडित करने से रोका, जबकि वास्तविक झूठ को पकड़ना जारी रखा।
4. "पैसिव वॉइस" (Passive Voice) का जाल
शोधकर्ताओं ने कुछ अजीब देखा: रोबोट सब्जेक्ट (Subject - "कौन") को बनाने में ऑब्जेक्ट (Object - "क्या") की तुलना में बहुत अधिक प्रवृत्त था।
उपमा: वित्तीय रिपोर्टें पैसिव वॉइस का बहुत उपयोग करती हैं, जैसे "मुनाफा 5% बढ़ गया" (The profit was increased by 5%)। वे "कौन" (CEO? बोर्ड?) को छिपा देते हैं।
- जब रोबोट "मुनाफा बढ़ा" देखता है, तो उसे अनुमान लगाना पड़ता है कि किसने इसे किया। वह अक्सर गलत अनुमान लगाता है (सब्जेक्ट को लेकर हैलुसिनेट करता है)।
- लेकिन "क्या" (5%) वहीं टेक्स्ट में मौजूद है। इसे कॉपी-पेस्ट करना आसान है।
- सबक: जब वाक्य यह नहीं बताता कि किसने किया, तो ईमानदार होना कठिन होता है, लेकिन क्या हुआ, इसके बारे में ईमानदार रहना आसान है।
5. मुख्य निष्कर्ष (Takeaway)
यह शोध पत्र हमें वित्तीय डेटा संभालने वाले AI बनाने के लिए तीन मुख्य बातें सिखाता है:
- एक ही आकार की नियम पुस्तिका (one-size-fits-all rulebook) का उपयोग न करें। AI को हर दस्तावेज़ के लिए कस्टम नियम पुस्तिका बनाने दें। यह बहुत बेहतर काम करता है।
- एक साधारण स्पेलचेकर पर भरोसा न करें। यदि आप जानना चाहते हैं कि क्या AI झूठ बोल रहा है, तो आपको अर्थ समझने के लिए एक स्मार्ट "जज" की आवश्यकता है, न कि केवल सटीक शब्दों की।
- पैसिव वॉइस (Passive Voice) से सावधान रहें। AI सबसे अधिक संघर्ष तब करता है जब इंसान वाक्य में क्रिया करने वाले (doer) को छिपा देते हैं।
एक कस्टम नियम पुस्तिका और एक स्मार्ट दो-चरणीय चेकर को जोड़कर, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो अस्त-व्यस्त वित्तीय रिपोर्टों को साफ, उपयोगी डेटा में बदलने के लिए बहुत अधिक विश्वसनीय, सटीक और भरोसेमंद है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।