Enhancing Financial Report Question-Answering: A Retrieval-Augmented Generation System with Reranking Analysis
यह शोध पत्र S&P 500 10-K रिपोर्टों के बारे में प्रश्नों के उत्तर देने के लिए एक रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) प्रणाली प्रस्तुत करता है, जो यह प्रदर्शित करता है कि एक न्यूरल रीरैंकिंग चरण को शामिल करने से बेसलाइन विधियों की तुलना में उत्तर की शुद्धता में 15.5 प्रतिशत अंक का सुधार होता है और त्रुटि दरों में कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वित्तीय जासूस (financial detective) हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपके सुराग 10-K रिपोर्टों के भीतर छिपे हुए हैं—जो एप्पल या अमेज़न जैसी कंपनियों द्वारा फाइल की गई विशाल, 300 पन्नों की वार्षिक रिपोर्ट होती हैं। ये दस्तावेज़ एक विशाल, घने पुस्तकालय की तरह हैं जहाँ आपके प्रश्न का उत्तर पेज संख्या 247 पर छिपा हो सकता है, जो कानूनी शब्दावली (legal jargon) के एक पैराग्राफ के भीतर दबा हुआ है।
वर्षों तक, इन उत्तरों को खोजना एक जंग लगे चुंबक का उपयोग करके घास के ढेर में सुई खोजने जैसा था। आपको पन्ना-दर-पन्ना पढ़ना पड़ता, आप थक जाते, और संभवतः महत्वपूर्ण विवरण को मिस कर देते।
यह पेपर एक सुपर-स्मार्ट AI असिस्टेंट पेश करता है जिसे आपका डिटेक्टिव पार्टनर बनने के लिए डिज़ाइन किया गया है। यह RAG (Retrieval-Augmented Generation) नामक तकनीक का उपयोग करता है। RAG को एक ऐसे जादुई भविष्यवक्ता के रूप में न सोचें जो सब कुछ जानता है, बल्कि एक ऐसे लाइब्रेरियन के रूप में सोचें जो पहले अलमारियों तक जाता है, सही किताबें उठाता है, और फिर आपका उत्तर लिखने के लिए उन्हें पढ़ता है।
यहाँ इसका सरल विवरण दिया गया है कि उन्होंने इस सिस्टम को कैसे बनाया और उन्होंने क्या खोजा:
1. समस्या: "घास के ढेर में सुई" (The Needle in a Haystack)
वित्तीय रिपोर्ट बहुत बड़ी होती हैं। यदि आप कंप्यूटर से पूछें, "कंपनी X के पास कितना जोखिम है?", तो एक मानक AI केवल उस जानकारी के आधार पर अनुमान लगा सकता है जो उसे अपने प्रशिक्षण (training) से याद है (जो गलत या पुराना हो सकता है)। या, एक साधारण खोज उस पेज को ढूंढ सकती है जिसमें "जोखिम" (risk) का उल्लेख है, लेकिन वह वास्तव में किसी पूरी तरह से अलग प्रकार के जोखिम के बारे में बात कर रहा है।
2. समाधान: एक तीन-चरणीय जासूसी प्रक्रिया
लेखकों ने एक पाइपलाइन बनाई है जो एक हाई-टेक सर्च टीम की तरह काम करती है:
चरण 1: व्यापक खोज (Hybrid Search)
कल्पना करें कि आप भीड़ में किसी विशिष्ट व्यक्ति को ढूंढ रहे हैं। आप एक साथ दो तरीकों का उपयोग करते हैं:- कीवर्ड सर्च (Keyword Search): आप उनका नाम चिल्लाते हैं (जैसे, "एप्पल")। यह सटीक मिलान (exact matches) पाता है।
- सिमेंटिक सर्च (Semantic Search): आप उनके चेहरे का वर्णन करते हैं (जैसे, "लाल टोपी वाला आदमी")। यह उन लोगों को भी ढूंढ लेता है जो आपके वांछित व्यक्ति जैसे दिखते हैं, भले ही आप उनका नाम न जानते हों।
सिस्टम इन दोनों सूचियों को मिलाकर सबसे संभावित 30 पेजों की एक "शॉर्टलिस्ट" बनाता है।
चरण 2: "री-रैंकिंग" (मुख्य आकर्षण)
यही इस पेपर की मुख्य खोज है।
कल्पना करें कि आपकी 30 पेजों की शॉर्टलिस्ट रेज़्यूमे (resumes) का एक ढेर है। एक बुनियादी सिस्टम बस शीर्ष 10 पेज उठा लेता है और AI को पढ़ने के लिए दे देता है।
लेकिन लेखकों ने इसमें एक न्यूरल री-रैंकर (Neural Reranker) जोड़ा है। इसे एक सीनियर एडिटर के रूप में सोचें जो शीर्ष 30 रेज़्यूमे को देखता है और कहता है, "रुको, पेज 12 अच्छा लग रहा है, लेकिन पेज 5 वास्तव में इस विशिष्ट प्रश्न के लिए एकदम सही मैच है। चलिए पेज 5 को ऊपर ले चलते हैं और पेज 28 को हटा देते हैं, जो कि केवल फालतू सामग्री है।"यह "एडिटर" आपके प्रश्न और टेक्स्ट के बीच के संबंध को गहराई से समझने के लिए एक परिष्कृत मॉडल का उपयोग करता है, जिससे शोर (noise) को फ़िल्टर किया जाता है और सबसे अच्छे साक्ष्य को बढ़ावा मिलता है।
चरण 3: उत्तर (Generation)
अंत में, AI केवल सबसे प्रासंगिक पेजों (री-रैंकिंग के बाद के शीर्ष 5-10 पेज) को पढ़ता है और आपके लिए उत्तर लिखता है।
3. प्रयोग: क्या "एडिटर" ने मदद की?
टीम ने वित्तीय विश्लेषकों के 1,500 वास्तविक प्रश्नों पर इसका परीक्षण किया। उन्होंने प्रयोग को दो बार चलाया:
- एडिटर के बिना: केवल व्यापक खोज और शीर्ष 10 पेज।
- एडिटर के साथ: व्यापक खोज, री-रैंकिंग एडिटर, और फिर शीर्ष पेज।
परिणाम नाटकीय थे:
- एडिटर के बिना: सिस्टम केवल 33.5% समय ही उत्तर "मूल रूप से सही" (basically correct) दे पाया। इसने बहुत सी मूर्खतापूर्ण गलतियाँ कीं (35% बार, उत्तर पूरी तरह से गलत था)।
- एडिटर के साथ: "मूल रूप से सही" होने की दर बढ़कर 49.0% हो गई।
- सुधार: यह 15.5 प्रतिशत अंक की वृद्धि है। इससे भी महत्वपूर्ण बात यह है कि पूरी तरह से गलत उत्तरों की संख्या लगभग 13% गिर गई।
4. निष्कर्ष (Takeaway)
यह पेपर साबित करता है कि वित्तीय दस्तावेजों की दुनिया में, आप जानकारी को कैसे चुनते हैं, यह इस बात जितना ही महत्वपूर्ण है कि आप उत्तर कैसे लिखते हैं।
यदि आप एक स्मार्ट AI को गलत पेज पढ़ने के लिए देते हैं, तो वह एक आत्मविश्वासी लेकिन गलत उत्तर देगा (जिसे "hallucination" कहा जाता है)। लेकिन यदि आप एक री-रैंकर का उपयोग एक सख्त फिल्टर के रूप में करते हैं, यह सुनिश्चित करते हुए कि AI केवल सबसे प्रासंगिक पेज पढ़े, तो उत्तर की गुणवत्ता आसमान छू लेती है।
संक्षेप में:
AI को एक शानदार शेफ (chef) के रूप में सोचें।
- री-रैंकिंग के बिना: आप शेफ को 10 रैंडम सामग्रियों की एक टोकरी देते हैं (कुछ ताज़ा, कुछ सड़ी हुई)। शेफ व्यंजन बनाने की कोशिश करता है, लेकिन स्वाद खराब होता है क्योंकि उसमें सड़ी हुई सामग्रियां शामिल हैं।
- री-रैंकिंग के साथ: आपके पास एक 'सू-शेफ' (sous-chef/री-रैंकर) है जो टोकरी का निरीक्षण करता है, खराब चीजों को फेंक देता है, और शेफ को केवल सबसे ताज़ा, बेहतरीन सामग्रियां सौंपता है। परिणामी व्यंजन स्वादिष्ट होता है।
यह शोध हमें बताता है कि वित्तीय विश्लेषण के लिए, उस "सू-शेफ" चरण को जोड़ना विशाल दस्तावेजों से सटीक, विश्वसनीय उत्तर प्राप्त करने की कुंजी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।