Hierarchical Reranking for Scalable Financial RAG System
यह शोधपत्र Hierarchical Reranker को प्रस्तुत करता है, जो एक स्केलेबल RAG फ्रेमवर्क है जो जटिल वित्तीय दस्तावेज़ विश्लेषण के लिए प्री-रिट्रीवल ऑप्टिमाइज़ेशन, एक दो-चरणीय रैंकिंग तंत्र और लॉन्ग-कॉन्टेक्स्ट मैनेजमेंट को एकीकृत करता है ताकि रिट्रीवल की सटीकता और तथ्यात्मक निरंतरता को महत्वपूर्ण रूप से बढ़ाया जा सके, जैसा कि ACM-ICAIF '24 FinanceRAG चैलेंज में इसके शीर्ष प्रदर्शन से प्रमाणित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास एक अकेला अपराध स्थल नहीं, बल्कि लाखों किताबों से भरी एक लाइब्रेरी है, जिनमें से प्रत्येक में हजारों पन्नों का छोटा, भ्रमित करने वाला टेक्स्ट और जटिल चार्ट भरे हुए हैं। यह वित्तीय विश्लेषकों की दैनिक वास्तविकता है जिन्हें 10-K फाइलिंग (बड़ी कंपनियां जो सरकार के पास रिपोर्ट जमा करती हैं) जैसे दस्तावेज़ों से विशिष्ट संख्याएं या तथ्य खोजने के लिए पढ़ना पड़ता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक टूल है जिसे RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है, जो एक सुपर-स्मार्ट लाइब्रेरियन की तरह काम करता है। यह केवल किताबें पढ़ता ही नहीं है; यह उन सटीक पन्नों को खोजने के लिए उन्हें खोजता है जिनकी आपको आवश्यकता है और फिर केवल उसी के आधार पर एक सारांश लिखता है जो इसे मिला है। हालांकि, मानक लाइब्रेरियन इन वित्तीय पुस्तकालयों के विशाल आकार से अभिभूत हो जाते हैं, शब्दों और संख्याओं के मिश्रण से भ्रमित हो जाते हैं, या यदि दस्तावेज़ बहुत लंबे हों तो मनगढ़ंत तथ्य बना लेते हैं। यह पेपर इस समस्या पर प्रहार करता है कि कैसे एक ऐसा लाइब्रेरियन बनाया जाए जो तेज़, सटीक हो और जब काम बहुत बड़ा हो जाए तो विवरणों में न खो जाए।
इस पेपर के लेखक, जूह्युन ली और सुंगवू होंग, एक नया सिस्टम प्रस्तावित करते हैं जिसे Hierarchical Reranker (पदानुक्रमित पुनर्व्य xếpक) कहा जाता है। इस सिस्टम को जासूसों की एक टीम की भर्ती के लिए दो-चरणीय प्रक्रिया के रूप में समझें। एक विशाल, महंगी और धीमी जासूसी करने वाले एक अकेले जासूस को 100,000 पन्नों की किताब का हर एक पन्ना पढ़ने के लिए नियुक्त करने के बजाय, यह सिस्टम "छोटे-और-बड़े" टीम रणनीति का उपयोग करता है। सबसे पहले, एक तेज़, हल्का जासूस (एक छोटा AI मॉडल) पूरी लाइब्रेरी को जल्दी से स्कैन करता है और उन पन्नों को बाहर निकाल देता है जो स्पष्ट रूप से अप्रासंगिक हैं, जिससे ढेर को शीर्ष 100 सबसे आशाजनक पन्नों तक सीमित कर दिया जाता है। फिर, एक अत्यधिक कुशल, विशेषज्ञ जासूस (एक बड़ा, शक्तिशाली AI मॉडल) उन 100 पन्नों पर गहराई से और सावधानी से नज़र डालता है ताकि अंतिम शीर्ष 20 को चुना जा सके जो वास्तव में प्रश्न का उत्तर देते हैं। यह दृष्टिकोण समय और पैसा बचाता है क्योंकि महंगा विशेषज्ञ केवल सबसे संभावित उम्मीदवारों पर कठिन काम करता है, बजाय इसके कि पूरी लाइब्रेरी पर अपनी ऊर्जा बर्बाद करे।
लेकिन सही पन्ने ढूंढना लड़ाई का केवल आधा हिस्सा है। पेपर उन दस्तावेज़ों को संभालने के लिए एक चतुर तरीका भी पेश करता है इससे पहले कि जासूस उन्हें देखना शुरू करें। वित्तीय दस्तावेज़ अव्यवस्थित होते हैं; वे "YoY" (वर्ष-दर-वर्ष) या "EPS" (प्रति शेयर आय) जैसे संक्षिप्त रूपों का उपयोग करते हैं, और वे टेक्स्ट के पैराग्राफों को संख्याओं की विशाल तालिकाओं के साथ मिलाते हैं। सिस्टम का पहला कदम प्रश्न और दस्तावेज़ों को "साफ़" करना है। यह उन भ्रमित करने वाले संक्षिप्त रूपों को पूर्ण शब्दों में बदल देता है, इकाइयों को मानकीकृत करता है (ताकि "1M" और "1,000,000" एक जैसे दिखें), और महत्वपूर्ण रूप से, उन अस्त-व्यस्त तालिकाओं को JSON नामक एक संरचित प्रारूप में परिवर्तित करता है। यह एक हाथ से लिखे गए स्प्रेडशीट को डिजिटल डेटाबेस में बदलने जैसा है ताकि AI इस बारे में भ्रमित न हो कि कौन सी संख्या किस श्रेणी से संबंधित है। यह "प्री-क्लीनिंग" करके, सिस्टम यह सुनिश्चित करता है कि AI खोज शुरू करने से पहले प्रश्न और साक्ष्य को पूरी तरह से समझ ले।
तीसरा प्रमुख तरीका जो लेखक उपयोग करते हैं, वह उन दस्तावेज़ों को संभालने की रणनीति है जो AI की मेमोरी में एक साथ फिट होने के लिए बहुत लंबे हैं। भले ही आधुनिक AI मॉडल भारी मात्रा में टेक्स्ट पढ़ने का दावा करते हैं, पेपर में पाया गया कि जब टेक्स्ट एक निश्चित बिंदु (विशेष रूप से 64,000 टोकन, जो टेक्स्ट की लंबाई का एक माप है) से आगे बढ़ जाता है, तो AI गलतियाँ करने लगता है, विशेष रूप से संख्याओं के मामले में। इसे ठीक करने के लिए, सिस्टम एक विशाल दावत तैयार करने वाले शेफ की तरह काम करता है। पूरे भोजन को एक बार में खाने के बजाय, यह लंबे दस्तावेज़ को दो छोटे, प्रबंधनीय टुकड़ों में काट देता है। यह AI को पहले टुकड़े का विश्लेषण करने और एक ड्राफ्ट उत्तर लिखने के लिए कहता है, फिर दूसरे टुकड़े का विश्लेषण करने और दूसरा ड्राफ्ट लिखने के लिए कहता है। अंत में, एक "फ्यूजन" चरण इन दोनों ड्राफ्ट्स को एक अंतिम उत्तर में जोड़ता है, यह जांचते हुए कि क्या वे सहमत हैं और किसी भी संघर्ष को हल करता है। यह सुनिश्चित करता है कि भले ही दस्तावेज़ 100,000 पन्नों की विशाल रिपोर्ट हो, AI तथ्यों से अपना ध्यान न भटकाए।
जब शोधकर्ताओं ने अपने सिस्टम का परीक्षण कई प्रसिद्ध वित्तीय बेंचमार्क (जैसे FinQA और FinanceBench) पर किया, तो परिणाम प्रभावशाली थे। सिस्टम ने 0.7918 के स्कोर के साथ NDCG@20 नामक मीट्रिक हासिल किया, जो यह मापता है कि सिस्टम सही जानकारी को उसकी सूची के शीर्ष पर कितनी अच्छी तरह रैंक करता है। यह स्कोर उन सिस्टमों की तुलना में काफी बेहतर था जिन्होंने उनके विशेष क्लीनिंग और दो-चरणीय रैंकिंग तरीकों का उपयोग नहीं किया था। वास्तव में, यह दृष्टिकोण इतना प्रभावी था कि इसने टीम को ACM-ICAIF '24 FinanceRAG चैलेंज में दूसरा स्थान दिलाने में मदद की, जो एक ऐसी प्रतियोगिता है जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि AI वित्तीय डेटा को कितनी अच्छी तरह संभाल सकता है। पेपर सुझाव देता है कि डेटा को साफ करने, दो-चरणीय जासूस टीम का उपयोग करने और लंबे दस्तावेज़ों को चतुराई से काटने के इन तीन नवाचारों को जोड़कर, वित्तीय संस्थान अब ऐसे AI सिस्टम बना सकते हैं जो न केवल स्मार्ट हैं, बल्कि ऑडिटिंग और निवेश विश्लेषण जैसे वास्तविक दुनिया के कार्यों के लिए इतने विश्वसनीय भी हैं, बिना इस डर के कि AI मनगढ़ंत तथ्य बनाएगा या शोर में खो जाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।