FinRAG-12B: A Production-Validated Recipe for Grounded Question Answering in Banking
FinRAG-12B एक प्रोडक्शन-वैलिडेटेड, डेटा-एफिशिएंट 12B-पैरामीटर फ्रेमवर्क है जो एक विशिष्ट प्रशिक्षण पाइपलाइन को कैलिब्रेटेड रिफ्यूज़ल मैकेनिज्म के साथ जोड़ता है ताकि 40 से अधिक वित्तीय संस्थानों के लिए अत्यधिक सटीक, ग्राउंडेड और लागत प्रभावी प्रश्न उत्तर प्रदान किया जा सके, जो साइटेशन गुणवत्ता और क्वेरी रेजोल्यूशन में GPT-4.1 से बेहतर प्रदर्शन करता है और साथ ही लेटेंसी और परिचालन लागत को काफी कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बैंक के लिए एक नया सहायक नियुक्त कर रहे हैं। आपको एक ऐसा व्यक्ति चाहिए जो अविश्वसनीय रूप से बुद्धिमान हो, बैंक के नियमों को पूरी तरह से जानता हो, और—सबसे महत्वपूर्ण बात—कभी भी मनगढ़ंत बातें न करे। यदि उसे उत्तर नहीं पता है, तो उसे अनुमान लगाने और आपको गलत वित्तीय सलाह देने के बजाय, "मुझे नहीं पता" कहना चाहिए, जिससे बैंक मुसीबत में पड़ सकता है।
यह शोध पत्र FinRAG-12B को पेश करता है, जो विशेष रूप से इसी काम के लिए डिज़ाइन किया गया एक विशेषज्ञ AI सहायक है। इसे बनाने का तरीका और यह क्यों काम करता है, इसे सरल भाषा में यहाँ समझाया गया है।
समस्या: एक "अत्यधिक सहमत होने वाला" सहायक
मानक AI मॉडल (जैसे वे जिनसे आप ऑनलाइन चैट करते हैं) कहानियाँ लिखने या कोडिंग करने में बहुत अच्छे होते हैं, लेकिन बैंकिंग में उनकी एक बुरी आदत है: वे खुश करने के लिए बहुत अधिक उत्सुक होते हैं। यदि आप उनसे ऐसा प्रश्न पूछते हैं जिसका उत्तर उन्हें अपनी याददाश्त से नहीं पता, तो वे अक्सर एक विश्वसनीय लगने वाला उत्तर बना देते हैं। एक बैंक में, यह खतरनाक है। यदि कोई ग्राहक बंधक (mortgage) दंड के बारे में पूछता है और AI गलत अनुमान लगा लेता है, तो इससे मुकदमेबाजी या धन की हानि हो सकती है।
समाधान: एक स्मार्ट, ईमानदार सहायक के लिए एक "नुस्खा"
टीम ने एक 12-बिलियन-पैरामीटर वाला AI (इसे एक बहुत बड़े, लेकिन विशाल नहीं, मस्तिष्क के रूप में सोचें) बनाया और इन समस्याओं को ठीक करने के लिए एक विशिष्ट "नुस्खे" का उपयोग करके इसे प्रशिक्षित किया। उन्होंने इसे केवल डेटा का एक बड़ा ढेर नहीं दिया; उन्होंने इसे तीन विशिष्ट कौशल सिखाने के लिए एक उच्च-गुणवत्ता वाला, छोटा डेटासेट (केवल 143 मिलियन "टोकन" या शब्द) तैयार किया:
1. "साइटेशन" कौशल (अपना काम दिखाना)
कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। एक सामान्य AI केवल उत्तर लिख सकता है। FinRAG-12B को इस तरह प्रशिक्षित किया गया है जैसे कि वह एक छात्र हो जिसे अपना काम दिखाना अनिवार्य हो।
- उन्होंने यह कैसे किया: उन्होंने एक प्रशिक्षण पाइपलाइन बनाई जहाँ AI को केवल दिए गए विशिष्ट दस्तावेजों (जैसे बैंक की नीति नियमावली) का उपयोग करके प्रश्नों के उत्तर देने के लिए कहा गया।
- परिणाम: जब AI उत्तर देता है, तो वह दस्तावेज़ के उस सटीक वाक्य की ओर संकेत करता है जो उसके उत्तर का समर्थन करता है। इसने यह सीखना सीखा कि केवल अनुमान लगाने के बजाय, यह कहना: "नीति के पृष्ठ 4 के अनुसार, शुल्क $50 है।" परीक्षणों में, यह सबसे उन्नत व्यावसायिक AI मॉडलों से भी बेहतर था।
2. "ईमानदारी" कौशल (कब रुकना है, यह जानना)
यह सबसे महत्वपूर्ण हिस्सा है। टीम ने महसूस किया कि यदि किसी AI को केवल उन प्रश्नों पर प्रशिक्षित किया जाता है जिनके उत्तर वह दे सकता है, तो वह कभी यह नहीं सीख पाएगा कि "मुझे नहीं पता" कब कहना है।
- उपमा: कल्पना कीजिए कि एक शिक्षक केवल उन प्रश्नों को पूछता है जिनका उत्तर छात्र को पता है। छात्र कभी भी अज्ञानता स्वीकार करना नहीं सीख पाएगा।
- सुधार: टीम ने जानबूझकर AI को 22% ऐसे प्रश्न दिए जहाँ उत्तर प्रदान किए गए दस्तावेजों में मौजूद नहीं थे। उन्होंने इसे सिखाया कि इन मामलों में, सही उत्तर "मुझे नहीं पता" है।
- परिणाम: AI ने "कैलिब्रेटेड" होना सीख लिया। जब वह अनिश्चित होता है, तो वह उत्तर देने से मना कर देता है (12% समय), जो कि बेस मॉडल (जो 95% बार अनुमान लगाता था) की तुलना में बहुत सुरक्षित है और अन्य मॉडलों की तुलना में कम कष्टदायक है (जो 20% बार मना कर देते हैं) जो बहुत अधिक बार मना कर देते हैं।
3. "करिकुलम" लर्निंग (AI को स्कूली शिक्षा देना)
उन्होंने सारा डेटा एक साथ AI पर नहीं डाला। उन्होंने एक "करिकुलम" दृष्टिकोण का उपयोग किया, जैसे कि एक स्कूली प्रणाली:
- चरण 1 (सामान्य स्कूल): उन्होंने AI को ओपन-सोर्स डेटा का उपयोग करके सामान्य वित्तीय भाषा सिखाई। इसने इसे एक ठोस आधार दिया।
- चरण 2 (विशेष प्रशिक्षण): फिर, उन्होंने इसे वास्तविक, निजी बैंकिंग बातचीत और विशिष्ट नियमों से परिचित कराया।
- यह क्यों मायने रखता है: यदि वे इन दोनों प्रकार के डेटा को बेतरतीब ढंग से मिला देते, तो AI भ्रमित हो जाता और खराब प्रदर्शन करता। चरणों में सिखाकर, इसने पहले नियमों को सीखा, फिर उन्हें वास्तविक जीवन में लागू करना सीखा।
वास्तविक दुनिया के परिणाम: "लाइव टेस्ट"
लेखकों ने केवल लैब में इसका परीक्षण नहीं किया; उन्होंने इसे 40+ वित्तीय संस्थानों में तैनात किया। यहाँ क्या हुआ:
- अधिक प्रश्न हल हुए: नया AI पुराने सिस्टम की तुलना में बिना किसी मानवीय हस्तक्षेप के ग्राहकों के 7.1% अधिक प्रश्नों का सफलतापूर्वक उत्तर देने में सक्षम रहा।
- गति और लागत: यह शीर्ष-स्तरीय व्यावसायिक AI API का उपयोग करने की तुलना में 3 से 5 गुना तेज़ है। इससे भी महत्वपूर्ण बात यह है कि इसे चलाना 20 से 50 गुना सस्ता है।
- उपमा: पुराने व्यावसायिक AI का उपयोग करना किराने की दुकान तक छोटी यात्रा के लिए निजी जेट लेने जैसा है। FinRAG-12B एक भरोसेमंद, कुशल इलेक्ट्रिक कार चलाने जैसा है। यह आपको बहुत कम कीमत में वहां तेजी से पहुँचा देता है।
- ग्राहक प्रसन्नता: हालांकि व्यक्तिगत उत्तरों की गुणवत्ता में बहुत बड़ा बदलाव नहीं आया, लेकिन ग्राहक कुल मिलाकर अधिक खुश थे क्योंकि उनके अधिक प्रश्न सफलतापूर्वक हल हो पाए।
सारांश
FinRAG-12B एक विशेष बैंकिंग AI है जिसे ईमानदार, ठोस और कुशल होने के लिए प्रशिक्षित किया गया है। इसे अपने स्रोतों का हवाला देने और यह बताने के लिए कि उसे उत्तर नहीं पता, सिखाकर, लेखकों ने एक ऐसी प्रणाली बनाई है जो बैंकों के लिए सुरक्षित है, चलाने में सस्ती है, और "ऑफ-द-शेल्फ" विकल्पों की तुलना में वास्तव में अधिक ग्राहक समस्याओं को हल करती है।
सीमाओं पर नोट: लेखक सावधानी बरतते हुए कहते हैं कि यह विशेष रूप रूप से बैंकिंग प्रश्नों (जैसे ऋण और खाते) पर परीक्षण किया गया था। वे यह दावा नहीं करते कि यह स्टॉक ट्रेडिंग या बीमा के लिए भी काम करता है, और गोपनीयता कानूनों के कारण वे अपना निजी प्रशिक्षण डेटा साझा नहीं कर सके, हालांकि उन्होंने अपने सार्वजनिक प्रशिक्षण तरीकों को साझा किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।