PRAGMA: Revolut Foundation Model
यह शोध पत्र PRAGMA को प्रस्तुत करता है, जो ट्रांसफॉर्मर-आधारित फाउंडेशन मॉडल्स का एक परिवार है, जिन्हें मास्क किए गए मॉडलिंग के माध्यम से बड़े पैमाने पर, विषम बैंकिंग इवेंट अनुक्रमों पर प्री-ट्रेन किया गया है, जो कच्चे डेटा से सामान्य-उद्देश्य वाले निरूपण (representations) सीखकर क्रेडिट स्कोरिंग और धोखाधड़ी का पता लगाने जैसे विविध वित्तीय कार्यों में उत्कृष्ट प्रदर्शन प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल, अराजक पुस्तकालय की कल्पना करें जहाँ हर किताब एक व्यक्ति के पूरे वित्तीय जीवन का लेखा-जोखा है। ये किताबें व्यवस्थित अनुच्छेदों में नहीं लिखी गई हैं; वे रसीदों, कैलेंडर नोट्स, टेक्स्ट मैसेज, बैंक बैलेंस और खरीदारी की सूचियों का एक मिला-जुला रूप हैं, जो अलग-अलग भाषाओं और प्रारूपों में लिखे गए हैं। कुछ पन्ने गायब हैं, कुछ कोड में लिखे गए हैं, और क्रम हर दिन बदल जाता है।
वर्षों तक, बैंकों ने इन किताबों को समझने के लिए हर सवाल के लिए विशेषज्ञों की एक टीम रखने की कोशिश की। एक टीम किताबों को पढ़ती थी ताकि यह अनुमान लगाया जा सके कि क्या आप ऋण चुका पाएंगे (क्रेडिट स्कोरिंग)। दूसरी टीम चोरी पकड़ने के लिए उन्हें पढ़ती थी (फ्रॉड डिटेक्शन)। तीसरी टीम यह अनुमान लगाने की कोशिश करती थी कि आप आगे क्या खरीदेंगे (प्रोडक्ट रिकमेंडेशन)। प्रत्येक टीम को उन्हीं बिखरे हुए पन्नों को बार-बार मैन्युअल रूप से पढ़ना पड़ता था, अलग-अलग हिस्से हाइलाइट करने पड़ते थे, और अपनी अनूठी फाइलिंग प्रणाली बनानी पड़ती थी। यह धीमा, महंगा था, और वे जो कुछ भी सीखते थे उसे एक-दूसरे के साथ आसानी से साझा नहीं कर पाते थे।
प्रैग्मा (PRAGMA) से मिलिए: "फाइनेंशियल सुपर-रीडर"
रेवोल्ट (Revolut) की टीम ने एक नए प्रकार का AI बनाया जिसे PRAGMA कहा जाता है। इसे केवल एक विशेषज्ञ के रूप में नहीं, बल्कि एक प्रतिभाशाली लाइब्रेरियन के रूप में सोचें जिसने दुनिया की हर वित्तीय किताब पढ़ ली है।
यह कैसे काम करता है, इसके सरल कॉन्सेप्ट यहाँ दिए गए हैं:
1. अनुवादक (टोकनाइजेशन - Tokenization)
वित्तीय डेटा के साथ समस्या यह है कि यह अव्यवस्थित होता है। एक बैंक ट्रांसफर केवल एक वाक्य नहीं है; यह नंबरों, तारीखों, कोडों और टेक्स्ट का मिश्रण है।
- पुराना तरीका: कल्पना करें कि आप एक रसीद को इसलिए पढ़ने की कोशिश कर रहे हैं क्योंकि आप हर नंबर को अक्षरों की एक स्ट्रिंग में बदल रहे हैं (जैसे, "$100" बन गया "डॉलर, एक, शून्य, शून्य")। आप नंबर के आकार के अर्थ को खो देते हैं।
- प्रैग्मा का तरीका: PRAGMA के पास एक विशेष अनुवादक है। यह एक ट्रांजैक्शन को देखता है और कहता है, "आह, यह एक की (Key) है (क्या हुआ?), एक वैल्यू (Value) है (कितना?), और एक टाइम (Time) है (कब?)।" यह एक ट्रांजैक्शन को केवल टेक्स्ट के रूप में नहीं, बल्कि एक संरचित अवधारणा के रूप में देखता है। यह समझता है कि "मेटल प्लान" एक विशिष्ट स्थिति है, न कि केवल कुछ यादृच्छिक शब्द। यह इसे वित्तीय भाषा को बिना किसी भ्रम के धाराप्रवाह रूप से "पढ़ने" में सक्षम बनाता है।
2. दो-मस्तिष्क प्रणाली (आर्किटेक्चर - Architecture)
PRAGMA को दो अलग-अलग "मस्तिष्कों" के साथ डिज़ाइन किया गया है जो एक साथ काम करते हैं:
- मस्तिष्क A (इवेंट एनकोडर - The Event Encoder): यह मस्तिष्क कहानी को पढ़ता है। यह घटनाओं के क्रम को देखता है: "आपने कॉफी खरीदी, फिर आपने पैसे ट्रांसफर किए, फिर आपने अपना बैलेंस चेक किया।" यह आपके जीवन के प्रवाह और समय को समझता है।
- मस्तिष्क B (प्रोफाइल एनकोडर - The Profile Encoder): यह मस्तिष्क संदर्भ (Context) को पढ़ता है। यह उन स्थिर तथ्यों को देखता है जो अक्सर नहीं बदलते: "आप 25 वर्ष के हैं, आप यूके में रहते हैं, और आपके पास एक प्रीमियम मेटल कार्ड है।"
- हिस्ट्री एनकोडर (The History Encoder): यह कंडक्टर (संचालक) है। यह मस्तिष्क A से कहानी लेता है और मस्तिष्क B से संदर्भ लेता है और उन्हें एक साथ मिलाकर यह एक गहरा बोध पैदा करता है कि इस विशिष्ट क्षण में आप कौन हैं।
la 3. प्रशिक्षण पद्धति (मास्क्ड मॉडलिंग - Masked Modelling)
आप कंप्यूटर को बिना उत्तर दिए पैसा समझना कैसे सिखा सकते हैं?
"फाइनेंशियल मैड लिब्स" (Financial Mad Libs) के खेल की कल्पना करें।
- AI को उपयोगकर्ता का इतिहास दिखाया जाता है, लेकिन इसे छूटे हुए हिस्सों का अनुमान लगाना होता है।
- "उपयोगकर्ता ने [खाली स्थान] को [खाली स्थान] पर [खाली स्थान] के लिए पैसे ट्रांसफर किए।"
- AI को खाली स्थानों को भरने के लिए आसपास के संकेतों का उपयोग करना होता है।
- अरबों नकली (लेकिन वास्तविक दिखने वाले) वित्तीय इतिहास पर अरबों बार यह खेल खेलकर, AI मानवीय व्यवहार के छिपे हुए पैटर्न को सीख जाता है। यह सीख जाता है कि जो लोग सप्ताहांत पर बहुत अधिक कॉफी खरीदते हैं, उनका खर्च करने का एक निश्चित पैटर्न हो सकता है, या बैलेंस में अचानक गिरावट के बाद एक विशिष्ट ऐप क्लिक धोखाधड़ी का संकेत दे सकता है।
4. "एक-लिए-सबके-लिए" जादू (डाउनस्ट्रीम टास्क - Downstream Tasks)
एक बार जब PRAGMA पैसे की भाषा सीख जाता है, तो यह एक यूनिवर्सल एडाप्टर बन जाता है।
- पुराना तरीका: फ्रॉड डिटेक्टर बनाने के लिए, आपको शुरुआत से एक नया मॉडल बनाना पड़ता था।
- प्रैग्मा का तरीका: आप "सुपर-रीडर" को लेते हैं, उसके मस्तिष्क को फ्रीज कर देते हैं, और बस उसके ऊपर एक छोटा, सरल "डिसीजन हेड" (Decision Head) लगा देते हैं।
- क्रेडिट स्कोर की भविष्यवाणी करनी है? एक "लोन" हेड लगाएँ।
- फ्रॉड पकड़ना है? एक "चोर" हेड लगाएँ।
- लाइफटाइम वैल्यू का अनुमान लगाना है? एक "प्रॉफिट" हेड लगाएँ।
चूंकि भारी काम (डेटा को समझना) ट्रेनिंग के दौरान पहले ही किया जा चुका था, इसलिए ये नए 'हेड्स' अविश्वसनीय रूप से तेजी से सीखते हैं और पुराने विशेषज्ञ समूहों की तुलना में बेहतर प्रदर्शन करते हैं।
5. परिणाम: यह क्यों मायने रखता है
पेपर ने छह अलग-अलग बैंकिंग कार्यों पर PRAGMA का परीक्षण किया। इसके परिणाम ऐसे थे जैसे एक स्विस आर्मी नाइफ मिल गया हो जो छह अलग-अलग औजारों से बेहतर काम करता है:
- क्रेडिट स्कोरिंग: यह पुराने तरीकों की तुलना में जोखिम भरे उधारकर्ताओं को पहचानने में 130% बेहतर रहा।
- फ्रॉड डिटेक्शन: इसने वैध लेनदेन को कम गलतियां करते हुए, 65% अधिक धोखेबाजों को पकड़ा।
- दक्षता (Efficiency): छह अलग-अलग विशाल मॉडल प्रशिक्षित करने के बजाय, बैंक अब एक विशाल मॉडल प्रशिक्षित करता है और इसका उपयोग हर चीज़ के लिए करता है।
एक कमजोरी
पेपर एक सीमा को स्वीकार करता है: एंटी-मनी लॉन्ड्रिंग (AML)।
PRAGMA एक व्यक्ति की कहानी पढ़ने में माहिर है। लेकिन मनी लॉन्ड्रिंग में अक्सर लोगों का एक नेटवर्क शामिल होता है जो आपस में पैसा इधर-उधर भेजते हैं। यह एक साजिश को सुलझाने की कोशिश करने जैसा है जहाँ आप केवल एक संदिग्ध की डायरी पढ़ रहे हैं; आप संदिग्धों के बीच के कनेक्शन को मिस कर देते हैं। इस विशिष्ट कार्य के लिए, PRAGMA वर्तमान में संघर्ष करता है क्योंकि यह पूरे नेटवर्क को नहीं देख पाता, केवल व्यक्ति को देखता है।
बड़ी तस्वीर (The Big Picture)
PRAGMA "हर काम के लिए एक विशेषज्ञ रखने" से बदलकर "एक ऐसे जीनियस को रखने" की ओर एक बदलाव है जो वे सभी काम कर सकता है। यह हमारे पैसे के उपयोग के अस्त-व्यस्त, अराजक वास्तविकता को लेता है और इसे एक स्पष्ट, समझने योग्य सिग्नल में बदल देता है। यह साबित करता है कि वित्त की कठोर दुनिया में भी, एक फाउंडेशन मॉडल मानवीय व्यवहार के "व्याकरण" को सीख सकता है और लगभग किसी भी समस्या को हल करने के लिए लागू किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।