RT-SIM: A Simulation Framework for Evaluating Large Language Models for Trade Reconstruction and Reconciliation in Financial Operations
यह शोध पत्र RT-SIM प्रस्तुत करता है, जो एक ऐसा सिमुलेशन फ्रेमवर्क है जो यह प्रदर्शित करता है कि फ्रंटियर लार्ज लैंग्वेज मॉडल्स वित्तीय समाधान (रिकॉन्सिलिएशन) के लिए ट्रेडर संचार से ट्रेडों को प्रभावी ढंग से पुनर्गठित कर सकते हैं, बशर्ते कि संवाद स्पष्ट हो या केवल शोर युक्त हो, हालांकि अस्पष्ट या अर्थ संबंधी रूप से क्षीण स्थितियों में प्रदर्शन काफी घट जाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वित्तीय दुनिया की कल्पना एक विशाल, तेज़ गति वाले ट्रेडिंग कार्ड्स के खेल के रूप में करें, लेकिन यहाँ कागज़ के कार्डों के बजाय, लोग हर सेकंड अरबों डॉलर की डिजिटल संपत्तियों की अदला-बदली कर रहे हैं। इस अराजक अखाड़े में, दो चीजें अत्यंत महत्वपूर्ण हैं: यह सुनिश्चित करना कि आपके पास वास्तव में वे कार्ड हैं जो आप समझते हैं, और यह सुनिश्चित करना कि आपका प्रतिद्वंद्वी गुप्त रूप से नकली कार्डों का डेक नहीं पकड़े हुए है। यह "ट्रेड रिकॉन्सिलिएशन" (व्यापार मिलान) का काम है, जो कि एक फैंसी शब्द है जिसका अर्थ है यह दोबारा जांचना कि आपने जो व्यापार किया है वह उस व्यापार से मेल खाता है जिसे कंप्यूटर ने रिकॉर्ड किया है। आमतौर पर, यह संख्याओं की दो सूचियों की तुलना करके किया जाता है। लेकिन यहाँ एक मोड़ है: ट्रेडर्स केवल कंप्यूटर में नंबर टाइप नहीं करते; वे एक-दूसरे से बात करते हैं। वे चैट करते हैं, मज़ाक करते हैं, बहस करते हैं, और कभी-कभी भ्रमित भी हो जाते हैं। दशकों तक, इन बातचीत को सुरक्षा प्रणालियों द्वारा अनदेखा किया गया क्योंकि उन्हें पढ़ना बहुत कठिन था। अब, एक नए प्रकार का कंप्यूटर मस्तिष्क जिसे 'लार्ज लैंग्वेज मॉडल' (LLM) कहा जाता है, आ गया है। एक LLM को एक सुपर-स्मार्ट, अथक इंटर्न के रूप में सोचें जो हजारों बिखरी हुई बातचीत को पढ़ सकता है और यह समझने की कोशिश कर सकता है कि वास्तव में कौन सा व्यापार हुआ था, भले ही ट्रेडर्स एक-दूसरे के ऊपर बोल रहे हों या स्लैंग (बोलचाल की भाषा) का उपयोग कर रहे हों। बड़ा सवाल यह है: क्या यह सुपर-इंटर्न वास्तव में यह काम कर सकता है, या यह शोर में खो जाएगा?
यही वह चीज़ है जिसे मार्टिन हिगिंस और मैकेंजी कॉमन ने अपने पेपर, "RT-SIM" में पता लगाने की कोशिश की। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इन AI दिमागों को एक नियंत्रित वातावरण में परखने के लिए RT-SIM नामक एक वीडियो गेम जैसा सिमुलेशन बनाया। कल्पना कीजिए कि उन्होंने एक वर्चुअल ट्रेडिंग फ्लोर बनाया जहाँ वे ट्रेडर्स को सटीक, थोड़े विचलित, पूरी तरह से भ्रमित, या यहाँ तक कि पूरी तरह से निरर्थक (gibberish) बोलने के लिए प्रोग्राम कर सकते थे। फिर, उन्होंने विभिन्न AI मॉडलों से इन चैट्स को सुनने और सुने गए ट्रेडों को लिखने के लिए कहा।
परिणाम आश्चर्यजनक रूप से स्पष्ट थे। जब ट्रेडर्स स्पष्ट रूप से बोलते थे, तो AI अद्भुत था। GPT-4o-mini और Claude Haiku 4.5 जैसे मॉडल 95% से अधिक सटीकता के साथ ट्रेडों का पुनर्निर्माण कर सके, भले ही ट्रेडर्स मौसम या लंच के बारे में बहुत सारी अप्रासंगिक बातें कर रहे हों। यह पता चलता है कि AI "शोर" को अनदेखा करने और मुख्य संकेत (signal) को खोजने में माहिर है। हालाँकि, जिस क्षण ट्रेडर्स पहेलियों में बोलने लगे, खुद का खंडन करने लगे, या भ्रमित होने लगे, AI का प्रदर्शन गिर गया। "भ्रमित" (confused) परिदृश्य में, कुछ मॉडलों के लिए सटीकता लगभग पूर्ण से गिरकर 10% से भी कम रह गई। और जब ट्रेडर्स ने पूरी तरह से निरर्थक बातें कीं, तो AI ने कुछ भी मनगढ़ंत बनाने की कोशिश नहीं की; इसने सीधे तौर पर स्वीकार कर लिया कि उसे शून्य ट्रेड मिले, जो वास्तव में एक अच्छी बात है क्योंकि इसका मतलब है कि AI हवा में फर्जी सौदे नहीं बना रहा है।
शोधकर्ताओं ने लागत और गति को भी देखा। उन्होंने पाया कि इन AI मॉडलों का उपयोग करना अविश्वसनीय रूप से सस्ता है—लगभग 2.00 में 10,000 ट्रेड प्रोसेस कर सकते हैं। गति भी वास्तविक समय (real-time) में उपयोगी होने के लिए पर्याप्त तेज़ थी। मुख्य निष्कर्ष यह नहीं है कि AI ने सभी वित्तीय समस्याओं को हल कर दिया है, बल्कि यह कि यह एक शक्तिशाली नए उपकरण का सुझाव देता है: यदि हम ट्रेडर्स की बातचीत को सुन सकें, तो हम आज की तुलना में गलतियों या यहाँ तक कि धोखाधड़ी को बहुत तेज़ी से पकड़ सकते हैं। हालाँकि, अध्ययन चेतावनी देता है कि यह उपकरण तभी काम करता है जब बातचीत वास्तव में समझ में आने योग्य हो। यदि ट्रेडर्स बहुत अस्पष्ट या विरोधाभासी हैं, तो AI मदद नहीं कर सकता। इसलिए, जबकि तकनीक तैयार और सस्ती है, यह पूरी तरह से उस मानवीय बातचीत की गुणवत्ता पर निर्भर करती है जिसे यह डिकोड करने की कोशिश कर रही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।