X-FCA: Diagnosing Explanatory Decoupling in Financial Information Systems via Counterfactual XAI and Conformal Prediction

आधुनिक वित्त की उच्च गति वाली दुनिया में, कंप्यूटर ट्रेडिंग निर्णयों के लिए प्राथमिक आँखें और कान बन गए हैं। ये प्रणालियाँ बाजार के मिजाज को समझने के लिए सोशल मीडिया, समाचार फीड और वित्तीय रिपोर्टों के विशाल टेक्स्ट महासागरों को स्कैन करती हैं। जब मिजाज आशावादी लगता है, तो एल्गोरिदम खरीद सकते हैं; जब यह भयभीत लगता है, तो वे बेच सकते हैं। वर्षों से, यह आंकने का मानक तरीका कि क्या ये कंप्यूटर प्रोग्राम अच्छी तरह से काम कर रहे हैं, उनकी सटीकता की जांच करना था: क्या उन्होंने अधिकांश समय सही भावना का अनुमान लगाया? यदि एक प्रणाली सौ में से अस्सी प्रतिशत बार सही उत्तर देती थी, तो उसे सफल माना जाता था। हालाँकि, इस पद्धति में एक अंध बिंदु (blind spot) है। यह हमें परिणाम तो बताता है, लेकिन यह नहीं बताता कि कंप्यूटर उस निष्कर्ष तक कैसे पहुँचा। यह संभव है कि एक मशीन गलत कारणों से सही उत्तर प्राप्त करे, शब्दों के वास्तविक अर्थ को समझने के बजाय दृश्य युक्तियों या सतही पैटर्न पर निर्भर हो। यह एक ऐसे क्षेत्र में एक खतरनाक अंतर है जहाँ एक गलत समझा गया संकेत भारी वित्तीय नुकसान को ट्रिगर कर सकता है।

शोधकर्ताओं की एक टीम ने वित्तीय आर्टिफिशियल इंटेलिजेंस की इस छिपी हुई कमजोरी को उजागर करने के लिए हाथ मिलाया। उन्होंने कंप्यूटर मॉडल के एक विशिष्ट प्रकार पर ध्यान केंद्रित किया जिसे वित्तीय ट्वीट्स पढ़ने के लिए डिज़ाइन किया गया था, जो एक ऐसा कार्य है जिसमें संक्षिप्त, शोर भरे और अक्सर भावनात्मक संदेशों की व्याख्या करना शामिल है। इन संदेशों में अक्सर इमोजी का उपयोग किया जाता है—जैसे रॉकेट या गिरते हुए चार्ट जैसे छोटे चित्र—जो बाजार की दिशा को व्यक्त करते हैं। शोधकर्ताओं को संदेह था कि कंप्यूटर मॉडल वास्तव में इन प्रतीकों के अर्थ को नहीं पढ़ रहे हैं, बल्कि वे केवल उनकी उपस्थिति पर प्रतिक्रिया दे रहे हैं, उन्हें अर्थपूर्ण संकेतों के बजाय केवल दृश्य एंकर (visual anchors) के रूप में मान रहे हैं। इसका परीक्षण करने के लिए, उन्होंने X-FCA नामक एक नैदानिक उपकरण बनाया। इस उपकरण ने न केवल कंप्यूटर से यह नहीं पूछा कि वह क्या सोचता है; बल्कि इसने कंप्यूटर से टेक्स्ट के विशिष्ट हिस्सों को सावधानीपूर्वक हटाने के बाद अपने विचारों पर पुनर्विचार करने को कहा। कंप्यूटर के मूल निर्णय की उसके इमोजी हटाने के बाद के निर्णय के साथ तुलना करके, टीम यह देख सकती थी कि क्या मॉडल वास्तव में वित्तीय समाचार को समझ रहा था या केवल चित्रों पर प्रतिक्रिया दे रहा था।

जांच लगभग 1,80,000 वित्तीय माइक्रोब्लॉग्स के विशाल संग्रह के साथ शुरू हुई, जो क्रिप्टोकरेंसी चर्चाओं, पारंपरिक बैंकिंग समाचारों और संस्थागत रिपोर्टों से लिए गए थे। शोधकर्ताओं ने इन टेक्स्ट को विशेष रूप से वित्त के लिए प्रशिक्षित एक परिष्कृत भाषा मॉडल में डाला। फिर उन्होंने नियंत्रित प्रयोगों की एक श्रृंखला आयोजित की। एक परिदृश्य में, उन्होंने जानबूझकर और व्यवस्थित तरीके से टेक्स्ट से इमोजी हटा दिए। दूसरे में, उन्होंने यादृच्छिक (random) अक्षर या शब्द हटाए यह देखने के लिए कि क्या मॉडल केवल वाक्य की लंबाई के प्रति संवेदनशील है। परिणाम चौंकाने वाले थे। जब इमोजी हटा दिए गए, तो कंप्यूटर ने सौ में से लगभग सात बार बाजार की भावना के बारे में अपना विचार बदल लिया। जब यादृच्छिक अक्षर हटाए गए, तो कंप्यूटर ने सौ में से केवल ढाई बार अपना विचार बदला। इस अंतर ने साबित कर दिया कि मॉडल के निर्णय इमोजी की दृश्य उपस्थिति पर अत्यधिक निर्भर थे, न कि बाजार का वर्णन करने वाले वास्तविक शब्दों पर।

गहराई से जांच करने पर, शोधकर्ताओं ने पाया कि कंप्यूटर इन छवियों को कैसे संसाधित करता है, इसमें एक संरचनात्मक दोष था। मॉडल द्वारा ट्वीट के अर्थ का विश्लेषण शुरू करने से पहले ही, एक घटक जिसे 'टोकेनाइज़र' (tokenizer) कहा जाता है, टेक्स्ट को छोटे टुकड़ों में तोड़ देता है। शोधकर्ताओं ने पाया कि यह टोकेनाइज़र विशिष्ट वित्तीय इमोजी को पहचानने में विफल रहा। एक रॉकेट को बढ़ते बाजार के प्रतीक या गिरती हुई बूंद को गिरते बाजार के प्रतीक के रूप में देखने के बजाय, सिस्टम ने इन प्रत्येक विशिष्ट छवियों को एक ही सामान्य "अज्ञात" (unknown) प्रतीक में बदल दिया। इसका अर्थ था कि कंप्यूटर ने यह समझने से पहले ही कि इमोजी तेजी या मंदी का है, सारा विशिष्ट विवरण खो दिया था। वह केवल टेक्स्ट में अज्ञात प्रतीकों की संख्या के साथ रह गया था। फलस्वरूप, मॉडल ने शब्दों के अर्थ के बजाय इन प्रतीकों के घनत्व (density) के आधार पर निर्णय लेना सीख लिया। यदि किसी ट्वीट में तीन या अधिक ऐसे सामान्य प्रतीक होते थे, तो कंप्यूटर का आत्मविश्वास अप्रत्याशित रूप से बढ़ जाता था, जिससे त्रुटियों में भारी वृद्धि होती थी। शोधकर्ताओं ने इस घटना को "टोकेनाइज़र ब्लाइंडनेस" (tokenizer blindness) कहा।

इसे ठीक करने के लिए, टीम ने एक प्रशिक्षण पद्धति पेश की जिसे उन्होंने "टीकाकरण" (vaccination) के एक रूप के रूप में वर्णित किया। उन्होंने समस्याग्रस्त ट्वीट्स को लिया, इमोजी हटा दिए, और कंप्यूटर को सही उत्तर के साथ साफ टेक्स्ट दिखाया। इस प्रक्रिया ने इमोजी की उपस्थिति और कंप्यूटर के आत्मविश्वास के स्तर के बीच के मिथ्या संबंध को हटा दिया। परिणामों ने दिखाया कि टीकाकृत (vaccinated) मॉडल बहुत अधिक स्थिर हो गया। जब इसके इनपुट से इमोजी हटा दिए गए, तो यह अब घबराता नहीं था या उतनी बार अपना विचार नहीं बदलता था। हालाँकि, एक आश्चर्यजनक और महत्वपूर्ण खोज सामने आई। जबकि मॉडल अधिक मजबूत और इमोजी द्वारा ठगे जाने की कम संभावना वाला बन गया था, जिस तरह से यह टेक्स्ट के भीतर के शब्दों पर ध्यान देता था, वह नहीं बदला। कंप्यूटर अभी भी उन्हीं शब्दों पर ध्यान केंद्रित कर रहा था जिन पर वह पहले ध्यान केंद्रित करता था। इसने दृश्य युक्ति को अनदेखा करना सीख लिया था, लेकिन इसने भाषा को समझने के अपने मौलिक तरीके को नहीं बदला था।

शोधकर्ताओं ने इस घटना को "एक्सप्लेनेटरी डिकपलिंग" (explanatory decoupling) नाम दिया। इसका अर्थ है कि एक कंप्यूटर सिस्टम को वास्तव में अधिक बुद्धिमान या अर्थपूर्ण बनाए बिना अधिक विश्वसनीय और त्रुटियों के प्रति कम संवेदनशील बनाया जा सकता है। एक मॉडल विजुअल शॉर्टकट से बचना सीख सकता है, फिर भी उसकी आंतरिक तर्क प्रक्रिया बिल्कुल वैसी ही रहती है। यह सामान्य धारणा को चुनौती देता है कि यदि किसी मॉडल के अनुमान अधिक स्थिर हो जाते हैं, तो उसके स्पष्टीकरण भी अधिक सत्य होने चाहिए। अध्ययन ने दिखाया कि स्थिरता और समझ अलग-अलग चीजें हैं। एक प्रणाली गहन (deep) हुए बिना भी मजबूत (robust) हो सकती है। वास्तविक विश्वसनीयता सुनिश्चित करने के लिए, शोधकर्ताओं ने तर्क दिया कि वित्तीय प्रणालियों को केवल सटीकता स्कोर या स्थिर भविष्यवाणियों से अधिक की आवश्यकता है। उन्हें अनिश्चितता को मापने के तरीके की आवश्यकता है जो इन छिपे हुए दोषों को ध्यान में रखे। अपने नैदानिक उपकरण को मॉडल के भविष्यवाणियों के आत्मविश्वास की गणना करने वाले तरीके के साथ जोड़कर, उन्होंने एक सुरक्षा जाल बनाया। यह प्रणाली फ्लैग (flag) कर सकती है कि मॉडल कब अनिश्चित है, भले ही मॉडल स्वयं इसे स्वीकार न कर रहा हो, जो स्वचालित ट्रेडिंग प्रणालियों के लिए सुरक्षा की एक महत्वपूर्ण परत प्रदान करता है।

इस कार्य के निहितार्थ केवल एक विशिष्ट कंप्यूटर प्रोग्राम को ठीक करने से परे हैं। यह एक मौलिक भेद्यता (vulnerability) को प्रकट करता है कि कैसे आर्टिफिशियल इंटेलिजेंस इंटरनेट की दृश्य भाषा के साथ संपर्क करता है। एल्गोरिद्मिक ट्रेडिंग के उच्च-दांव वाले वातावरण में, जहाँ निर्णय मिलीसेकंड में लिए जाते हैं, एक ऐसी प्रणाली जो अर्थ के बजाय दृश्य घनत्व पर निर्भर करती है, एक टिकिंग टाइम बम है। एक हमलावर तटस्थ या नकारात्मक संदेश में इमोजी का एक समूह जोड़कर आसानी से बाजार संकेतों में हेरफेर कर सकता है, जिससे कंप्यूटर को झूठी आशावाद की भावना में फंसाया जा सकता है। शोधकर्ताओं ने प्रदर्शित किया कि यह हमला निष्पादित करने में सरल है और अपरिपक्व प्रणालियों के खिलाफ विनाशकारी रूप से प्रभावी है। उनका कार्य सुझाव देता है कि भरोसेमंद वित्तीय AI के भविष्य के लिए इन प्रणालियों को कैसे बनाया और ऑडिट किया जाता है, इसके प्रति एक नए दृष्टिकोण की आवश्यकता है। केवल ऐसे मॉडल बनाना पर्याप्त नहीं है जो सही उत्तर प्राप्त करते हैं; उन्हें प्रतीकों के पीछे के अर्थ को समझने के लिए बनाया जाना चाहिए, जिससे यह सुनिश्चित हो सके कि उनका आत्मविश्वास वास्तविकता पर आधारित है न कि उनके प्रशिक्षण डेटा के आकस्मिक पैटर्न पर।