DFAH-Bench: Benchmarking Observable Agent Instability in Financial Decision-Making
DFAH-Bench एक नया बेंचमार्किंग फ्रेमवर्क पेश करता है जो वित्तीय एआई एजेंटों का मूल्यांकन न केवल निर्णय की शुद्धता द्वारा, बल्कि उनके अवलोकन योग्य निष्पादन पथों (execution paths) की स्थिरता और निष्ठा को मापकर करता है, जो अंतिम निर्णय सुसंगत रहने पर भी टूल के उपयोग और तर्क प्रक्षेपवक्र (reasoning trajectories) में महत्वपूर्ण विसंगतियों को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादूगर को कार्ड का जादू दिखाते हुए देख रहे हैं। यदि जादूगर अपनी आस्तीन से हुकुम का इक्का (Ace of Spades) निकालता है, तो आप शायद कहेंगे, "शानदार जादू!" और आगे बढ़ जाएंगे। लेकिन क्या होगा अगर, अगली बार वे ठीक वही इक्का अपनी टोपी की एक छिपी हुई जेब से निकाल लें? या क्या होगा अगर वे एक अलग तरह से फेंटे गए डेक से, हाथ की एक अलग कलाकारी (sleight of hand) का उपयोग करके वही इक्का निकालें? एक साधारण दर्शक के लिए, परिणाम समान है: एक इक्का प्रकट हुआ। लेकिन एक जासूस के लिए, तरीका उतना ही महत्वपूर्ण है जितना कि जादू। यह "AI एजेंट सेफ्टी" नामक एक नए क्षेत्र का मूल है। यह केवल इस बारे में नहीं है कि कंप्यूटर सही उत्तर देता है या नहीं; यह इस बारे में भी है कि क्या वह हर बार उसी तरीके से वहां तक पहुँचता है। वित्त (finance) की उच्च-दांव वाली दुनिया में, जहाँ कंप्यूटर पैसे, सुरक्षा और नियमों के बारे में निर्णय लेते हैं, संयोग से या एक अराजक प्रक्रिया द्वारा सही उत्तर प्राप्त करना खतरनाक है। यदि एक रोबोट बैंकर आज आपके क्रेडिट स्कोर की जांच करके ऋण स्वीकृत करता है और कल आपका पसंदीदा रंग जानकर उसे स्वीकृत कर देता है, तो परिणाम तो समान है, लेकिन प्रक्रिया टूटी हुई है। हमें यह जानने की आवश्यकता है कि क्या हमारे डिजिटल सहायक विश्वसनीय, सुसंगत और अपने काम करने के तरीके के बारे में ईमानदार हैं।
IBM के शोधकर्ताओं की एक टीम ने DFAH-Bench नामक एक नए टूल के साथ इसी की जांच करने का निर्णय लिया। इस टूल को AI एजेंटों के लिए एक "रीप्ले कैमरा" के रूप में समझें। केवल अंतिम टेस्ट स्कोर को ग्रेड देने के बजाय, DFAH-Bench AI को बार-बार टेस्ट देते हुए देखता है, हर एक कदम, उसके द्वारा चुने गए हर टूल और उसके द्वारा देखे गए सबूत के हर टुकड़े को रिकॉर्ड करता है। शोधकर्ता एक सरल लेकिन डरावने सवाल का जवाब देना चाहते थे: यदि आप AI को बिल्कुल वही वित्तीय कार्य और बिल्कुल वही सेटिंग्स दें, तो क्या वह उत्तर तक पहुँचने के लिए बिल्कुल एक ही रास्ता अपनाएगा?
उनका उत्तर कुछ ऐसा है जैसे यह पता चलना कि जबकि आपका GPS हमेशा कहता है "बाएं मुड़ें," कभी-कभी यह आपको एक पार्क से ले जाता है, कभी-कभी निर्माण क्षेत्र (construction zone) से, और कभी-कभी बाएं मुड़ने से पहले यह बस गोल-गोल घूमता रहता है। शोधकर्ताओं ने हजारों सिमुलेशन चलाए जहाँ AI एजेंट वित्तीय कर्मचारी के रूप में कार्य कर रहे थे, जैसे कि यह जांचना कि क्या किसी ग्राहक के साथ व्यापार करना सुरक्षित है या डेटा त्रुटियों को ठीक करना। उन्होंने पाया कि जबकि AI एजेंट अंतिम निर्णय पर 94% से 95% बार सहमत थे, वहां तक पहुँचने का तरीका पूरी तरह से अलग-अलग था। वास्तव में, उनके द्वारा उपयोग किए गए विशिष्ट उपकरण और उनके उपयोग का क्रम केवल लगभग 67% समय ही मेल खाता था।
यहाँ मोड़ यह है: AI अक्सर अंतिम निर्णय पर "एकमत" था लेकिन यात्रा में "अराजक" था। एक विशिष्ट समूह के परीक्षणों में, AI ने एक समस्या को "एस्केलेट" (जैसे मानव प्रबंधक को बुलाना) करने का निर्णय हर बार लिया। लेकिन जब शोधकर्ताओं ने लॉग्स (logs) को देखा, तो उन्होंने पाया कि उन मामलों में से लगभग 25% में, AI उस निर्णय तक पहुँचने के लिए पूरी तरह से अलग सेट टूल्स का उपयोग कर रहा था। कभी-कभी इसने ग्राहक का इतिहास जांचा; अन्य समय में इसने सीधे जोखिम स्कोर (risk score) पर छलांग लगा दी। कभी-कभी इसने प्रतिबंधों (sanctions) की जांच की, और कभी-कभी नहीं। अंतिम लेबल समान था, लेकिन लेबल के पीछे का "काम" अदृश्य और असंगत था।
यह शोध पत्र तर्क देता है कि यह एक बड़ी समस्या है क्योंकि वित्त में, परिणाम के साथ-साथ प्रक्रिया भी उतनी ही महत्वपूर्ण है। यदि कोई AI एक दिन आवश्यक नियमों की जांच किए बिना एक लेनदेन को मंजूरी देता है, लेकिन अगले दिन उसकी जांच करता है, तो वह आज भाग्यशाली हो सकता है लेकिन कल आपदा का कारण बन सकता है। शोधकर्ता इसे "परिणाम-मात्र परीक्षण" (outcome-only testing) का "ब्लाइंड स्पॉट" कहते हैं: यदि आप केवल अंतिम गंतव्य को देखते हैं, तो आप बिखरे हुए, बदलते रास्ते को नहीं देख सकते। उन्होंने यह भी पाया कि जब उन्होंने AI को अधिक सटीक होने के लिए मजबूर किया—केवल यह रिकॉर्ड करने के लिए नहीं कि उसने किस टूल का उपयोग किया, बल्कि यह भी कि उसने वास्तव में किस डेटा को देखा और किन तर्कों (arguments) का उपयोग किया—तो सहमति और भी कम होकर लगभग 45% रह गई।
यह AI के "बुरे" या "गलत" होने की कहानी नहीं है। शोध पत्र सावधानी से कहता है कि एक स्थिर पथ का मतलब यह नहीं है कि AI स्मार्ट है, और एक डगमगाता पथ यह नहीं दर्शाता कि वह मूर्ख है। इसके बजाय, यह एक नैदानिक उपकरण (diagnostic tool) है। यह एक मैकेनिक द्वारा कार के इंजन की जांच करने जैसा है कि क्या इंजन हर बार शुरू होने पर एक ही आवाज कर रहा है। यदि इंजन हर बार अलग आवाज करता है, भले ही कार अभी भी चलती है, तो आप जानते हैं कि कुछ अस्थिर है। शोधकर्ता सुझाव देते हैं कि हमें इन "टूल पाथ" और "एविडेंस ट्रेल्स" को देखना शुरू करने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि हमारा वित्तीय AI केवल सही उत्तर तक पहुँचने के लिए अनुमान नहीं लगा रहा है। वे AI को मापने का एक नया तरीका प्रस्तावित करते हैं जो केवल गंतव्य को नहीं, बल्कि यात्रा को भी देखता है, ताकि हम वास्तविक दुनिया की समस्याओं के पैदा होने से पहले उन छिपे हुए बदलावों को पकड़ सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।