MortarBench: Evaluating Mortgage Loan Origination Agents
यह शोधपत्र MortarBench पेश करता है, जो मॉर्टगेज लोन ओरिजिनेशन एजेंटों के मूल्यांकन के लिए एक सिंथेटिक बेंचमार्क है जो वर्तमान लार्ज लैंग्वेज मॉडल्स में महत्वपूर्ण प्रदर्शन अंतराल और पूर्वाग्रहों को प्रकट करता है, साथ ही CRIT फ्रेमवर्क भी पेश करता है जो सटीकता, जोखिम प्रबंधन और निष्पक्षता में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप घर खरीदने के लिए मॉर्टगेज (बंधक) के लिए आवेदन कर रहे हैं। बैंक के "हाँ" कहने से पहले, एक मानव विशेषज्ञ (जिसे अंडरराइटर कहा जाता है) को "अंतर पहचानो" का एक बहुत ही सख्त खेल खेलना होता है। वे दो चीजों को देखते हैं: आपके बैंक लेनदेन की एक लंबी सूची (जो आपने वास्तव में खर्च किया) और एक फॉर्म जिसे आपने भरा है (जो आपने कहा कि आपने खर्च किया)। उनका काम यह सुनिश्चित करना है कि ये दोनों कहानियाँ पूरी तरह से मेल खाती हों और जटिल सरकारी नियमों का पालन करती हों।
यह प्रक्रिया उबाऊ, महंगी और जोखिम भरी है। यदि मानव से गलती होती है, तो बैंक को लाखों का नुकसान हो सकता है या जुर्माना भरना पड़ सकता है। इसलिए, बैंक "AI सहायकों" (लार्ज लैंग्वेज मॉडल्स) को यह जाँच करने में मदद करने के लिए काम पर रखना शुरू कर रहे हैं। लेकिन यहाँ एक समस्या है: किसी को नहीं पता था कि ये AI सहायक वास्तव में इस काम में कितने अच्छे हैं। यह देखने के लिए कोई मानकीकृत परीक्षण नहीं था कि वे पर्याप्त स्मार्ट हैं या वे केवल अनुमान लगा रहे हैं।
यह पेपर MortarBench पेश करता है, जो एक नया "ड्राइविंग टेस्ट" है जिसे विशेष रूप से यह देखने के लिए डिज़ाइन किया गया है कि AI मॉर्टगेज कागजी कार्रवाई को कितनी अच्छी तरह संभाल सकता है।
1. टेस्ट बनाना ("नकली" वास्तविकता)
आप AI को वास्तविक लोगों के बैंक स्टेटमेंट नहीं दे सकते क्योंकि यह गोपनीयता की दृष्टि से एक बुरा सपना होगा। इसलिए, शोधकर्ताओं ने एक सिमुलेशन फैक्ट्री बनाई।
- रेसिपी: उन्होंने वास्तविक बैंक डेटा के "फ्लेवर प्रोफाइल" (लोग कितनी बार वेतन पाते हैं, वे किराए पर कितना खर्च करते हैं, आदि) को लिया और हजारों नकली लेकिन यथार्थवादी बैंक स्टेटमेंट तैयार किए।
- ट्विस्ट: उन्होंने केवल रैंडम डेटा नहीं बनाया। उन्होंने एक "म्यूटेशन" तकनीक का उपयोग किया। कल्पना कीजिए कि उन्होंने एक प्रश्न लिखा जैसे, "क्या इस व्यक्ति पर 3 'अभी खरीदें, बाद में भुगतान करें' (Buy Now, Pay Later) वाले कर्ज हैं?" फिर, उन्होंने प्रोग्रामेटिक रूप से नकली बैंक स्टेटमेंट को इस तरह से संपादित किया ताकि यह सुनिश्चित हो सके कि उत्तर ठीक "3" हो। यह गारंटी देता है कि टेस्ट निष्पक्ष है और उत्तर ज्ञात हैं।
- परिणाम: 188 जटिल परिदृश्यों का एक विशाल डेटासेट, जहाँ AI को एक बैंक स्टेटमेंट और एक फॉर्म पढ़ना होता है, और फिर विशिष्ट प्रश्नों के उत्तर देने होते हैं जैसे "क्या यह एक संयुक्त खाता है?" या "सभी बड़े जमा (deposits) की सूची बनाएं।"
2. टेस्ट के परिणाम: AI संघर्ष कर रहा है
जब उन्होंने शीर्ष-स्तरीय AI मॉडल्स (जैसे Gemini, Claude, और GPT) को MortarBench के माध्यम से चलाया, तो परिणाम मिले-जुले थे:
- अच्छा: AI सरल "हाँ/नहीं" वाले सवालों में ठीक था।
- बुरा: वे चीजों को सूचीबद्ध करने में बहुत खराब थे। यदि उन्हें विशिष्ट लेनदेन सूचीबद्ध करने के लिए कहा गया, तो AI अक्सर मतिभ्रम (hallucination) का शिकार हो गया (चीजें बना लीं) या स्पष्ट लेनदेन को छोड़ दिया।
- भयानक (पूर्वाग्रह): AI ने एक अजीब पूर्वाग्रह दिखाया। यदि बैंक लेनदेन का नाम अंग्रेजी में था, तो AI ने शायद ही कभी सोचा कि वह "विदेशी" था। लेकिन यदि नाम गैर-अंग्रेजी भाषा (जैसे अरबी, हिंदी, या चीनी) में था, तो AI ने 77% बार यह मान लिया कि वह विदेशी था, भले ही उसे ऐसा नहीं सोचना चाहिए था। यह ऐसा था जैसे AI ने "विदेशी चश्मा" पहन रखा हो जो केवल गैर-अंग्रेजी नामों पर काम करता था।
3. समाधान: "कॉन्फिडेंस फ़िल्टर" (CRIT)
शोधकर्ताओं ने देखा कि AI अति-संवेदनशील था। यह एक स्मोक डिटेक्टर की तरह था जो ब्रेड टोस्ट करने पर भी बजने लगता है। यह बहुत सी चीजों को "जोखिम भरा" या "विदेशी" के रूप में फ्लैग कर रहा था ताकि सुरक्षित रहा जा सके।
इसे ठीक करने के लिए, उन्होंने CRIT नामक एक नया टूल बनाया।
- यह कैसे काम करता है: केवल एक उत्तर देने के बजाय, AI को रुकने और 1 से 5 के पैमाने पर अपने आत्मविश्वास (confidence) को रेट करने के लिए मजबूर किया जाता है। "क्या मैं 100% निश्चित हूँ कि यह लेनदेन एक ऋण है? या मैं बस अनुमान लगा रहा हूँ?"
- फ़िल्टर: यदि AI का कॉन्फिडेंस स्कोर बहुत कम है (एक निश्चित सीमा से नीचे), तो CRIT उस उत्तर को हटा देता है।
- परिणाम: यह सरल "कॉन्फिडेंस फ़िल्टर" एक छलनी की तरह काम करता था। इसने AI के जंगली अनुमानों को पकड़ा और उन्हें बाहर निकाल दिया।
- सटीकता बढ़ गई (77.1% से 80.5% तक)।
- "अति-संवेदनशीलता" काफी कम हो गई।
- महत्वपूर्ण रूप से, पूर्वाग्रह बेहतर हुआ। AI गैर-अंग्रेजी नामों को केवल इसलिए "विदेशी" के रूप में गलत तरीके से फ्लैग करने में कम संदिग्ध हो गया क्योंकि वह अनुमान लगा रहा था।
4. AI क्यों विफल हुआ (एक पोस्टमार्टम)
शोधकर्ताओं ने गलतियों का बारीकी से अध्ययन किया और पाया कि AI के गलत होने के चार मुख्य कारण थे:
- लेबल को गलत पढ़ना: इसने "पर्सनल लोन" लेबल वाले लेनदेन को देखा और सोचा कि यह "अभी खरीदें, बाद में भुगतान करें" वाला कर्ज है क्योंकि शब्द सुनने में समान लगते थे।
- गणित की गलतियाँ: इसने देखा कि किराए के भुगतान फॉर्म पर सूचीबद्ध कुल आय से अधिक थे, और इसने मान लिया कि गणित सही है, भले ही वह सही नहीं था।
- दुनिया के ज्ञान की कमी: इसने मान लिया कि सभी वायर ट्रांसफर (wire transfers) अंतरराष्ट्रीय थे, जो कि सच नहीं है।
- नियमों में भ्रम: इसने सोचा कि एक बार किया गया भुगतान आवर्ती बिल (recurring bill) है क्योंकि भविष्य में इसकी संभावना हो सकती है।
5. बड़ा निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI बेहतर हो रहा है, लेकिन यह अभी अकेले मानव मॉर्टगेज अंडरराइटरों को बदलने के लिए तैयार नहीं है। यह तथ्यों को बनाने और गैर-अंग्रेजी नामों के प्रति पूर्वाग्रह रखने के प्रति बहुत संवेदनशील है।
हालाँकि, CRIT पद्धति यह दिखाती है कि यदि हम AI को यह सिखाएं कि "उसे कब नहीं पता," तो हम इसे बहुत सुरक्षित, अधिक सटीक और कम पक्षपाती बना सकते हैं। यह एक ऐसे भविष्य की ओर एक कदम है जहाँ AI मनुष्यों के लिए एक मददगार सह-पायलट बन सकता है, न कि एक लापरवाह ड्राइवर।
संक्षेप में: पेपर ने मॉर्टगेज AI के लिए एक टेस्ट ट्रैक बनाया, पाया कि कारें सड़क से उतर रही हैं और कुछ खास लाइसेंस प्लेटों के साथ भेदभाव कर रही हैं, और फिर एक "कॉन्फिडेंस ब्रेक" लगाया जिसने उन्हें सड़क पर रहने और सभी के साथ अधिक निष्पक्ष व्यवहार करने में मदद की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।