Credit Cards, Confusion, Computation, and Consequences: What Can We Uncover About Language Model Reasoning?
यह शोध पत्र वास्तविक क्रेडिट कार्ड समझौतों पर आधारित एक वित्तीय साक्षरता बेंचमार्क, CreditCardQA को प्रस्तुत करता है, और यह प्रदर्शित करता है कि यद्यपि Program-of-Thought प्रॉम्प्टिंग विभिन्न भाषा मॉडलों के प्रदर्शन में सुधार करती है, लेकिन उनकी मुख्य विफलताएं अंकगणितीय त्रुटियों के बजाय संविदात्मक नियमों और अपवादों की गलत व्याख्या करने से उत्पन्न होती हैं, जो अक्सर आर्थिक रूप से कमजोर व्यक्तियों को असमान रूप से प्रभावित करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपका फोन सिर्फ आपसे बातें ही नहीं करता, बल्कि वास्तव में आपके पैसे के प्रबंधन में भी मदद करता है। यह आर्टिफिशियल इंटेलिजेंस (AI) का वादा है, विशेष रूप से एक प्रकार जिसे लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है। इन मॉडल्स को ऐसे 'सुपर-रीडर्स' के रूप में सोचें जिन्होंने इंटरनेट पर लिखी लगभग हर चीज़ को पढ़ डाला है। वे कहानियाँ लिखने, कोडिंग करने और सामान्य प्रश्नों के उत्तर देने में माहिर हैं। लेकिन जब गणित और तर्क (logic) की बात आती है, तो वे कभी-कभी उस छात्र की तरह व्यवहार करते हैं जिसने अभ्यास टेस्ट के उत्तर तो रट लिए हैं, लेकिन जब नंबर थोड़े बदल जाते हैं, तो वह भ्रमित हो जाता है। यह शोध पत्र व्यक्तिगत वित्त (personal finance) के उच्च-दांव वाले क्षेत्र में कदम रखता है, और एक महत्वपूर्ण प्रश्न पूछता है: क्या ये AI "सुपर-रीडर्स" वास्तव में क्रेडिट कार्डों की उलझी हुई, नियमों से भरी दुनिया को समझ सकते हैं, या वे केवल अनुमान लगाकर एक महंगी गलती की ओर बढ़ जाएंगे?
शोधकर्ता एक नई चुनौती पेश करते हैं जिसे CREDITCARDQA कहा जाता है, जो वास्तविक क्रेडिट कार्ड समझौतों से प्राप्त 1,800 प्रश्नों का एक विशाल टेस्ट बैंक है। ये समझौते वे बारीक कानूनी अनुबंध (contracts) हैं जिन्हें आप कार्ड लेते समय साइन करते हैं, जो ब्याज दरों, विलंब शुल्क (late fees) और न्यूनतम भुगतान जैसे नियमों से भरे होते हैं। टीम ने विभिन्न AI मॉडल्स का परीक्षण किया यह देखने के लिए कि क्या वे एक विश्वसनीय वित्तीय सलाहकार के रूप में कार्य कर सकते हैं। उन्होंने पाया कि हालांकि AI बेहतर हो रहा है, लेकिन यह अभी भी अनुबंधों के पेचीदा "यदि-तो" (if-then) तर्क के साथ संघर्ष करता है। अच्छी खबर? जब AI को गणित हल करने के लिए एक कंप्यूटर प्रोग्राम लिखने के लिए मजबूर किया जाता है (एक विधि जिसे Program-of-Thought कहा जाता है) न कि केवल बातचीत के माध्यम से उत्तर देने के लिए, तो यह काफी स्मार्ट हो जाता है। हालाँकि, अध्ययन यह चेतावनी भी देता है कि ये AI मॉडल्स अक्सर छोटे, खतरनाक विवरणों को मिस कर देते हैं—जैसे कि विलंब भुगतान के लिए दंड शुल्क—जो उन लोगों को सबसे अधिक नुकसान पहुँचा सकता है जिनके पास सबसे कम पैसा होता है।
शोध पत्र की कहानी: क्रेडिट कार्ड, भ्रम और कोड
सेटअप: वित्तीय बुद्धिमत्ता का एक परीक्षण
लेखक, जो जॉर्जिया टेक की एक टीम है, ने एक नया बेंचमार्क बनाया है यह देखने के लिए कि AI वास्तविक दुनिया की वित्तीय साक्षरता को कितनी अच्छी तरह संभालता है। उन्होंने केवल काल्पनिक गणितीय समस्याएँ नहीं बनाईं; उन्होंने अमेरिकन एक्सप्रेस, डिस्कवर और बारक्लेज जैसे प्रमुख बैंकों के 27 वास्तविक क्रेडिट कार्ड समझौतों की गहराई से जांच की। ये दस्तावेज़ मनुष्यों के लिए पढ़ने में अत्यंत कठिन होते हैं, जो अक्सर घने कानूनी शब्दों के साथ कॉलेज स्तर की भाषा में लिखे जाते हैं। टीम ने 280 विशिष्ट वित्तीय शब्दों को निकाला और उन्हें 1,800 अद्वितीय प्रश्नों में बदल दिया। कुछ प्रश्न सीधे गणित के बारे में थे (जैसे, "यदि मेरा बकाया $4,000 है, तो मेरा न्यूनतम भुगतान क्या है?"), जबकि अन्य पहले व्यक्ति (first person) में लिखे गए थे, जो इस बात की नकल करते थे कि एक वास्तविक व्यक्ति कैसे पूछ सकता है, "यदि मेरा बैलेंस बढ़ जाता है तो मुझे कितना अधिक भुगतान करना होगा?"
प्रयोग: चैटिंग बनाम कोडिंग
AI का परीक्षण करने के लिए, शोधकर्ताओं ने दो अलग-अलग सोचने की शैलियों को एक-दूसरे के विरुद्ध खड़ा किया:
- चेन-ऑफ-थॉट (CoT): यह AI से "ज़ोर से सोचने" के लिए कहने जैसा है। यह उत्तर देने से पहले अपने चरणों को समझाने के लिए एक पैराग्राफ लिखता है।
- प्रोग्राम-ऑफ-थॉट (PoT): यह AI को पायथन (Python) स्क्रिप्ट लिखने के लिए कहने जैसा है। उत्तर का अनुमान लगाने के बजाय, यह गणित और तर्क के लिए कोड लिखता है।
उन्होंने 11 अलग-अलग AI मॉडल्स का परीक्षण किया, जिनमें ओपन-सोर्स (जैसे DeepSeek-R1, Qwen-QwQ, और Llama 3.3) से लेकर क्लोज्ड-सोर्स सिस्टम (GPT-5, GPT-5-mini, और Gemini 3.0 Pro सहित) शामिल थे।
प्रमुख निष्कर्ष
परिणाम आशा और सावधानी का मिश्रण थे।
- कोडिंग की जीत: प्रोग्राम-ऑफ-थॉट (PoT) विधि ने "चैटिंग" विधि को लगातार मात दी। सभी मॉडल्स में, AI को कोड लिखने के लिए मजबूर करने से इसकी सटीकता में सुधार हुआ। कुछ मॉडल्स के लिए, यह उछाल बहुत बड़ा था—सही उत्तरों में 6.2% तक की वृद्धि। ऐसा लगता है कि जब AI को एक वित्तीय नियम को सख्त निर्देशों के सेट में अनुवादित करना पड़ता है, तो वह कम गलतियाँ करता है।
- ओपन बनाम क्लोज्ड: शीर्ष प्रदर्शन करने वालों में ओपन और क्लोज्ड सिस्टम का मिश्रण था। ओपन-वेट GPT-OSS 120B ने इतना अच्छा प्रदर्शन किया कि इसने विशेष रूप से Program-of-Thought विधि का उपयोग करते समय GPT-5 और Gemini 3.0 Pro जैसे अग्रणी क्लोज्ड-सोर्स मॉडल्स के साथ प्रतिस्पर्धा की और उन्हें थोड़ा पीछे छोड़ दिया। यह सुझाव देता है कि मजबूत ओपन-वेट सिस्टम अत्याधुनिक प्रदर्शन प्राप्त कर सकते हैं, जिससे ओपन और क्लोज्ड सिस्टमों के बीच का अंतर कम हो रहा है।
- "प्रथम-व्यक्ति" का लाभ: दिलचस्प बात यह है कि AI ने तीसरे व्यक्ति ("एक ग्राहक कितना owes करेगा?") के बजाय पहले व्यक्ति ("मैं कितना owes करूँगा?") में पूछे गए प्रश्नों पर बेहतर प्रदर्शन किया। लेखक सुझाव देते हैं कि ऐसा इसलिए है क्योंकि AI मॉडल्स मुख्य रूप से उन बातचीत पर प्रशिक्षित होते हैं जहाँ लोग सीधे मदद मांगते हैं, इसलिए वे इस शैली को बेहतर पहचानते हैं।
जहाँ AI लड़खड़ाता है
शोधकर्ताओं ने यह देखने के लिए गलत उत्तरों की गहराई से जांच की कि AI क्यों विफल हुआ। यह आमतौर पर इसलिए नहीं था कि AI बुनियादी गणित नहीं कर सका।
- असली अपराधी: सबसे बड़ी त्रुटियाँ नियमों के गलत अनुप्रयोग से आईं। AI सही नंबर तो ढूंढ लेता था लेकिन गलत फॉर्मूला इस्तेमाल करता था। उदाहरण के लिए, यह साधारण दर का उपयोग करके ब्याज की गणना कर सकता था जबकि अनुबंध में चक्रवृद्धि (compound) दर की आवश्यकता थी, या यह किसी ऐसे "न्यूनतम शुल्क" नियम को भूल सकता था जो केवल विशिष्ट स्थितियों में लागू होता है।
- खतरा क्षेत्र: AI सबसे अधिक "एज केसेस" (edge cases) के साथ संघर्ष करता है—जैसे विलंब भुगतान, छोटा बैलेंस, या पेनल्टी फीस वाले परिदृश्य। ये वे स्थितियाँ हैं जो आर्थिक रूप से कमजोर लोगों को सबसे अधिक नुकसान पहुँचाती हैं। यदि AI किसी उपयोगकर्ता को बताता है कि उससे विलंब शुल्क नहीं लिया जाएगा जबकि वास्तव में लिया जाएगा, तो इसके परिणाम वास्तविक और दर्दनाक होते हैं।
- "तुलना" का जाल: वे प्रश्न जिनमें दो अलग-अलग विकल्पों की तुलना करने की आवश्यकता थी (जैसे "क्या $5 का शुल्क या 5% का शुल्क अधिक है?"), मॉडल्स के लिए सबसे कठिन थे। AI अक्सर प्रतिस्पर्धी नियमों के बीच चयन करने के तर्क में खो जाता था।
इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि हालांकि AI एक शक्तिशाली उपकरण है, लेकिन यह अभी भी एक स्टैंडअलोन वित्तीय सलाहकार बनने के लिए तैयार नहीं है। इसके तर्क में मौजूद "भंगुरता" (brittleness) का अर्थ है कि यह उन बारीक विवरणों को आसानी से मिस कर सकता है जो उपभोक्ताओं की रक्षा करते हैं। लेखक सुझाव देते हैं कि डेवलपर्स को AI को अधिक विश्वसनीय बनाने के लिए Program-of-Thought जैसी विधियों पर ध्यान केंद्रित करना चाहिए। वे यह भी तर्क देते हैं कि क्रेडिट कार्ड कंपनियों को अपने समझौतों को अधिक "AI-पठनीय" बनाने के लिए फिर से लिखने की आवश्यकता हो सकती है, ताकि यह सुनिश्चित हो सके कि जो उपकरण लोग अपने वित्त को समझने के लिए उपयोग करते हैं, वे भ्रमित करने वाली कानूनी भाषा में न उलझें।
संक्षेप में, AI गणित कर सकता है, लेकिन इसे नियमों को समझने के लिए अभी भी एक इंसान द्वारा दोबारा जाँच (double-check) की आवश्यकता है। जब तक यह अनुबंधों के "यदि-तो" तर्क को समझने में बेहतर नहीं हो जाता, हमें इसे अपने सबसे महत्वपूर्ण वित्तीय निर्णय संभालने देने के बारे में सावधान रहना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।