Counterfactual Analysis via Large Language Models
यह शोध पत्र प्रदर्शित करता है कि प्रॉम्प्ट-इंजीनियर्ड GPT-3.5 मॉडल काल्पनिक ब्याज दर परिदृश्यों के तहत निवेश पर रिटर्न की भविष्यवाणी करने के लिए ऑनलाइन ऋण में प्रभावी ढंग से काउंटरफैक्चुअल विश्लेषण कर सकते हैं, जो पारंपरिक ग्रेडिएंट-बूस्टेड रिग्रेशन के समान प्रदर्शन प्राप्त करते हुए तार्किक कारण संबंधी तर्क (लॉजिकल कॉज़ल रीजनिंग) प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक समय यात्री हैं जिसके पास एक जादुई "क्या होगा अगर?" (What If?) मशीन है। विज्ञान की दुनिया में, इसे काउंटरफैक्चुअल एनालिसिस (counterfactual analysis) कहा जाता है। यह इस बात की भविष्यवाणी करने की कला है कि यदि आपने कल एक अलग विकल्प चुना होता तो क्या हुआ होता। क्या वह छात्र इसलिए फेल हुआ क्योंकि कक्षा बहुत बड़ी थी, या क्या वह एक छोटे कमरे में उत्कृष्ट प्रदर्शन करता? क्या वह ईमेल इसलिए अनदेखा किया गया क्योंकि उसका विषय उबाऊ था, या एक व्यक्तिगत विषय ने स्थिति को बचा लिया होता? वैज्ञानिक इस चीज़ों को पसंद करते हैं क्योंकि यह उन्हें कारण और प्रभाव को समझने में मदद करता है, न कि केवल अनुमान लगाने में। आमतौर पर, इन सवालों के जवाब देने के लिए, शोधकर्ताओं को महंगे प्रयोग चलाने या जटिल गणितीय मॉडल का उपयोग करने की आवश्यकता होती है जो भविष्य का अनुमान लगाने के लिए पिछले डेटा को देखते हैं। लेकिन हाल ही में, एक प्रकार का नया डिजिटल मस्तिष्क आया है: लार्ज लैंग्वेज मॉडल (LLM)। इन्हें ऐसे सुपर-स्मार्ट रोबोट के रूप में सोचें जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वे कहानियाँ लिखने और बातचीत करने में माहिर हैं, लेकिन क्या वे "क्या होगा अगर" वाले परिदृश्यों को समझने के लिए एक समय यात्री की भूमिका भी निभा सकते हैं? यही वह बड़ा सवाल है जो यह शोध पत्र पूछता है।
इस अध्ययन के लेखक ने इन डिजिटल मस्तिष्कों को ऑनलाइन ऋण देने (online lending) की उच्च-दांव वाली दुनिया में परखने का निर्णय लिया। कल्पना कीजिए कि एक बैंक लोगों को पैसा उधार देता है। उन्हें यह तय करना होता है कि उनसे कितना ब्याज लिया जाए। यदि वे बहुत अधिक शुल्क लेते हैं, तो उधारकर्ता बोझ से दब सकता है और भुगतान करना बंद कर सकता है। यदि वे बहुत कम शुल्क लेते हैं, तो बैंक को नुकसान होता है। बैंक जानता है कि वास्तव में चुने गए ब्याज दर के साथ क्या हुआ, लेकिन वे कभी निश्चित रूप से नहीं जान सकते कि क्या होता यदि उन्होंने एक अलग दर चुनी होती। पहेली का यह गायब हिस्सा "काउंटरफैक्चुअल" (counterfactual) है। शोधकर्ता यह देखना चाहते थे कि क्या एक एआई, विशेष रूप से GPT-3.5 नामक एक मॉडल, एक ऋण आवेदन को देखकर कह सकता है, "यदि हमने 12% के बजाय 10% शुल्क लिया होता, तो उधारकर्ता हमें तेजी से पैसा वापस कर देता।"
इसे काम करने के योग्य बनाने के लिए, टीम ने केवल एआई से एक साधारण प्रश्न नहीं पूछा। उन्होंने महसूस किया कि एक रोबोट से बात करना एक इंसान से बात करने जैसा ही है; आपको सही तरीके से पूछना होता है। उन्होंने प्रॉम्प्ट इंजीनियरिंग (prompt engineering) नामक एक तकनीक का उपयोग किया, जो मूल रूप से एआई को सटीक निर्देश देने की कला है। उन्होंने एआई को उधारकर्ता होने का नाटक करने के लिए कहा, फिर उन्होंने एआई को एक क्रेडिट विशेषज्ञ होने का नाटक करने के लिए कहा। उन्होंने यहाँ तक कि एआई को चार विशेषज्ञों के एक पैनल के रूप में आपस में बहस करने और आम सहमति बनाने का अनुकरण करने के लिए भी प्रेरित किया, जिसे ट्री-ऑफ-थॉट (tree-of-thought) कहा जाता है। उन्होंने एआई को पारंपरिक कंप्यूटर एल्गोरिदम द्वारा किए गए अनुमानों को देखने की अनुमति भी दी ताकि यह देखा जा सके कि क्या वह उनमें सुधार कर सकता है।
परिणाम आश्चर्यजनक रूप से उत्साहजनक थे। जब शोधकर्ताओं ने पहली बार बिना किसी विशेष निर्देश के ऋण परिणामों का अनुमान लगाने के लिए एआई से पूछा, तो यह काफी खराब था, और इसकी सटीकता केवल 2% थी। लेकिन एक बार जब उन्होंने "विशेषज्ञ पैनल" वाला तरीका अपनाया और इसे सही संदर्भ दिया, तो इसका प्रदर्शन बढ़कर लगभग 3% हो गया। हालांकि यह सुनने में छोटा लग सकता है, लेकिन इस क्षेत्र में यह वास्तव में एक बड़ी बात है, जो एआई को सर्वश्रेष्ठ पारंपरिक गणितीय मॉडलों की सटीकता के लगभग करीब ले आता है। इससे भी महत्वपूर्ण बात यह है कि एआई ने केवल एक संख्या नहीं उगली; इसने अपने तर्क की व्याख्या भी की। इसने उधारकर्ता के इतिहास को देखा, ब्याज दर पर विचार किया, और तार्किक रूप से तर्क दिया कि क्यों कम दर उन्हें ऋण जल्दी चुकाने में मदद कर सकती है।
यह अध्ययन सुझाव देता है कि ये लार्ज लैंग्वेज मॉडल केवल चैटबॉट्स नहीं हैं; वे "क्या होगा अगर" वाले परिदृश्यों को समझने में सक्षम उपकरण बनते जा रहे हैं। एआई ने दिखाया कि वह यह पहचान सकता है कि कब एक पारंपरिक कंप्यूटर मॉडल बहुत अधिक आशावादी हो सकता है और मानव व्यवहार के बारे में अपने "ज्ञान" के आधार पर भविष्यवाणी को समायोजित कर सकता है। उदाहरण के लिए, जब पारंपरिक मॉडल ने भविष्यवाणी की कि एक उधारकर्ता कम दर के साथ 8 महीने में ऋण चुका देगा, तो एआई ने सोचा, "उनके क्रेडिट इतिहास को देखते हुए यह बहुत तेज़ लगता है," और भविष्यवाणी को 22 महीने में समायोजित कर दिया। यह दर्शाता है कि एआई केवल गणित की नकल नहीं कर रहा है; यह वास्तव में तर्क के माध्यम से सोच रहा है।
हालाँकि, लेखक इस बात पर जोर नहीं देते कि यह एक पूर्ण समाधान है। वे नोट करते हैं कि जबकि एआई बेहतर हो रहा है, अभी भी इसका परीक्षण एक सिम्युलेटेड वातावरण में किया जा रहा है। उन्होंने पाया कि एआई की भविष्यवाणियाँ वास्तविक दुनिया के नियमों (जैसे, यदि आप ब्याज दर कम करते हैं, तो लोग डिफ़ॉल्ट करने की कम संभावना रखते हैं) के साथ तार्किक रूप से सुसंगत थीं, लेकिन उन्होंने यह दावा नहीं किया कि एआई ने मानव व्यवहार के रहस्य को पूरी तरह से सुलझा लिया है। इसके बजाय, वे सुझाव देते हैं कि ये मॉडल शक्तिशाली नए उपकरण हैं जो विभिन्न भविष्य का अनुकरण करके ऋणदाताओं और वैज्ञानिकों को बेहतर निर्णय लेने में मदद कर सकते हैं। यह एक बहुत ही स्मार्ट, बहुत अधिक पढ़ा-लिखा सलाहकार होने जैसा है जो आपको वास्तव में निर्णय लेने से पहले उनके परिणामों को देखने में मदद कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।