📈 economics

Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees

यह शोध पत्र एक दो-चरणीय एडेप्टर प्रस्तावित करता है जो फाउंडेशन मॉडल भविष्यवाणियों को संरचनात्मक बाधाओं वाले एक मल्टीनोमियल लॉजिट ढांचे में एकीकृत करता है, जो आर्थिक निरंतरता (जैसे लागत एकदिष्टता और वैध समय-मूल्य) सुनिश्चित करते हुए पूर्वानुमान सटीकता में महत्वपूर्ण सुधार करता है और सीमित संदर्भ के तहत मजबूती बनाए रखता है।

मूल लेखक: Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

प्रकाशित 2026-06-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि लोग क्या खरीदेंगे या वे कैसे यात्रा करेंगे। आपके पास इस काम के लिए दो उपकरण हैं:

अर्थशास्त्री का कैलकुलेटर (The Economist's Calculator): यह एक क्लासिक, नियम-आधारित मॉडल है। यह बहुत तार्किक है। यह जानता है कि यदि आप बस के टिकट की कीमत बढ़ाते हैं, तो कम लोग इसे खरीदेंगे। यह जानता है कि यदि ट्रेन नहीं चल रही है, तो कोई भी इसमें नहीं जा सकता। लेकिन, यह जटिल, छिपे हुए पैटर्न को पहचानने में थोड़ा "मंदबुद्धि" है।
सुपर-इंटेलिजेंट एआई (The Super-Intelligent AI): यह एक आधुनिक "फाउंडेशन मॉडल" है। यह अविश्वसनीय रूप से स्मार्ट है और उन सूक्ष्म पैटर्न को पहचान सकता है जिन्हें कैलकुलेटर मिस कर देता है। हालाँकि, यह थोड़ा लापरवाह है। कभी-कभी, यह भविष्यवाणी करता है कि बस के टिकट की कीमत बढ़ाने से मांग बढ़ जाएगी (जो कि समझ से परे है), या यह कहता है कि 5% संभावना है कि कोई ऐसी ट्रेन लेगा जो अस्तित्व में ही नहीं है।

समस्या:
सुपर-इंटेलिजेंट एआई इस बात का अनुमान लगाने में बहुत अच्छा है कि क्या होगा, लेकिन यह अक्सर यह समझाने में विफल रहता है कि ऐसा क्यों होगा, जिससे आर्थिक तर्क बनता हो। यदि आप इसका उपयोग कीमतें तय करने या सार्वजनिक परिवहन की योजना बनाने के लिए करते हैं, तो इसके "तर्कहीन" अनुमान बुरे निर्णय लेने का कारण बन सकते हैं।

समाधान: "टू-स्टेज अडैप्टर" (The Two-Stage Adapter)
लेखकों ने इन दोनों उपकरणों के बीच एक चतुर सेतु बनाया है। वे इसे "टू-स्टेज अडैप्टर" कहते हैं। इसे एक सख्त, तार्किक मैनेजर (अर्थशास्त्री) और उन्हें मदद करने के लिए एक प्रतिभाशाली, अराजक इंटर्न (एआई) को काम पर रखने जैसा समझें।

यह "टू-स्टेज" प्रक्रिया इस प्रकार काम करती है:

चरण 1: मैनेजर नियम तय करता है।
सबसे पहले, वे तार्किक मैनेजर (क्लासिक मॉडल) को सख्त नियमों का उपयोग करके प्रशिक्षित करते हैं। वे सुनिश्चित करते हैं कि मैनेजर बुनियादी बातें जानता हो: "कीमत बढ़ती है, तो मांग घटती है।" वे इन नियमों को लागू कर देते हैं। यह इस बात की गारंटी देता है कि भविष्यवाणी का मूल तर्क हमेशा सही रहता है।
चरण 2: इंटर्न बारीकियां जोड़ता है।
इसके बाद, वे सुपर-इंटेलिजेंट एआई को लाते हैं। लेकिन यहाँ एक चाल है: वे एआई को नियम फिर से लिखने की अनुमति नहीं देते हैं। इसके बजाय, वे एआई को एक "करेक्शन लेयर" (सुधार परत) के रूप में कार्य करने देते हैं। एआई डेटा को देखता है और कहता है, "हे, मैनेजर का बुनियादी अनुमान 60% है, लेकिन इस अजीब पैटर्न के आधार पर, आइए इसे 64% तक थोड़ा बढ़ा दें।"
महत्वपूर्ण बात यह है कि एआई को केवल मैनेजर के ठोस आधार के ऊपर छोटे समायोजन करने की अनुमति है। मैनेजर के नियम (जैसे "कीमत बढ़ना = मांग घटना") बॉस बने रहते हैं।

यह एक बड़ी बात क्यों है (द "मैजिक" गारंटी)
यह पेपर गणितीय रूप से सिद्ध करता है कि इस सेटअप में एक सुपरपावर है: यह तर्क को एकदम सटीक रखता है जबकि उसे एआई की सटीकता भी प्राप्त होती है।

"समय का मूल्य" गारंटी: परिवहन में, हम अक्सर पूछते हैं, "एक व्यक्ति 10 मिनट बचाने के लिए कितने पैसे बचाने को तैयार है?" क्लासिक मॉडल इसकी गणना पूरी तरह से करता है। लेखक सिद्ध करते हैं कि भले ही एआई मदद कर रहा हो, यह गणना बिल्कुल वैसी ही रहती है जैसी क्लासिक मॉडल की होती है। एआई के बेतुके अनुमानों से यह "बिगड़ता" नहीं है।
"घोस्ट ट्रेन्स" (अदृश्य ट्रेनें) नहीं: एआई गलती से भविष्यवाणी कर सकता है कि लोग उस ट्रेन को लेंगे जो चल ही नहीं रही है। अडैप्टर इसे ठीक कर देता है। क्योंकि मैनेजर नियमों के मामले में प्रभारी है, अडैप्टर गारंटी देता है कि किसी गैर-मौजूद विकल्प को चुनने की संभावना हमेशा शून्य रहेगी।

परिणाम
टीम ने तीन अलग-अलग वास्तविक दुनिया के डेटासेट्स (कम्यूटर विकल्प, लंदन यात्राएं, और वियरेबल डिवाइस की खरीदारी) पर इसका परीक्षण किया।

सटीकता: अडैप्टर अकेले क्लासिक मॉडल की तुलना में काफी अधिक सटीक था (लगभग 6 से 12 प्रतिशत अंक बेहतर)।
तर्क: इसने 100% तार्किक निरंतरता बनाए रखी। इसने कभी भी यह भविष्यवाणी नहीं की कि कीमतें बढ़ाने से मांग बढ़ेगी, और इसने कभी भी अनुपलब्ध विकल्पों के लिए कोई संभावना नहीं दी।
मजबूती (Robustness): भले ही एआई को कम जानकारी दी गई हो (जैसे कि सामान्य डेटा का केवल 10% देखना), अडैप्टर अभी भी क्लासिक मॉडल की तुलना में बहुत बेहतर प्रदर्शन करता है, जो यह साबित करता है कि यह एआई के परफेक्ट होने पर नहीं, बल्कि केवल मददगार होने पर निर्भर करता है।

संक्षेप में
यह पेपर एक तरीका प्रस्तुत करता है जिससे आप एक सुपर-स्मार्ट एआई के "दिमाग" का उपयोग कर सकते हैं बिना अर्थशास्त्र के "नियमों" को तोड़े। यह एक प्रतिभाशाली लेकिन अराजक कलाकार को एक सख्त वास्तुकार (आर्किटेक्ट) के साथ काम देने जैसा है: अंतिम इमारत सुंदर (सटीक) भी है और संरचनात्मक रूप से सुदृढ़ (तार्किक) भी।

तकनीकी सारांश: संरचनात्मक गारन्टी के साथ डिस्क्रीट-चॉइस मॉडल में एम्बेडिंग फाउंडेशन मॉडल प्रेडिक्शन्स

1. समस्या विवरण (Problem Statement)

डिस्क्रीट-चॉइस मॉडल उन नीतिगत निर्णयों के लिए महत्वपूर्ण हैं जिनमें महत्वपूर्ण आर्थिक दांव शामिल होते हैं, जैसे कि परिवहन में समय का मूल्य निर्धारण या उपभोक्ता व्यवहार में भुगतान करने की इच्छा (WTP) का अनुमान लगाना। पारंपरिक मल्टीनोमियल लॉजिट (MNL) मॉडल निर्माण द्वारा इन कार्यों की दूसरी आवश्यकता—हस्तक्षेपों के प्रति प्रतिक्रियाओं का पूर्वानुमान लगाना—को पूरा करते हैं। वे साइन-कन्स्ट्रेंड कोएफिशिएंट्स (मोनोटोनिक डिमांड सुनिश्चित करने के लिए) के माध्यम से आर्थिक तर्क लागू करते हैं, व्याख्या योग्य ट्रेड-ऑफ रेश्यो (जैसे, समय का मूल्य) प्रदान करते हैं, और अनुपलब्ध विकल्पों के लिए शून्य प्रायिकता (probability) निर्धारित करते हैं। हालांकि, आधुनिक मशीन लर्निंग की तुलना में MNL मॉडल अक्सर सटीक भविष्यवाणियों में पीछे रह जाते हैं।

इसके विपरीत, आधुनिक टैबुलर फाउंडेशन मॉडल्स (जैसे, TabPFN, Mitra) बेहतर सटीकता प्राप्त करते हैं लेकिन मौलिक आर्थिक संरचनाओं का उल्लंघन करते हैं। उनके अनुमान अक्सर निम्नलिखित प्रदर्शित करते हैं:

गैर-मोनोटोनिसिटी (Non-monotonicity): कीमत बढ़ाने से अनुमानित मांग बढ़ सकती है।
अवास्तविक WTP: अनुमान नकारात्मक हो सकते हैं या यथार्थवादी सीमाओं से बाहर हो सकते हैं।
उपलब्धता रिसाव (Availability Leaks): अनुपलब्ध विकल्पों को गैर-शून्य प्रायिकता प्राप्त होती है।

मौजूदा उपचार इन आवश्यकताओं के बीच संतुलन बनाने में विफल रहते हैं: आर्किटेक्चरल रूप से बाधित मोनोटोनिक नेटवर्क क्लोज्ड-फॉर्म ट्रेड-ऑफ रेश्यो खो देते हैं; MNL छात्रों में नॉलेज डिस्टिलेशन (knowledge distillation) शिक्षक की सटीकता का मुकाबला नहीं कर पाता; और पेनलाइज्ड फाइन-ट्यूनिंग उन इन-कॉन्टेक्स्ट लर्निंग फाउंडेशन मॉडल्स के साथ असंगत है जो वेट्स (weights) तक ग्रेडिएंट एक्सेस की अनुमति नहीं देते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक दो-चरणीय व्यवहार संबंधी एडैप्टर (two-stage behavioral adapter) का प्रस्ताव करते हैं जो एक स्ट्रक्चरली कंस्ट्रेंड MNL यूटिलिटी फंक्शन के भीतर फाउंडेशन मॉडल के अनुमानित चॉइस प्रोबेबिलिटीज़ को एक प्रीकंप्यूटेड फीचर के रूपв रूप में एम्बेड करता है।

आर्किटेक्चर:
एक अवलोकन $i$ और विकल्प $k$ के लिए, यूटिलिटी $V_k(x_i)$ को इस प्रकार परिभाषित किया गया है:
$V_k(x_i) = \underbrace{\beta^\top \phi_k(x_i)}_{\text{Structural Utility } (V^{\text{struct}}_k)} + \underbrace{g_k(q(x_i))}_{\text{Foundation Model Correction}}$

$V^{\text{struct}}_k$ : साइन-कन्स्ट्रेंड कोएफिशिएंट्स (जैसे, $\beta_{\text{cost}} = -\exp(\theta)$ ) के साथ मानक लीनियर यूटिलिटी।
$q(x_i)$ : फाउंडेशन मॉडल के सिंगल फॉरवर्ड पास से प्राप्त एक प्रीकंप्यूटेड प्रोबेबिलिटी वेक्टर।
$g(\cdot)$ : एक छोटा मल्टी-लेयर पर्सेप्ट्रॉन (MLP) जिसमें दो हिडन लेयर्स (चौड़ाई 32) हैं, जो फाउंडेशन मॉडल के प्रेडिक्शन्स को करेक्शन टर्म में मैप करता है।

दो-चरणीय प्रशिक्षण प्रक्रिया:

चरण 1: करेक्शन $g$ को शून्य पर रखा जाता है। स्ट्रक्चरल कोएफिशिएंट्स $\beta$ को मानक MNL साइन कंस्ट्रेंट्स के तहत मैक्सिमम लाइकलीहुड के माध्यम से फिट किया जाता है, जिससे $\beta^*$ प्राप्त होता है।
चरण 2: स्ट्रक्चरल कोएफिशिएंट्स को $\beta = \beta^*$ पर फ्रीज कर दिया जाता है। केवल न्यूरल करेक्शन $g$ को मैक्सिमम लाइकलीहुड के माध्यम से फिट किया जाता है।

हस्तक्षेप प्रोटोकॉल (Fixed-q):
मूल्यांकन के दौरान संरचनात्मक गारन्टी को बनाए रखने के लिए, लेखक "फिक्स्ड- $q$ " प्रोटोकॉल का उपयोग करते हैं। जब किसी एट्रिब्यूट (जैसे, लागत बढ़ाना) को बदलने के लिए मॉनोटोनिसिटी का परीक्षण किया जाता है, तो फाउंडेशन मॉडल के इनपुट $x_i$ को विचलित (perturb) किया जाता है, लेकिन प्रीकंप्यूटेड प्रोबेबिलिटी वेक्टर $q(x_i)$ को उसके मूल मान पर स्थिर रखा जाता है। यह सुनिश्चित करता है कि करेक्शन टर्म $g(q)$ व्यवधान के प्रति प्रतिक्रिया न करे, जिससे स्ट्रक्चरल कंपोनेंट की प्रतिक्रिया अलग (isolate) रहे।

3. सैद्धांतिक योगदान (Theoretical Contributions)

पेपर आर्थिक संरचना के संरक्षण के संबंध में औपचारिक प्रमाण प्रदान करता है:

प्रपोजिशन 1 (MRS संरक्षण): दो-चरणीय प्रशिक्षण और फिक्स्ड- $q$ प्रोटोकॉल के तहत, किसी भी दो एट्रिब्यूट्स के बीच मार्जिनल रेट ऑफ सब्स्टीट्यूशन (MRS), जो केवल स्ट्रक्चरल यूटिलिटी के माध्यम से आते हैं, ठीक $\beta^*_j / \beta^*_{j'}$ है। फलस्वरूप, टाइम वैल्यू (VOT) और WTP विश्लेषणात्मक रूप से स्टैंडअलोन MNL अनुमान से मेल खाने की गारंटी रखते हैं, चाहे फाउंडेशन मॉडल या $g$ की जटिलता कुछ भी हो।
प्रपोजिशन 2 (संयुक्त प्रशिक्षण की विफलता): यदि $\beta$ और $g$ को संयुक्त रूप से प्रशिक्षित किया जाता है, तो स्ट्रक्चरल आइडेंटिफिएबिलिटी टूट जाती है। यदि लागत एट्रिब्यूट फाउंडेशन मॉडल के प्रेडिक्शन्स ( $q$ ) से रिकवर किया जा सकता है, तो समाधानों का एक एक-पैरामीटर परिवार मौजूद होता है जहाँ स्ट्रक्चरल कॉस्ट कोएफिशिएंट और करेक्शन टर्म एक-दूसरे को निरस्त (cancel) कर देते हैं। इससे स्ट्रक्चरल कोएफिशिएंट (जैसे, $\beta_{\text{cost}}$ ) का पतन होता है और व्याख्या योग्य ट्रेड-ऑफ रेश्यो का नुकसान होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन दो फाउंडेशन मॉडल्स (Mitra, TabPFN) के साथ तीन डिस्क्रीट-चॉइस डेटासेट्स (Swissmetro, LPMC, IoT-Wearables) पर किया गया।

सटीकता (Accuracy): एडैप्टर फाउंडेशन मॉडल के अधिकांश सटीकता लाभ को रिकवर करता है। यह स्टैंडअलोन MNL की तुलना में औसतन 6.4 प्रतिशत अंक (pp) (12.8 pp तक) बेहतर प्रदर्शन करता है और रॉ फाउंडेशन मॉडल से अधिकतम 2 pp ही पीछे रहता है।
व्यवहार संबंधी वैधता (Behavioral Validity):
- मोनोटोनिसिटी: एडैप्टर सभी डेटासेट्स पर कॉस्ट के लिए 100% मोनोटोनिसिटी प्राप्त करता है, जबकि रॉ फाउंडेशन मॉडल्स काफी विफल होते हैं (जैसे, LPMC पर TabPFN: 28.9% मोनोटोनिक)।
- ट्रेड-ऑफ रेश्यो: एडैप्टर MNL के VOT और WTP को सटीक रूप से सुरक्षित रखता है। इसके विपरीत, रॉ फाउंडेशन मॉडल्स अवास्तविक मान (जैसे, नकारात्मक VOT) उत्पन्न करते हैं और फीचर-अगमेंटेड MNL बेसलाइन्स "ड्रिफ्ट" से पीड़ित होते हैं, जो कई गुना अधिक VOT अनुमान देते हैं (जैसे, 1509 CHF/hr बनाम 84.4 CHF/hr)।
- उपलब्धता: एडैप्टर अनुपलब्ध विकल्पों के लिए शून्य प्रायिकता बनाए रखता है, जबकि रॉ मॉडल्स में प्रायिकता का रिसाव होता है ( $2 \times 10^{-3}$ तक)।
काउंटरफैक्चुअल मूल्यांकन: +10% कॉस्ट परटर्बेशन के तहत, एडैप्टर और MNL लगातार मार्केट शेयर में गिरावट का अनुमान लगाते हैं। रॉ फाउंडेशन मॉडल्स ने 16 में से 6 परिदृश्यों में इस मोनोटोनिसिटी का उल्लंघन किया, जो उच्च कीमतों के लिए बढ़ती मांग का अनुमान लगाते हैं।
मजबूती (Robustness): यहाँ तक कि जब फाउंडेशन मॉडल का कॉन्टेक्स्ट मूल आकार के 10% तक सीमित होता है, तब भी एडैप्टर MNL पर कम से कम 6 pp का सटीकता लाभ बनाए रखता है।

5. महत्व और दावे (Significance and Claims)

पेपर एक "मॉडल-एग्नोस्टिक" रेसिपी प्रदान करने का दावा करता है जो डिस्क्रीट-चॉइस मॉडलिंग में प्रेडिक्टिव सटीकता और आर्थिक निरंतरता के बीच तनाव को हल करती है।

डिजाइन चॉइस के रूप में स्ट्रक्चरल गारन्टी: लेखक तर्क देते हैं कि आर्थिक गारन्टी (मोनोटोनिसिटी, व्याख्या योग्य WTP) अनुभवजन्य दुर्घटनाएं नहीं बल्कि मॉडल आर्किटेक्चर के गणितीय गुण होने चाहिए। दो-चरणीय एडैप्टर इसे निर्माण द्वारा (by construction) प्राप्त करता है।
दक्षता: इस पद्धति के लिए फाउंडेशन मॉडल के वेट्स तक ग्रेडिएंट एक्सेस की आवश्यकता नहीं है, जो इसे TabPFN जैसे इन-कॉन्टेक्ट लर्निंग मॉडल्स के अनुकूल बनाता है।
ऑडिट पाइपलाइन: यह कार्य डिस्क्रीट-चॉइस डेटासेट्स के लिए एक सामान्यीकरण योग्य ऑडिट पाइपलाइन पेश करता है जो मॉडल के आंतरिक ज्ञान की आवश्यकता के बिना मोनोटोनिसिटी, ट्रेड-ऑफ रेश्यो और उपलब्धता अनुपालन का मूल्यांकन करता है।

लेखक सीमाओं को स्वीकार करते हैं, जैसे कि Swissmetro डेटासेट पर बढ़ा हुआ कैलिब्रेशन एरर (ECE), और प्रपोजिशन 2 की फाउंडेशन मॉडल प्रेडिक्शन्स से कॉस्ट रिकवर करने की क्षमता पर निर्भरता। हालांकि, वे निष्कर्ष निकालते हैं कि एडैप्टर सफलतापूर्वक फाउंडेशन मॉडल प्रेडिक्शन्स को एक स्ट्रक्चरली कंस्ट्रेंड यूटिलिटी में एम्बेड करता है, जो पूर्ण स्ट्रक्चरल वैधता सुनिश्चित करने के लिए न्यूनतम सटीकता लागत (अधिकतम 2 pp) चुकाता है।