Auditing and Fixing Economic Validity in Tabular Foundation Models for Discrete Choice

तकनीकी सारांश: डिस्क्रीट चॉइस के लिए टैबुलर फाउंडेशन मॉडल्स में आर्थिक वैधता का ऑडिटिंग और सुधार

1. समस्या विवरण (Problem Statement)

टैबुलर फाउंडेशन मॉडल्स (TFMs), जैसे कि TabPFN और Mitra, ने पारंपरिक अर्थमितीय (econometric) मॉडलों जैसे कि मल्टीनोमियल लोगिट (MNL) की तुलना में डिस्क्रीट चॉइस कार्यों पर बेहतर भविष्य कहनेवाला प्रदर्शन (predictive accuracy) प्रदर्शित किया है। हालांकि, भविष्य कहनेवाला प्रदर्शन और आर्थिक वैधता (economic validity) के बीच एक महत्वपूर्ण अंतर मौजूद है। जबकि TFMs पैटर्न पहचान में उत्कृष्ट हैं, उनके पूर्वानुमान अक्सर नीति मूल्यांकन के लिए आवश्यक मौलिक आर्थिक तर्क का उल्लंघन करते हैं:

• मोनोटोनिसिटी उल्लंघन (Monotonicity Violations): किसी विकल्प की कीमत (या लागत) बढ़ाने से कभी-कभी उसकी अनुमानित मांग की संभावना बढ़ जाती है।
• अतार्किक इच्छा-की-भुगतान (Implausible Willingness-to-Pay - WTP): व्युत्पन्न 'वैल्यू ऑफ टाइम' (VOT) अनुमान अक्सर नकारात्मक होते हैं या स्थापित बेंचमार्क से कई गुना कम होते हैं, जिसका अर्थ है कि यात्री लंबे और अधिक महंगे सफर को प्राथमिकता देते हैं।
• उपलब्धता गैर-अनुपालन (Availability Non-Compliance): मॉडल उन विकल्पों को गैर-शून्य (non-zero) संभावना प्रदान करते हैं जो भौतिक रूप से उपलब्ध नहीं हैं।

ज्ञान आसवन (knowledge distillation) जैसे मानक उपाय (जैसे कि TFM के सॉफ्ट लेबल्स पर MNL को प्रशिक्षित करना) विफल हो जाते हैं क्योंकि MNL की रैखिक उपयोगिता संरचना (linear utility structure) उस गैर-रैखिक पैटर्न को कैप्चर नहीं कर सकती जो TFMs को उनकी सटीकता का लाभ देती है, जिसके परिणामस्वरूप एक "बॉटलनेक" उत्पन्न होता है जहाँ सटीकता खो जाती है बिना संरचनात्मक दोषों को पूरी तरह से ठीक किए।

2. कार्यप्रणाली: टू-स्टेज बिहेवियरल एडेप्टर (Methodology: The Two-Stage Behavioral Adapter)

लेखक एक टू-स्टेज एडेप्टर प्रस्तावित करते हैं जो आर्थिक सिद्धांत द्वारा बाधित एक उपयोगिता-अधिकतमीकरण (utility-maximization) ढांचे के भीतर TFM भविष्यवाणियों को समाहित करता है। मॉडल एक संरचनात्मक घटक और एक फाउंडेशन मॉडल सुधार के योग के रूप में विकल्प $k$ के लिए उपयोगिता $V_k(x_i)$ को परिभाषित करता है:

$$V_k(x_i) = \underbrace{V_k^{struct}(x_i)}_{\text{आर्थिक संरचना}} + \underbrace{\alpha \log q_k(x_i) + g_k(q(x_i))}_{\text{FM सुधार}}$$

जहाँ:

• $V_k^{struct}$ एक मानक उपयोगिता विनिर्देश है जिसके पैरामीटर बाधित (constrained) हैं (जैसे कि समय और लागत गुणांकों को ऋणात्मक होने के लिए बाधित किया गया है)।
• $q_k(x_i)$ TFM से पूर्व-परिकलित (pre-computed) प्रायिकता है।
• $\alpha$ एक सीखा गया स्केलर भार (learned scalar weight) है।
• $g_k$ एक छोटा न्यूरल नेटवर्क है जो TFM प्रायिकता वेक्टर को एक अवशेष सुधार (residual correction) में मैप करता है।

टू-स्टेज प्रशिक्षण प्रक्रिया:
यह सुनिश्चित करने के लिए कि TFM आर्थिक मापदंडों को विकृत न करे, मॉडल को दो अलग-अलग चरणों में प्रशिक्षित किया जाता है:

1. चरण 1 (संरचनात्मक अनुमान - Structural Estimation): सुधार पद को फ्रीज कर दिया जाता है ($\alpha=0, g_k=0$)। केवल संरचनात्मक मापदंडों को कच्चे डेटा पर प्रशिक्षित किया जाता है। यह एक मानक MNL को फिट करने के समान है, जो यह सुनिश्चित करता है कि गुणांक शुद्ध आर्थिक बुनियादी बातों (समय/लागत संवेदनशीलता) को दर्शाते हैं, बिना TFM के प्रभाव के।
2. चरण 2 (सुधार सीखना - Correction Learning): संरचनात्मक मापदंडों को फ्रीज कर दिया जाता है। केवल $\alpha$ और $g_k$ को TFM की भविष्यवाणियों को अतिरिक्त व्याख्यात्मक चरों (explanatory variables) के रूप में उपयोग करके लॉस को कम करने के लिए प्रशिक्षित किया जाता है।

आर्थिक गारंटी (Economic Guarantees):

• मोनोटोनिसिटी: लागत/समय गुणांकों को $\beta = -\exp(\theta)$ के रूप में पैरामीटराइज़ करके, मॉडल गणितीय रूप से गारंटी देता है कि $\beta < 0$। चूंकि नीति परिवर्तन विश्लेषण के दौरान TFM सुधार स्थिर रहता है, इसलिए उच्च लागत हमेशा उपयोगिता को कम करती है।
• एनालिटिकल VOT: 'वैल्यू ऑफ टाइम' की गणना संरचनात्मक गुणांकों ($\beta_{time}/\beta_{cost}$) के अनुपात के रूप में विश्लेषणात्मक रूप से की जाती है, जिससे संख्यात्मक अवकलन (numerical differentiation) की समस्याओं से बचा जा जाता है।
• उपलब्धता: अनुपलब्ध विकल्पों को $V_k = -\infty$ असाइन किया जाता है, जिससे शून्य प्रायिकता सुनिश्चित होती है।

3. मुख्य योगदान (Key Contributions)

• व्यवहार संबंधी ऑडिट ढांचा (Behavioral Audit Framework): यह पेपर TFMs के लिए मोनोटोनिसिटी, VOT तर्कसंगतता और उपलब्धता अनुपालन के लिए एक प्रोटोकॉल स्थापित करता है, जो यह प्रकट करता है कि कच्चे TFMs इन परीक्षणों में काफी विफल होते हैं (उदाहरण के लिए, 40-65% नकारात्मक VOT अनुमान)।
• नवाचारी वास्तुकला (Novel Architecture): एक टू-स्टेज एडेप्टर का परिचय जो आर्थिक संरचना को भविष्य कहनेवाला सटीकता से अलग करता है, जिससे मॉडल को TFM सटीकता लाभ प्राप्त करने के साथ-साथ आर्थिक सिद्धांत का सख्ती से पालन करने की अनुमति मिलती है।
• प्रायोगिक सत्यापन (Empirical Validation): यह प्रदर्शन करता है कि यह दृष्टिकोण संरचनात्मक वैधता से समझौता किए बिना TFMs और MNLs के बीच सटीकता के अंतर को सफलतापूर्वक प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन दो परिवहन डेटासेट्स पर किया गया: Swissmetro (स्टेटेड प्रेफरेंस) और LPMC (लंदन से रिवील्ड प्रेफरेंस)।

• Swissmetro:

  • सटीकता (Accuracy): एडेप्टर (Mitra या TabPFN का उपयोग करके) ने 76.6% सटीकता प्राप्त की, जो मानक MNL (63.7%) पर 13 प्रतिशत अंक की रिकवरी है और कच्चे TFM (77.7–78.0%) के लगभग बराबर है।
  • वैधता (Validity): 100% मोनोटोनिसिटी और 0% उपलब्धता लीकेज प्राप्त किया।
  • VOT: 79.7 CHF/hr का निरंतर VOT बनाए रखा, जो प्रकाशित बेंचमार्क के अनुरूप है, जबकि कच्चे TFMs ने अतार्किक अनुमान (जैसे, 0.30 CHF/hr) दिए।

• LPMC:

  • सटीकता: एडेप्टर ने 71.8–72.1% सटीकता प्राप्त की, जो MNL (69.8%) की तुलना में 2.0–2.3 प्रतिशत अंक की वृद्धि है।
  • वैधता: 100% मोनोटोनिसिटी और सुसंगत VOT (ट्रांजिट के लिए 1.76 GBP/hr, ड्राइविंग के लिए 18.3 GBP/hr) बनाए रखा।
  • मजबूती (Robustness): 10 सबसैंपल्स में, एडेप्टर ने लगातार सकारात्मक सटीकता लाभ (+2.2 ± 0.5 pp) के साथ पूर्ण मोनोटोनिसिटी दिखाई।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि एडेप्टर उन नीति संदर्भों में फाउंडेशन मॉडल्स को तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है जहाँ आर्थिक स्थिरता अनिवार्य है।

• नीति प्रासंगिकता: यह उन मॉडलों को तैनात करने के जोखिम को संबोधित करता है जिनमें उलटे (inverted) मूल्य-मांग संबंध होते हैं, जो गलत बुनियादी ढांचा निवेश और किराया निर्धारण निर्णयों की ओर ले जा सकते हैं।
• सामान्यीकरण (Generalizability): यह तंत्र केवल MNL तक सीमित नहीं है; संरचनात्मक घटक को मिश्रित लोगिट (mixed logit), नेस्टेड लोगिट (nested logit), या अन्य बाधित चॉइस मॉडलों से बदला जा सकता है, जबकि टू-स्टेज प्रशिक्षण प्रक्रिया लागू रहती है।
• सीमित दायरा: लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि मूल्यांकन वर्तमान में परिवहन डेटासेट्स और दो TFMs तक ही सीमित है। वे कहते हैं कि कम स्थापित आर्थिक सिद्धांत वाले डोमेन (जैसे स्वास्थ्य सेवा) में विस्तार करने के लिए डोमेन-विशिष्ट ऑडिट डिजाइन की आवश्यकता होगी। एडेप्टर को इस तरह डिज़ाइन किया गया है कि यदि TFM की गुणवत्ता खराब है, तो यह स्टैंडअलोन MNL में सहजता से गिर जाए, बजाय इसके कि नए त्रुटियां उत्पन्न करे।