🤖 AI

When Tabular Foundation Models Meet Strategic Tabular Data: A Prior Alignment Approach

यह शोध पत्र स्ट्रैटेजिक प्रायर-डेटा फिटेड नेटवर्क (SPN) को प्रस्तुत करता है, जो एक इन्फरेंस-टाइम फ्रेमवर्क है जो रणनीतिक इन-कॉन्टेक्स्ट उदाहरणों का निर्माण करके टैबुलर फाउंडेशन मॉडल्स को रणनीतिक डेटा वितरणों के साथ संरेखित करता है, जिससे बिना मॉडल पुन: प्रशिक्षण के पोस्ट-डिप्लॉयमेंट फीचर हेरफेर के कारण होने वाले प्रेडिक्शन बायस (पूर्वाग्रह) को दूर किया जा सके।

मूल लेखक: Xinpeng Lv, Yunxin Mao, Renzhe Xu, Chunyuan Zheng, Yikai Chen, Haoxuan Li, Jinxuan Yang, Kun Kuang, Yuanlong Chen, Mingyang Geng, Wanrong Huang, Shixuan Liu, Shaowu Yang, Wenjing Yang, Zhouchen Lin, H

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinpeng Lv, Yunxin Mao, Renzhe Xu, Chunyuan Zheng, Yikai Chen, Haoxuan Li, Jinxuan Yang, Kun Kuang, Yuanlong Chen, Mingyang Geng, Wanrong Huang, Shixuan Liu, Shaowu Yang, Wenjing Yang, Zhouchen Lin, Haotian Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: जब AI आपके साथ खेल खेलना सीख जाता है

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, प्री-ट्रेंड (पहले से प्रशिक्षित) AI सहायक है (जैसे कि एक "टेबुलर फाउंडेशन मॉडल") जो डेटा के आधार पर निर्णय लेने में उत्कृष्ट है। इसे एक मास्टर शेफ की तरह समझें जिसने लाखों रेसिपी चखी हैं और केवल सामग्री की सूची देखकर तुरंत बता सकता है कि व्यंजन का स्वाद कैसा होगा।

समस्या: "रणनीतिक" भोजन करने वाला (The "Strategic" Diner)
वास्तविक दुनिया में, चीजें हमेशा निष्क्रिय नहीं होती हैं। कभी-कभी, जिन लोगों का मूल्यांकन किया जा रहा है, वे नियमों को जानते हैं और सिस्टम के साथ "खेलने" (गेम करने) की कोशिश करते हैं।

परिदृश्य: कल्पना कीजिए कि एक बैंक इस AI का उपयोग यह तय करने के लिए कर रहा है कि किसे ऋण (लोन) दिया जाए।
गैर-रणनीतिक दुनिया: लोग बस अपनी वास्तविक आय और खर्चों को प्रस्तुत करते हैं। AI पूरी तरह से काम करता है।
रणनीतिक दुनिया: एक बार जब लोगों को पता चल जाता है कि AI उच्च आय की तलाश कर रहा है, तो वे बेहतर दिखने के लिए अस्थायी रूप से अपनी रिपोर्ट की गई संख्याओं को बढ़ा सकते हैं या खर्चों को छिपा सकते हैं। वे शेफ को धोखा देने के लिए "नकली सामग्री की सूची" तैयार कर रहे हैं।

यह पेपर तर्क देता है कि ये प्री-ट्रेंड AI शेफ "ईमानदार" डेटा पर प्रशिक्षित होते हैं। जब वे अचानक ऐसे लोगों के सामने आते हैं जो सामग्री के बारे में झूठ बोल रहे हैं, तो वे भ्रमित हो जाते हैं। वे पुराने, ईमानदार नियमों के आधार पर निर्णय लेना जारी रखते हैं, जिससे गलत निर्णय होते हैं (जैसे कि उन लोगों को ऋण देना जो वास्तव में उसे चुका नहीं पाएंगे)।

मुख्य खोज: एक बेमेल मानचित्र (A Mismatched Map)

लेखकों ने पाया कि AI का "मानसिक मानचित्र" (जिसे वे प्रायर/Prior कहते हैं) एक ऐसी दुनिया के लिए बनाया गया था जहाँ लोग झूठ नहीं बोलते। लेकिन वास्तविक दुनिया में, लोग बेहतर परिणाम पाने के लिए झूठ बोलते हैं।

उपमा: कल्पना कीजिए कि AI के पास एक शहर का मानचित्र है जहाँ सभी सड़कें सीधी हैं। लेकिन शहर बदल गया है; लोगों ने ट्रैफिक से बचने के लिए शॉर्टकट और डायवर्जन बना लिए हैं। यदि AI पुराने मानचित्र का उपयोग करके नेविगेट करने की कोशिश करता है, तो वह खो जाएगा।
परिणाम: यह बेमेल स्थिति AI को व्यवस्थित त्रुटियां करने का कारण बनती है। जैसे-जैसे अधिक लोग सिस्टम के साथ "खेलना" शुरू करते हैं, यह कम सटीक हो जाता है और गलत अलार्म (अच्छे लोगों को अस्वीकार करना या बुरे लोगों को स्वीकार करना) देने की संभावना बढ़ जाती है।

समाधान: SPN (एक "भूमिका निभाने वाला" शेफ)

यह पेपर एक नई विधि प्रस्तावित करता है जिसे SPN (स्ट्रैटेजिक प्रायर-फिटेड नेटवर्क) कहा जाता है। सबसे अच्छी बात? उन्हें शेफ को फिर से प्रशिक्षित करने या नया किचन बनाने की आवश्यकता नहीं थी। उन्होंने बस यह बदल दिया कि शेफ मेनू को कैसे देखता है।

यह कैसे काम करता है ("इन-कॉन्टेक्स्ट" ट्रिक):
AI को फिर से प्रशिक्षित करने के बजाय, SPN इन-कॉन्टेक्स्ट लर्निंग नामक तकनीक का उपयोग करता है। इसे इस प्रकार समझें:

सेटअप: AI द्वारा किसी नए व्यक्ति पर निर्णय लेने से पहले, सिस्टम AI के ठीक सामने एक "अभ्यास दौर" (practice round) बनाता है।
सिमुलेशन: यह AI को उदाहरणों की एक सूची दिखाता है जो कहते हैं: "यहाँ व्यक्ति A मूल रूप से कैसा दिखता था, और यहाँ वह कैसा दिखता है जब उसने सिस्टम को धोखा देने की कोशिश की।"
एलाइनमेंट (सामंजस्य): इन "पहले और बाद के" जोड़ों को संदर्भ (context) में देखकर, AI का आंतरिक तर्क बदल जाता है। यह प्रभावी रूप से "जाग" जाता है और महसूस करता है, "ओह, मैं समझ गया! लोग अपनी संख्या बदल रहे हैं। मुझे अपनी अपेक्षाओं को समायोजित करने की आवश्यकता है।"

यह एक शिक्षक की तरह है जो छात्र को एक गणित की समस्या दिखाता है, फिर तुरंत उसी समस्या का एक संस्करण दिखाता है जहाँ संख्याएँ बदली गई हैं, और पूछता है, "इससे उत्तर कैसे बदलता है?" छात्र बिना किसी नए टेक्स्टबुक के तुरंत पैटर्न को सीख जाता है।

यह पुराने तरीके से बेहतर क्यों है

आमतौर पर, जब कोई सिस्टम चकमा देने लगता है, तो इंजीनियरों को मॉडल को री-ट्रेन (पुनः प्रशिक्षित) करना पड़ता है। यह शेफ को निकालने और नया शेफ रखने, या पुराने शेफ को महीनों के लिए कुकरी स्कूल वापस भेजने जैसा है। इसमें बहुत समय, पैसा और नया डेटा लगता है।

पेपर दिखाता है कि SPN बहुत तेज़ और सस्ता है:

कोई री-ट्रेनिंग नहीं: AI को फिर से सिखाने की आवश्यकता नहीं है।
तत्काल अनुकूलन: यह "अभ्यास उदाहरणों" (रणनीतिक संदर्भ) को देखकर वास्तविक समय में अनुकूलित हो जाता है।
दक्षता: यह बहुत कम उदाहरण दिखाने पर भी अच्छा काम करता है, जबकि री-ट्रेनिंग के लिए भारी मात्रा में नए डेटा की आवश्यकता होती है।

परिणाम

शोधकर्ताओं ने वास्तविक दुनिया के डेटा (जैसे क्रेडिट स्कोरिंग और स्पैम डिटेक्शन) और सिंथेटिक डेटा पर इसका परीक्षण किया।

परिणाम: जब लोगों ने सिस्टम के साथ "खेलना" शुरू किया, तो पुराने AI मॉडल के प्रदर्शन में गिरावट आई। नया SPN तरीका मजबूत और सटीक बना रहा।
सुरक्षा जाल: जब लोग "धोखा देने की कोशिश नहीं कर रहे थे" (सामान्य, ईमानदार परिदृश्य), तब भी SPN मौजूदा सर्वोत्तम मॉडलों की तरह ही अच्छा काम करता था। इसने AI को तोड़ा नहीं; इसने बस इसे धोखाधड़ी की संभावना के प्रति अधिक स्मार्ट बनाया।

सारांश

यह पेपर स्मार्ट AI मॉडल्स को "स्ट्रीट-स्मार्ट" (चतुर) बनाने का एक तरीका पेश करता है। यह मानकर नहीं चलता कि हर कोई ईमानदार है, बल्कि AI को यह अनुमान लगाना सिखाया जाता है कि लोग डेटा में हेरफेर करने की कोशिश कर सकते हैं। यह निर्णय लेने से ठीक पहले AI को हेरफेर के उदाहरण दिखाकर किया जाता है, जिससे इसे किसी महंगे बदलाव के बिना तुरंत अपने निर्णय को समायोजित करने की अनुमति मिलती है।

तकनीकी सारांश: जब टैबुलर फाउंडेशन मॉडल रणनीतिक टैबुलर डेटा से मिलते हैं: एक प्रायोर अलाइनमेंट दृष्टिकोण

1. समस्या विवरण (Problem Statement)

टैबुलर फाउंडेशन मॉडल्स, विशेष रूप से प्रायर-डेटा फिटेड नेटवर्क्स (PFNs) जैसे कि TabPFN पर आधारित, इन-कॉन्टेक्स्ट लर्निंग (ICL) के माध्यम से विविध गैर-रणनीतिक (non-strategic) टैबुलर कार्यों पर मजबूत सामान्यीकरण क्षमता प्रदर्शित कर चुके हैं। हालाँकि, ये मॉडल आमतौर पर उन वितरणों (distributions) पर प्री-ट्रेन किए जाते हैं जहाँ डेटा निष्क्रिय रूप से देखा जाता है, यह मानते हुए कि तैनाती (deployment) के बाद फीचर वितरण स्थिर रहता है।

कई वास्तविक दुनिया के निर्णय परिदृश्यों में (जैसे क्रेडिट स्कोरिंग, नीति आवंटन), वातावरण रणनीतिक (strategic) होता है। एक बार जब कोई निर्णय नियम तैनात किया जाता है, तो व्यक्ति अनुकूल परिणामों को प्राप्त करने के लिए अपने अवलोकन योग्य फीचर्स (features) को सक्रिय रूप से हेरफेर (manipulate) कर सकते हैं। यह व्यवहार एक पोस्ट-डिप्लॉयमेंट डिस्ट्रीब्यूशन शिफ्ट (post-deployment distribution shift) को प्रेरित करता है, जहाँ अनुमान के समय (inference time) देखा गया डेटा प्री-ट्रेनिंग वितरण से व्यवस्थित रूप से भिन्न होता है।

यह शोध एक महत्वपूर्ण विफलता मोड की पहचान करता है: रणनीतिक डेटा पर लागू होने पर PFN-शैली के मॉडल व्यवस्थित भविष्यवाणी पूर्वाग्रह (systematic prediction bias) से ग्रस्त होते हैं। ऐसा इसलिए होता है क्योंकि सीखा गया गैर-रणनीतिक मेटा-प्रायर (non-strategic meta-prior) तैनाती के समय सामना किए गए पोस्ट-मैनिप्युलेशन रणनीतिक प्रायर (post-manipulation strategic prior) के साथ असंगत (misaligned) होता है। सैद्धांतिक विश्लेषण से पता चलता है कि यदि रणनीतिक कार्य वितरण गैर-रण terlihat (non-strategic) प्री-ट्रेनिंग प्रायर के सपोर्ट के बाहर स्थित हैं, तो एक अपरिहार्य भविष्यवाणी पूर्वाग्रह उत्पन्न होता है, जिससे हेरफेर किए गए इनपुट के अनुपात में प्रदर्शन में गिरावट आती है।

2. कार्यप्रणाली: स्ट्रैटेजिक प्रायर-डेटा फिटेड नेटवर्क्स (SPN)

इस मिसअलाइनमेंट को बिना री-ट्रेनिंग या फाइन-ट्यूनिंग के कम्प्यूटेशनल ओवरहेड के संबोधित करने के लिए, लेखक स्ट्रैटेजिक प्रायर-डेटा फिटेड नेटवर्क्स (SPN) का प्रस्ताव करते हैं। SPN एक इन्फरेंस-टाइम फ्रेमवर्क है जो उनकी अंतर्निहित इन-कॉन्टेक्स्ट लर्निंग क्षमताओं का लाभ उठाकर प्री-ट्रेन किए गए PFNs को रणनीतिक वातावरण के साथ संरेखित (align) करता है।

मुख्य तंत्र में एक दो-चरणीय इन्फरेंस प्रक्रिया शामिल है:

रणनीतिक कॉन्टेक्स्ट निर्माण (आंतरिक चरण - Inner Stage):
कंटेक्स्ट के लिए कच्चे गैर-रणनीतिक डेटा का उपयोग करने के बजाय, SPN एक रणनीतिक टैबुलर कॉन्टेक्स्ट का निर्माण करता है। प्रत्येक देखे गए लेबल वाले उदाहरण $(x_i, y_i)$ के लिए, विधि तैनात क्लासिफायर $f$ के आधार पर एजेंट के बेस्ट-रिस्पॉन्स मैनिपुलेशन $b_f(x_i)$ का अनुकरण करती है। यह युग्मित उदाहरणों $\{(x_i, y_i), (b_f(x_i), y_i)\}$ का निर्माण करता है। इन युग्मों को एक रणनीतिक कॉन्टेक्स्ट सेट $\tilde{D}$ में एकत्रित किया जाता है।
अटेंशन के माध्यम से प्रायर अलाइनमेंट (बाहरी चरण - Outer Stage):
प्री-ट्रेन किया गया PFN रणनीतिक कॉन्टेक्स्ट $\tilde{D}$ पर आधारित होकर एक क्वेरी $x^*$ पर इन्फरेंस करता है। सैद्धांतिक रूप से, ट्रांसफॉर्मर आर्किटेक्चर में सेल्फ-अटेंशन मैकेनिज्म इस कॉन्टेक्स्ट को एक निहित अनुकूलन (implicit optimization) चरण के रूप में व्याख्यायित करता है। मॉडल को यह दिखाकर कि रणनीतिक हेरफेर के तहत फीचर्स कैसे बदलते हैं, अटेंशन अपडेट एक ग्रेडिएंट-आधारित रणनीतिक अपडेट का अनुमान लगाता है। यह प्रभावी रूप से मॉडल की आंतरिक स्थिति को पोस्ट-मैनिप्युलेशन वितरण के साथ संरेखित करता है, जिससे प्रायर मिसमैच के कारण होने वाले भविष्यवाणी पूर्वाग्रह को कम किया जा सकता है।

फाइन-ट्यूनिंग क्यों नहीं?
यह शोध SPN की तुलना फाइन-ट्यूनिंग से करता है। जबकि फाइन-ट्यूनिंग मॉडल्स को रणनीतिक डेटा के अनुकूल बना सकती है, इसमें महत्वपूर्ण समय और डेटा लागत आती है, विशेष रूप से जैसे-जैसे हेरफेर की आवृत्तियाँ विकसित होती हैं। SPN न्यूनतम अतिरिक्त लागत के साथ इन्फरेंस टाइम पर अलाइनमेंट प्राप्त करता है, जिसमें किसी पैरामीटर अपडेट या आर्किटेक्चरल संशोधन की आवश्यकता नहीं होती है।

3. मुख्य योगदान (Key Contributions)

विफलता का सैद्धांतिक लक्षण वर्णन: लेखक रणनीतिक वातावरण में PFN-शैली के प्रायर्स की सीमा को औपचारिक रूप से परिभाषित करते हैं। वे सिद्ध करते हैं कि गैर-रणनीतिक प्री-ट्रेनिंग प्रायर और रणनीतिक डिप्लॉयमेंट प्रायर के बीच का अंतर एक अपरिहार्य संरचनात्मक भविष्यवाणी पूर्वाग्रह (unavoidable structural prediction bias) की ओर ले जाता है, जिसे गैर-रणनीतिक सपोर्ट के बाहर रणनीतिक वितरणों के "अनकवर्ड मास" (uncovered mass) द्वारा मापा जाता है।
इन्फरेंस-टाइम फ्रेमवर्क (SPN): यह शोध SPN पेश करता है, जो एक स्ट्रैजी-अवेयर फ्रेमवर्क है जो प्रायर अलाइनमेंट के माध्यम से टैबुलर फाउंडेशन मॉडल्स को रणनीतिक सेटिंग्स के अनुकूल बनाता है। यह पोस्ट-मैनिप्युलेशन इनपुट्स का अनुमान लगाने के लिए रणनीतिक इन-कॉन्टेक्स्ट उदाहरणों का निर्माण करता है, जिससे मॉडल को बिना री-ट्रेनिंग के रणनीतिक डेटा पर सामान्यीकरण करने की अनुमति मिलती है।
अनुभवजन्य सत्यापन (Empirical Validation): वास्तविक दुनिया के (जैसे Adult, Census, Spambase) और सिंथेटिक डेटासेट्स पर व्यापक प्रयोगों से पता चलता है कि SPN, शास्त्रीय टैबुलर तरीकों (जैसे XGBoost) और अत्याधुनिक टैबुलर फाउंडेशन मॉडल्स (जैसे TabPFN, TabDPT) दोनों की तुलना में रणनीतिक हेरफेर के तहत निरंतर मजबूती और बेहतर भविष्य कहनेवाला प्रदर्शन में सुधार करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

हेरफेर के प्रति मजबूती (Robustness to Manipulation): जैसे-जैसे रणनीतिक हेरफेर का अनुपात बढ़ता है, मानक PFNs और शास्त्रीय मॉडल महत्वपूर्ण सटीकता गिरावट और बढ़ी हुई फॉल्स पॉजिटिव त्रुटियों को प्रदर्शित करते हैं। इसके विपरीत, SPN विभिन्न हेरफेर अनुपातों में स्थिर प्रदर्शन बनाए रखता है।
सैंपल दक्षता (Sample Efficiency): SPN का प्रदर्शन इन-कॉन्टेक्स्ट उदाहरणों की संख्या ( $k$ ) के साथ सुधरता है, जो $k$ के 10 से 50 तक बढ़ने पर महत्वपूर्ण लाभ दिखाता है, जिसके बाद प्रदर्शन संतृप्त (saturate) हो जाता है। यह दर्शाता है कि SPN सैंपल-एफिशिएंट है और इसे विशाल कॉन्टेक्स्ट टेबल्स की आवश्यकता नहीं है।
सामान्यीकरण (Generalization): SPN विभिन्न हेरफेर व्यवस्थाओं (Mahalanobis cost, Euclidean cost, noisy responses, और heterogeneous capabilities) में मजबूती प्रदर्शित करता है, भले ही कॉन्टेक्स्ट बनाने के लिए उपयोग किया गया मैनिपुलेशन मॉडल टेस्ट-टाइम व्यवस्था से भिन्न हो।
गैर-रणनीतिक संरक्षण (Non-Strategic Preservation): महत्वपूर्ण रूप से, SPN गैर-रणनीतिक सेटिंग्स में अपने प्रदर्शन का त्याग नहीं करता है। मानक गैर-रणनीतिक बेंचमार्क पर, SPN मजबूत प्री-ट्रेन किए गए फाउंडेशन मॉडल्स के समान सटीकता प्राप्त करता है, जो पुष्टि करता है कि हेरफेर की अनुपस्थिति में रणनीतिक कॉन्टेक्स्ट निर्माण सामान्यीकरण को कम नहीं करता है।

5. महत्व और दावे (Significance and Claims)

यह शोध टैबुलर फाउंडेशन मॉडल्स के अनुप्रयोग में एक महत्वपूर्ण अंतर को भरने का दावा करता है। जबकि PFNs ने सामान्य-उद्देश्य वाले टैबुलर लर्निंग के लिए आशाजनक परिणाम दिखाए हैं, रणनीतिक वातावरण (जहाँ एजेंट मॉडल पर प्रतिक्रिया देते हैं) में उनका उपयोग एक अनछुआ और महत्वपूर्ण क्षेत्र रहा है।

लेखक दावा करते हैं कि SPN रणनीतिक डिस्ट्रीब्यूशन शिफ्ट की समस्या के लिए एक सिद्धांत-आधारित, कम-लागत वाला समाधान प्रदान करता है। चुनौती को मॉडल क्षमता के बजाय एक प्रायर अलाइनमेंट समस्या के रूप में पुनर्गठित करके, SPN उच्च-दांव वाले निर्णय पाइपलाइनों (जैसे क्रेडिट स्कोरिंग) में शक्तिशाली प्री-ट्रेन किए गए फाउंडेशन मॉडल्स के उपयोग को सक्षम बनाता है जहाँ रणनीतिक हेरफेर एक वास्तविकता है। यह कार्य इस बात पर जोर देता है कि हालांकि SPN मजबूती में सुधार करता है, यह निष्पक्षता (fairness) के लिए पूरी तरह से स्वचालित समाधान नहीं है; व्यावहारिक तैनाती के लिए अभी भी विषम प्रतिक्रिया क्षमताओं (heterogeneous response capabilities) और संभावित अनुचित परिणामों के सावधानीपूर्वक मूल्यांकन की आवश्यकता है, विशेष रूप से यदि मैनिपुलेशन मॉडल गलत तरीके से निर्दिष्ट (misspecified) है।