🤖 machine learning

Statistically Indistinguishable, Operationally Distinct: A Formal Barrier for Tabular Foundation Models

यह शोध पत्र यह प्रदर्शित करके टैबुलर फाउंडेशन मॉडल्स के लिए एक औपचारिक बाधा स्थापित करता है कि उन्नत तर्क क्षमताओं के बावजूद, वे कानूनी और नियम-उल्लंघन करने वाली डेटाबेस अवस्थाओं के बीच अंतर नहीं कर सकते हैं यदि उनके पास डेटा को नियंत्रित करने वाले परिचालन नियमों तक पहुंच नहीं है, जैसा कि उनके "ऑपरेशनल ट्यूरिंग टेस्ट" को पास करने में विफल होने से प्रमाणित होता है जहाँ केवल नियम-व्युत्पन्न ऑडिट ही पूर्ण सटीकता प्राप्त करते हैं।

मूल लेखक: Tassilo Klein, Johannes Hoffart

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tassilo Klein, Johannes Hoffart

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर की व्याख्या दी गई है।

मुख्य विचार: "मैजिक लेजर" (जादुई बहीखाता) की समस्या

कल्पना कीजिए कि आपके पास एक बैंक का बहीखाता (ledger) है। यह एक विशाल स्प्रेडशीट है जो दिखाती है कि किसके पास कितने पैसे हैं, कौन से लेनदेन हुए, और किसका क्या स्वामित्व है।

अब, कल्पना कीजिए कि आप एक सुपर-स्मार्ट AI (एक "टेबुलर फाउंडेशन मॉडल") को इस स्प्रेडशीट की एक प्रति देते हैं। आप AI से पूछते हैं: "क्या इस पन्ने का बहीखाता कानूनी है, या किसी ने इसके साथ छेड़छाड़ की है?"

यह पेपर तर्क देता है कि AI विफल हो जाएगा। भले ही वह AI दुनिया का सबसे बुद्धिमान हो, लेकिन यदि वह केवल पन्ने पर दिए गए नंबरों को देखता है, तो वह एक असली पन्ने और एक ऐसे नकली पन्ने के बीच अंतर नहीं कर सकता जिसे असली दिखने के लिए सावधानीपूर्वक बदला गया है।

पेपर इसे "ऑपरेशनल ट्यूरिंग टेस्ट" कहता है। यह सिद्ध करता है कि बिना यह जाने कि बैंक उस बहीखाते को लिखने के लिए किन नियमों का उपयोग करता है, AI गणितीय रूप से कुछ प्रकार की धोखाधड़ी को पहचानने में अंधा है।

उपमा: "परफेक्टली फोर्ज्ड रसीद" (बिल्कुल सटीक जाली रसीद)

AI क्यों विफल होता है, इसे समझने के लिए, आइए देखें कि शोधकर्ताओं ने "नकली" डेटा कैसे बनाया।

एक कॉफी शॉप की रसीद की कल्पना करें।

असली रसीद: आपने $5 प्रत्येक की 2 कॉफी खरीदीं। आपको 10% की छूट मिली। कुल राशि$ 9.00 है।
नकली रसीद (भ्रष्टाचार/हेरफेर): किसी ने गणित बदल दिया। वे कहते हैं कि आपने 2 कॉफी खरीदीं, लेकिन कुल राशि $9.05 है। इसे छिपाने के लिए, उन्होंने उस दिन की दुकान में बेची गई हर दूसरी कॉफी की कीमत को एक पैसे के बहुत छोटे हिस्से से थोड़ा कम कर दिया।

परिणाम:

नंबर समान दिखते हैं: यदि आप पूरे दिन के लिए "औसत मूल्य" या "कुल राजस्व" देखते हैं, तो नकली रसीद सांख्यिकीय रूप से असली रसीद के समान ही है। "1-वे" और "2-वे" नंबर (जैसे औसत और संख्याओं के जोड़े) पूरी तरह से मेल खाते हैं।
तर्क (Logic) टूट गया है: इस विशिष्ट रसीद पर गणित गलत है। $5 +$ 5 में से 10% घटाने पर $9.00 होना चाहिए, न कि$ 9.05।

AI की दुविधा:
AI एक ऐसे जासूस की तरह है जो रसीद पर केवल अंतिम नंबर देखता है। वह औसत कीमत और कुल राजस्व देखता है। चूंकि नकली रसीद सांख्यिकीय रूप से वास्तविक आंकड़ों से मेल खाती है, इसलिए AI के पास यह जानने का कोई तरीका नहीं है कि यह एक जालसाजी है। उसे अनुमान लगाना पड़ता है, और वह केवल 50% बार सही अनुमान लगा पाता है (जैसे सिक्का उछालना)।

"एक्सेस लैडर" (पहुंच की सीढ़ी): AI कितनी ऊँचाई तक चढ़ सकता है?

शोधकर्ताओं ने अलग-अलग स्तर के "एक्सेस" पर AI का परीक्षण किया, जैसे एक सीढ़ी चढ़ना:

स्तर 1: "अंधा" AI (केवल वैल्यूज-ओनली)
- यह क्या देखता है: केवल नंबरों की एक सूची (औसत, गणना, मानक विचलन)।
- परिणाम: यह पूरी तरह विफल रहता है। यह असली और नकली के बीच अंतर नहीं कर सकता। यह 50/50 का अनुमान लगाता है।
- उपमा: केवल टुकड़ों के रंगों को देखकर पहेली को हल करने की कोशिश करना, न कि उस चित्र को देखना जो वे बनाते हैं।
स्तर 2: "रिलेशनल" AI (संबंधों को देखना)
- यह क्या देखता है: यह देख सकता है कि टेबल आपस में कैसे जुड़ते हैं (जैसे, "यह ऑर्डर ग्राहक X का है")। यह जाँचता है कि क्या ग्राहक मौजूद है और क्या ऑर्डर की संख्या सही है।
- परिणाम: यह कुछ त्रुटियों को पकड़ने में बेहतर हो जाता है (जैसे यदि कोई ग्राहक मौजूद नहीं है), लेकिन यह गणितीय त्रुटियों ( "वैल्यू-ट्रांसफॉर्मेशन" लॉजिक) को पकड़ने में अभी भी विफल रहता है।
- उपमा: AI यह देख सकता है कि ग्राहक असली है, लेकिन वह अभी भी यह गणित लगाने में सक्षम नहीं है कि क्या छूट सही ढंग से लागू की गई थी।
स्तर 3: "रूल-रीडिंग" AI (द ओरेकल/भविष्यवक्ता)
- यह क्या देखता है: यह केवल नंबर नहीं देखता; यह सोर्स कोड और नियमों को भी देखता है (जैसे, "कुल = मूल्य × मात्रा × (1 - छूट)")। यह स्वयं गणित की पुनर्गणना करने के लिए एक चेक चलाता है।
- परिणाम: इसे 100% सटीकता प्राप्त होती है। यह तुरंत नकली रसीद को पकड़ लेता है क्योंकि यह गणित को फिर से चला सकता है और त्रुटि देख सकता है।
- उपमा: यह वह जासूस है जिसके पास मूल रेसिपी बुक है। वे सूप को चख सकते हैं और कह सकते हैं, "यह गलत है क्योंकि आपने चीनी के बजाय नमक का उपयोग किया है," भले ही उसका रंग सही दिख रहा हो।

चौंकाने वाला निष्कर्ष: "सुपर-ब्रेन" भी विफल होते हैं

शोधकर्ताओं ने सबसे उन्नत AI मॉडल्स (जैसे GPT-5.5 और Kimi-K2.6) को लिया और उन्हें सब कुछ दिया:

स्प्रेडशीट डेटा।
डेटाबेस संरचना (स्कीमा)।
नियमों को लिखने वाला वास्तविक कोड।
ट्रिगर स्क्रिप्ट्स।

परिणाम: इतनी सारी जानकारी होने के बावजूद, AI मॉडल फिर भी विफल रहे।

वे कानूनी स्थिति और अवैध स्थिति के बीच विश्वसनीय रूप से अंतर नहीं कर सके।
उन्होंने अक्सर पूरी तरह से वैध स्थितियों को भी "नकली" बताकर खारिज कर दिया।
वे सही SQL क्वेरी लिखने में भी सक्षम नहीं थे, भले ही उनके सामने नियम रखे गए थे।

क्यों? पेपर सुझाव देता है कि समस्या यह नहीं है कि AI "स्मार्ट" नहीं है या उसे अधिक डेटा की आवश्यकता है। समस्या पहचानने योग्य (identifiability) होने की है। यदि डेटा सांख्यिकीय रूप से असली चीज़ के समान दिखता है (क्योंकि जालसाज बहुत चालाक था), तो कोई भी "तर्क" इसे ठीक नहीं कर सकता जब तक कि AI को स्पष्ट रूप से विशिष्ट नियम-जाँच चलाने के लिए प्रोग्राम न किया जाए।

निष्कर्ष: आपको "रूलबुक" की आवश्यकता है

पेपर निष्कर्ष निकालता है कि वास्तविक व्यावसायिक डेटा (जैसे बैंकिंग या बिक्री) पर काम करने के लिए, AI केवल डेटा को "पढ़" नहीं सकता। इसे परिचालन नियमों (operational rules) में निहित (grounded) होना चाहिए।

वर्तमान AI: नंबरों को देखता है और अनुमान लगाता है। (विफल होता है)।
भविष्य का AI: इसे वास्तव में उन नियमों को परिभाषित करने वाले कोड से जुड़ा होना चाहिए ताकि यह गणित की जाँच कर सके। (सफल होता है)।

संक्षेप में: आप केवल लाखों स्प्रेडशीट दिखाकर एक AI को अच्छा ऑडिटर नहीं बना सकते। आपको उसे कैलकुलेटर और नियम पुस्तिका देनी होगी ताकि वह खुद गणित कर सके। इसके बिना, वह केवल अनुमान लगा रहा है।

तकनीकी सारांश: सांख्यिकीय रूप से अविभेद्य, परिचालन संबंधी रूप से भिन्न

समस्या विवरण
यह शोध पत्र सारणीबद्ध (tabular) फाउंडेशन मॉडलों की एक मौलिक सीमा को संबोधित करता है: डेटा उत्पन्न करने वाले परिचालन नियमों (operational rules) तक पहुँच के बिना, उन डेटा के बारे में तर्क करने में उनकी अक्षमता। जबकि ये मॉडल एकल, स्व-निहित तालिकाओं (tables) पर उत्कृष्ट प्रदर्शन करते हैं, उत्पादन तालिकाएँ जटिल प्रणालियों के प्रोजेक्शन होती हैं जहाँ एप्लिकेशन कोड पंक्तियाँ (rows) लिखता है, डिक्लेरेटिव बाधाएं (constraints) मानों को प्रतिबंधित करती हैं, और प्रक्रियात्मक ट्रिगर्स (procedural triggers) परिवर्तनों को लागू करते हैं। फलस्वरूप, मॉडलों के लिए उपलब्ध प्रशिक्षण डेटा में अक्सर वह परिचालन तर्क (नियम, ट्रिगर्स, कोड) नहीं होता है जिसने उन मानों को उत्पन्न किया है। लेखक तर्क देते हैं कि इस "परिचालन ग्राउंडिंग" (operational grounding) तक पहुँच के बिना, मॉडल एक औपचारिक बाधा का सामना करते हैं जहाँ कानूनी और अवैध डेटाबेस अवस्थाएँ केवल मान वितरण (value distributions) के आधार पर सांख्यिकीय रूप से अविभेद्य होती हैं।

कार्यप्रणाली: ऑपरेशनल ट्यूरिंग टेस्ट (OTT)
इस बाधा को खंडन योग्य बनाने के लिए, लेखक 'ऑपरेशनल ट्यूरिंग टेस्ट' (OTT) का निर्माण करते हैं, जो "कानूनी" और "नियम-उल्लंघनकारी" डेटाबेस अवस्थाओं के बीच अंतर करने वाला एक बाइनरी वर्गीकरण कार्य है।

निर्माण: यह परीक्षण एक तीन-तालिका वाले 'ऑर्डर-टू-कैश' स्कीमा (ग्राहक, ऑर्डर, ऑर्डर आइटम) का उपयोग करता है। यह ऐसी अवस्थाओं के जोड़े उत्पन्न करता है जहाँ "अवैध" अवस्था एक विशिष्ट नियम का उल्लंघन करती है लेकिन 1-वे और 2-वे कॉलम-वैल्यू मार्जिनल्स को कुल भिन्नता (total variation - TV) दूरी $\tau < 0.02$ के भीतर सुरक्षित रखती है।
भ्रष्टाचार के प्रकार (Corruption Types): चार परिवारों के परिचालन नियमों का परीक्षण किया गया है:
1. रिलेशनल वैल्यू कंसिस्टेंसी: फॉरेन की (foreign key) बाधाओं को तोड़ना (जैसे, अज्ञात मानों के साथ ID को बदलना)।
2. कार्डिनैलिटी कंसिस्टेंसी: एग्रीगेट बाउंड्स का उल्लंघन करना (जैसे, प्रति ऑर्डर आइटम की संख्या), जबकि व्यक्तिगत पंक्ति मानों को सुरक्षित रखना।
3. वैल्यू-ट्रांसफॉर्मेशन लॉजिक: प्रक्रियात्मक सूत्रों (जैसे, $total = \sum line\_items \times (1 + tax)$ ) का उल्लंघन करना, जिसमें ऐसे ऑफसेट्स जोड़े जाते हैं जो कॉलम के आर-पार एक दूसरे को रद्द कर देते हैं, जिससे हिस्टोग्राम अपरिवर्तित रहता है।
4. वैल्यू-स्टेट ट्रांज़िशन: स्टेट ट्रांज़िशन नियमों का उल्लंघन करना (जैसे, pending $\to$ shipped), जबकि स्टेटस मानों के मार्जिनल वितरण को सुरक्षित रखना।
सैद्धांतिक सीमा: लेखक किसी भी "केवल-मानों" (values-only) वाले क्लासिफायर (जो केवल कॉलम-वैल्यू मार्जिनल्स तक सीमित है) के लिए बेयस एरर (Bayes error) पर एक सैद्धांतिक निचली सीमा स्थापित करने के लिए ले कैम के लेम्मा (Le Cam's lemma) का उपयोग करते हैं। यदि कानूनी और अवैध वितरणों के बीच TV दूरी $\le \tau$ है, तो त्रुटि $\frac{1}{2} - \frac{\tau}{2}$ द्वारा सीमित है। $\tau < 0.02$ के साथ, न्यूनतम त्रुटि $\ge 0.49$ है, जिसका अर्थ है कि सटीकता $\approx 0.50$ (संयोग) से अधिक नहीं हो सकती।

प्रायोगिक सेटअप
यह अध्ययन यह निर्धारित करने के लिए एक "एक्सेस लैडर" (access ladder) के माध्यम से मॉडलों का मूल्यांकन करता है कि बाधा को पार करने के लिए किस जानकारी की आवश्यकता है:

वैल्यूज़-ओनली बेसलाइन्स: केवल कॉलम सांख्यिकी (मीन, मानक विचलन, चतुर्थक आदि) के 35-आयामी सारांश से फीड किए गए मॉडल। आर्किटेक्चर में XGBoost, TabICL, और TabPFN शामिल हैं।
रो-लेवल एक्सेस: बिना किसी नियम संदर्भ के कच्चे रो-डेटा (raw row data) से दिए गए मॉडल।
रिलेशनल एक्सेस: जॉइन्स, फॉरेन की कवरेज, और ग्रुप काउंट्स सहित फीचर्स के साथ दिए गए मॉडल।
ऑपरेशनल ग्राउंडिंग: सात निष्पादन योग्य नियम-व्युत्पन्न ऑडिट (जैसे, निरंतरता की जाँच के लिए लाइन आइटम्स से टोटल्स को पुनर्गणना करना) के स्केलर आउटपुट के साथ संवर्धित मॉडल।
फ्रंटियर LLMs: प्रॉम्प्ट में पूर्ण स्कीमा, ट्रिगर सोर्स कोड, नियम तालिकाएँ और स्टेट फ़ाइलें प्रदान किए गए लार्ज लैंग्वेज मॉडल्स (GPT-5.5, Kimi-K2.6), जिनका SQL निष्पादन क्षमताओं के साथ और बिना परीक्षण किया गया।

मुख्य परिणाम

वैल्यूज़-ओनली विफलता: सभी वैल्यूज़-ओनली बेसलाइन्स (XGBoost, TabICL, TabPFN) ने संयोग के सांख्यिकीय रूप से समकक्ष ( $\approx 0.50$ ) सटीकता प्राप्त की। दो वन-साइडेड टेस्ट (TOST) ने पुष्टि की कि वे कानूनी और अवैध अवस्थाओं के बीच अंतर करने में विफल रहे ( $p < 0.002$ )। यह बढ़ते प्रशिक्षण डेटा (5,000 जोड़े तक) और रॉ रो-लेवल एक्सेस के साथ भी बना रहा।
रिलेशनल अपर्याप्तता: रिलेशनल मॉडल्स (HistGB, RDB-PFN) ने काफी सुधार किया, 0.89 सटीकता तक पहुँचे। वे फॉरेन की ब्रेक, कार्डिनैलिटी उल्लंघन और स्टेट ट्रांज़िशन त्रुटियों का पता लगाने में सफल रहे। हालाँकि, वे वैल्यू-ट्रांसफॉर्मेशन लॉजिक पर पूरी तरह विफल रहे (रिकॉल $\le 0.02$ ), क्योंकि केवल कनेक्टिविटी ही टैक्स या डिस्काउंट गणना जैसे निष्पादन योग्य सूत्रों को पुनर्गठित नहीं कर सकती।
ऑपरेशनल ग्राउंडिंग सफलता: सात निष्पादन योग्य नियम-व्युत्पन्न ऑडिट से संवर्धित एक क्लासिफायर ने 1.00 सटीकता प्राप्त की, जिससे अंतर पूरी तरह समाप्त हो गया। यह पुष्टि करता है कि बाधा मॉडल की क्षमता की कमी नहीं, बल्कि परिचालन ग्राउंडिंग की कमी है।
LLM की सीमाएँ: पूर्ण सोर्स आर्टिफैक्ट्स (स्कीमा, कोड, नियम) को प्रॉम्प्ट में प्रदान किए जाने के बावजूद फ्रंटियर LLMs इस परीक्षण में विफल रहे। GPT-5.5 ने 50 में से 0 कानूनी अवस्थाओं को LEGAL वर्गीकृत किया, और Kimi-K2.6 ने केवल 2/50 को वर्गीकृत किया। उच्च तर्क प्रयास और SQL निष्पादन के बावजूद, LLMs सोर्स आर्टिफैक्ट्स को नियत (deterministic) वैधता जाँचों में विश्वसनीय रूप से संकलित करने में विफल रहे, अक्सर प्रेडिकेट्स को गलत बताते या ट्रांसफॉर्मेशन चेक को छोड़ देते।

महत्व और दावे
यह शोध पत्र दावा करता है कि परिचालन नियमों के बिना सिस्टम-जनरेटेड डेटा के बारे में तर्क करने में सारणीबद्ध फाउंडेशन मॉडलों की अक्षमता एक पहचान (identifiability) की समस्या है, न कि क्षमता की समस्या।

औपचारिक बाधा: लेखक स्थापित करते हैं कि जहाँ सांख्यिकीय मार्जिनल्स को उच्च स्तर की सटीकता के साथ मिलाया जाता है, वहाँ कोई भी मॉडल जिसके पास शासन करने वाले नियमों तक पहुँच नहीं है, वह रैंडम चांस से बेहतर प्रदर्शन नहीं कर सकता।
स्वतंत्रता: यह बाधा मॉडल आर्किटेक्चर, स्केल या फीचर समृद्धि से स्वतंत्र है। स्केलिंग लॉ (Scaling laws) परिचालन ग्राउंडिंग की अनुपस्थिति को दूर नहीं कर सकते।
प्रगति के लिए निहितार्थ: लेखक तर्क देते हैं कि सारणीबद्ध फाउंडेशन मॉडलों में प्रगति के लिए डिक्लेरेटिव और प्रक्रियात्मक नियमों को प्रथम-श्रेणी के इनपुट के रूप में मानना आवश्यक है—वह तर्क जिसे मॉडल मूल्यांकित कर सके—न कि केवल रिट्रीव किए गए टेक्स्ट के रूप में। वर्तमान बेंचमार्क (जैसे TabArena) इस विफलता मोड को मिस करते हैं; केवल ऑपरेशनल बेंचमार्क जो "एक्सेस लैडर" के विरुद्ध परीक्षण करते हैं, वर्तमान मॉडलों की वास्तविक सीमाओं को प्रकट करते हैं।

शोध पत्र निष्कर्ष निकालता है कि चलते हुए सिस्टमों द्वारा उत्पन्न डेटा के लिए, परिचालन सत्यापन (यह जानना कि कौन सा नियम मूल्यांकित किया जाना चाहिए) विश्वास के लिए एक पूर्व शर्त है, और वर्तमान फाउंडेशन मॉडल, पूर्ण संदर्भ के बावजूद, बिना स्पष्ट, निष्पादन योग्य नियम व्युत्पत्ति के इस सत्यापन को विश्वसनीय रूप से करने के लिए तंत्र की कमी रखते हैं।