Do Tabular Foundation Models Agree with Themselves?
यह शोध पत्र प्रकट करता है कि टैबुलर फाउंडेशन मॉडल्स (TFMs) निष्ठावान संयुक्त वितरण (joint distributions) उत्पन्न करने में विफल रहते हैं क्योंकि वे सभी मूल्यांकित डेटासेट्स और कार्यों में मार्जलाइजेशन (marginalization) और फैक्टराइजेशन (factorization) निरंतरता की आवश्यकताओं, दोनों का उल्लंघन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन आप अपराध स्थल में सुराग नहीं ढूंढ रहे हैं, बल्कि एक विशाल स्प्रेडशीट में सुराग ढूंढ रहे हैं। यह टेबुलर फाउंडेशन मॉडल्स (Tabular Foundation Models) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस का एक नया और चर्चित क्षेत्र है जहाँ कंप्यूटर डेटा की पंक्तियों और कॉलमों के आधार पर चीजों की भविष्यवाणी करना सीखते हैं, जैसे कि यह अनुमान लगाना कि ऋण वापस किया जाएगा या नहीं, या किसी घर की कीमत क्या होगी। ये मॉडल बेयसियन इन्फरेंस (Bayesian inference) नामक एक चतुर विचार पर आधारित हैं, जो मूल रूप से एक फैंसी तरीका है यह कहने का कि, "आइए हम नए साक्ष्यों के आधार पर अपने विश्वासों को अपडेट करें।" इसे एक मौसम पूर्वानुमानकर्ता की तरह समझें जो बारिश के बारे में एक सामान्य अनुमान के साथ शुरू करता है, लेकिन जैसे ही उसे काले बादल दिखते हैं, वह अपनी भविष्यवाणी को अपडेट करके कहता है, "ठीक है, अब निश्चित रूप से बारिश होने वाली है।"
लंबे समय तक, वैज्ञानिकों को उम्मीद थी कि ये AI मॉडल डेटा के लिए आदर्श "मौसम पूर्वानुमानकर्ता" होंगे। उनका मानना था कि यदि आप मॉडल से किसी चीज़ की भविष्यवाणी करने के लिए कहते हैं, और फिर उस भविष्यवाणी का उपयोग दूसरी चीज़ का अनुमान लगाने के लिए करते हैं, तो उसके द्वारा बताई गई पूरी कहानी पूरी तरह से मेल खाएगी, ठीक वैसे ही जैसे एक अच्छी तरह से लिखी गई कहानी जहाँ हर अध्याय तार्किक रूप से अगले अध्याय से जुड़ता है। लेकिन यहाँ एक पेंच है: वास्तविक दुनिया में, हमें अक्सर "सही" उत्तर पता नहीं होता जिससे हम मिलान कर सकें। यह एक छात्र के निबंध को बिना उत्तर कुंजी (answer key) के ग्रेड देने जैसा है। इसलिए, यह पूछने के बजाय कि, "क्या यह मॉडल सही है?", शोधकर्ताओं ने एक सरल, लेकिन अधिक कठिन प्रश्न पूछा: "क्या यह मॉडल खुद के साथ एक सुसंगत कहानी भी बताता है?" वे जानना चाहते थे कि क्या AI केवल यादृच्छिक (random) नंबर बना रहा है जो दिखने में अच्छे लगते हैं, या क्या यह वास्तव में तर्क और प्रायिकता (probability) के सख्त नियमों का पालन कर रहा है।
जिस शोध पत्र के बारे में आप सुनने जा रहे हैं, उसका शीर्षक है "Do Tabular Foundation Models Agree with Themselves?" (क्या टेबुलर फाउंडेशन मॉडल्स खुद से सहमत होते हैं?), यह सीधे इस रहस्य की गहराई में उतरता है। क्रिस्टियन क्लोटरगेन्स (Christian Klötergens) और उनकी टीम के नेतृत्व में शोधकर्ताओं ने टेबुलर डेटा के लिए सबसे लोकप्रिय AI मॉडल्स (जैसे TabPFN, TabICL, और TabFM) को एक कठोर "तर्क परीक्षण" (logic test) से गुजरने का निर्णय लिया। उन्होंने केवल मॉडल से भविष्यवाणी करने के लिए नहीं कहा; उन्होंने उनसे एक ही कहानी दो अलग-अलग तरीकों से बताने के लिए कहा और जांचा कि क्या कहानियाँ आपस में मेल खाती हैं।
कल्पना कीजिए कि आप एक रहस्यमयी स्मूदी (smoothie) के स्वाद का अनुमान लगाने की कोशिश कर रहे हैं।
- परीक्षण 1 (मार्जिनलाइजेशन कंसिस्टेंसी - Marginalization Consistency): आप AI से पूछते हैं, "इस स्मूदी का स्वाद क्या है?" फिर, आप उससे पूछते हैं, "यदि स्मूदी लाल है, तो इसका स्वाद क्या है? और यदि यह नीली है, तो इसका स्वाद क्या है?" अंत में, आप उन दोनों जवाबों को इस आधार पर मिलाते हैं कि स्मूदी के लाल होने की कितनी संभावना है और नीली होने की कितनी। यदि AI सुसंगत है, तो यह "मिश्रित" उत्तर पहले दिए गए सीधे उत्तर के बिल्कुल समान होना चाहिए।
- परीक्षण 2 (फैक्टरइजेशन कंसिस्टेंसी - Factorization Consistency): आप AI से स्मूदी की सामग्री की कहानी दो अलग-अलग क्रमों में बताने के लिए कहते हैं। पहले, वह फल का अनुमान लगाता है, फिर मिठास (sweetener) का। दूसरा, वह मिठास का अनुमान लगाता है, फिर फल का। यदि AI वास्तव में डेटा को समझ रहा है, तो स्मूथी की अंतिम तस्वीर समान होनी चाहिए, चाहे उसने पहले किसी भी सामग्री का अनुमान लगाया हो।
शोधकर्ताओं ने वास्तविक दुनिया के विभिन्न डेटासेट्स पर ये परीक्षण किए, वाइन की गुणवत्ता रेटिंग से लेकर कारों की कीमतों और मेडिकल रिकॉर्ड तक। उन्होंने एक गणितीय पैमाने के रूप में टोटल वेरिएशन डिस्टेंस (Total Variation Distance) का उपयोग किया ताकि उनके उत्तरों के बीच की दूरी को मापा जा सके। स्कोर 0 का अर्थ है कि मॉडल पूरी तरह से सुसंगत है; उच्च स्कोर का अर्थ है कि वह खुद का खंडन कर रहा है।
परिणाम चौंकाने वाले थे। प्रत्येक मॉडल ने दोनों परीक्षणों में विफलता दर्ज की। प्रत्येक डेटासेट पर, सरल हाँ/ना वाले प्रश्नों (classification) और संख्या-अनुमान लगाने वाले प्रश्नों (regression) दोनों के लिए, मॉडल्स ने पूछने के तरीके के आधार पर अलग-अलग उत्तर दिए। यह ऐसा है जैसे AI ने आपसे सीधे पूछा जाने पर कहा कि स्मूदी "स्ट्रॉबेरी" है, लेकिन जब आपसे रंग के बारे में पहले पूछा गया, तो अचानक उसने तय किया कि यह "ब्लूबेरी" है, भले ही रंग वही था।
शोध पत्र में पाया गया कि हालांकि कुछ मॉडल अन्य मॉडलों की तुलना में अधिक सुसंगत कहानी बताने में थोड़े बेहतर थे (उदाहरण के लिए, TabFM नामक मॉडल सबसे सुसंगत क्लासिफायर था, और TabPFNv3 वह रिग्रेसर था जो निरंतरता के सबसे करीब था), उनमें से कोई भी वास्तव में सुसंगत नहीं था। वास्तव में, विसंगतियाँ इतनी व्यापक थीं कि शोधकर्ताओं ने निष्कर्ष निकाला कि ये मॉडल वास्तव में डेटा के एकल, एकीकृत "संयुक्त वितरण" (joint distribution) का प्रतिनिधित्व नहीं करते हैं। सरल शब्दों में: मॉडल्स डेटा के उन सख्त नियमों का पालन नहीं कर रहे हैं जिनका उन्हें अनुकरण करना चाहिए। वे अनिवार्य रूप से पूछने के क्रम के आधार पर वास्तविकता के अलग-अलग संस्करणों का भ्रम (hallucination) पैदा कर रहे हैं।
लेखकों ने यह भी पाया कि एक "अच्छा" प्रेडिक्टर होना (ज्यादातर बार सही उत्तर देना) आपको एक "सुसंगत" प्रेडिक्टर नहीं बनाता है। एक मॉडल घर की कीमत का अनुमान लगाने में बहुत सटीक हो सकता है, लेकिन फिर भी वह खुद का खंडन कर सकता है यदि आप उससे उसके तर्क को अलग क्रम में समझाने के लिए कहें। यह सुझाव देता है कि निरंतरता (consistency) एक अलग, छिपी हुई खामी है जिसे वर्तमान बेंचमार्क मिस कर देते हैं।
तो, भविष्य के लिए इसका क्या अर्थ है? शोध पत्र यह नहीं कहता कि ये मॉडल बेकार हैं—वे कई कार्यों के लिए हमारे पास उपलब्ध सबसे अच्छे उपकरण हैं। हालांकि, यह एक चेतावनी देता है कि हम इन मॉडल्स पर आँख मूंदकर भरोसा नहीं कर सकते यदि हमें चरों (variables) के बीच जटिल संबंधों के बारे में सुसंगत जानकारी चाहिए। शोधकर्ता सुझाव देते हैं कि भविष्य के मॉडल्स को "निरंतरता" को एक मुख्य विशेषता के रूप में शामिल करते हुए बनाया जाना चाहिए, शायद उन्हें इन विरोधाभासों के लिए दंडित (penalize) करने के लिए प्रशिक्षित करके, न कि केवल अंतिम उत्तर प्राप्त करने पर ध्यान केंद्रित करके। तब तक, हमें यह याद रखना होगा कि ये शक्तिशाली AI "जासूस" सुराग खोजने में माहिर हैं, लेकिन वे पूछने वाले के आधार पर कहानी के अलग-अलग संस्करण भी सुना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।