🤖 machine learning

Tabular Foundation Models Can Do Survival Analysis

यह शोध पत्र यह प्रदर्शित करता है कि टैबुलर फाउंडेशन मॉडल, सेंसरिंग को संभालने के लिए टाइम-टू-इवेंट प्रेडिक्शन को बाइनरी क्लासिफिकेशन की एक श्रृंखला के रूप में पुनर्गठित करके, सर्वाइवल एनालिसिस (survival analysis) प्रभावी ढंग से कर सकते हैं, जो एक ऐसी विधि है जो सीधे संचयी विफलता संभावनाओं (cumulative failure probabilities) को मॉडल करती है और 48 वास्तविक दुनिया के डेटासेट्स में मौजूदा बेसलाइन्स से बेहतर प्रदर्शन करती है।

मूल लेखक: Da In Kim, Wei Siang Lai, Kelly W. Zhang

प्रकाशित 2026-07-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Da In Kim, Wei Siang Lai, Kelly W. Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं: "घटना कब होगी?" डेटा साइंस की दुनिया में, इसे सर्वाइवल एनालिसिस (survival analysis) कहा जाता है। यह केवल यह अनुमान लगाने के बारे में नहीं है कि क्या कुछ होगा—जैसे कि एक बल्ब फ्यूज होगा या नहीं—बल्कि यह उसके बारे में है कि वह कब होगा। चिकित्सा (जैसे कि मरीज कब फिर से बीमार हो सकता है), इंजीनियरिंग (यह पता लगाना कि मशीन का पुर्जा कब विफल होगा), या यहाँ तक कि व्यवसाय (यह अनुमान लगाना कि ग्राहक कब सेवा छोड़ सकता है) जैसे क्षेत्रों में यह अत्यंत महत्वपूर्ण है।

हालाँकि, इस रहस्य में एक पेचीदा मोड़ है: सेंसिंग (censoring)। कल्पना कीजिए कि आप एक दौड़ देख रहे हैं, लेकिन कुछ धावक स्टेडियम पार करने से पहले ही बाहर निकल जाते हैं। आप जानते हैं कि वे बाहर निकलने के समय तक दौड़ रहे थे, लेकिन आपको यह नहीं पता कि वे कब फिनिश लाइन पार करते। डेटा की भाषा में, यह "राइट-सेंसिंग" (right-censoring) है। उन लोगों के लिए घटना अभी तक हुई नहीं है, या हमने उनका संपर्क खो दिया है। पारंपरिक गणितीय उपकरण इस लापता जानकारी के साथ संघर्ष करते हैं, क्योंकि उन्हें हर नई समस्या के लिए शून्य से विशेष, जटिल सूत्र बनाने की आवश्यकता होती है।

यहाँ प्रवेश होता है टेबुलर फाउंडेशन मॉडल्स (Tabular Foundation Models - TFMs) का। इन्हें सुपर-स्मार्ट, पूर्व-प्रशिक्षित जासूसों के रूप में सोचें। वे पहले से ही लाखों अलग-अलग "केस फाइलों" (डेटासेट्स) को पढ़ चुके हैं, जो घरों की कीमतों से लेकर मौसम के पैटर्न तक सब कुछ शामिल करती हैं। वे बिना किसी नए प्रशिक्षण के संख्याओं के तालिकाओं में पैटर्न पहचानने में विशेषज्ञ हैं। बड़ा सवाल यह है कि क्या ये सामान्य-उद्देश्य वाले जासूस बिना किसी विशेष डिग्री के सर्वाइवल एनालिसिस के "सेंसर्ड" रहस्य को सुलझा सकते हैं?

पेपर का मुख्य विचार: एक रहस्य को 'हाँ/नहीं' प्रश्नों की श्रृंखला में बदलना

इंपीरियल कॉलेज लंदन के शोधकर्ताओं ने एक चतुर तरकीब आज़माने का निर्णय लिया। इस जटिल "कब होगा?" वाले प्रश्न को सीधे पूछने के बजाय (जो कठिन है जब घड़ी जल्दी रुक सकती है), उन्होंने पूरे समस्या को ही नया रूप दे दिया। उन्होंने इस जटिल प्रश्न को सरल हाँ/नहीं प्रश्नों की एक श्रृंखला में बदल दिया।

कल्पना कीजिए कि आप एक दोस्त से पूछ रहे हैं, "क्या फिल्म शाम 5 बजे तक समाप्त हो जाएगी?" फिर, "क्या यह 6 बजे तक समाप्त हो जाएगी?" फिर, "7 बजे तक?" यदि आप इन सरल प्रश्नों का सही उत्तर दे सकते हैं, तो आप पूरी समयरेखा का पता लगा सकते हैं।

लेखकों ने इस विचार को सर्वाइवल डेटा पर लागू किया। उन्होंने समयरेखा को छोटे, अलग-अलग हिस्सों में काट दिया (जैसे ब्रेड के स्लाइस करना)। प्रत्येक समय अंतराल के लिए, उन्होंने मॉडल से एक बाइनरी (दो विकल्पों वाला) प्रश्न पूछा: "क्या यह घटना इस समय तक हो चुकी है?"

हाँ: घटना घटित हो गई।
नहीं: घटना अभी तक नहीं हुई है।

यही जादू है: यदि डेटा "सेंसर्ड" है (यानी धावक स्टेडियम से बाहर निकल गया), तो मॉडल भविष्य के प्रश्नों को बस "लापता लेबल" (missing labels) के रूप में मानता है। यह भ्रमित नहीं होता; यह बस उस समय के बाद के प्रश्नों को अनदेखा कर देता है जब धावक बाहर चला गया था। यह मॉडल को सर्वाइवल समस्या को हल करने के लिए अपने मानक "हाँ/नहीं" प्रशिक्षण कौशल का उपयोग करने की अनुमति देता है, बिना किसी विशेष सर्वाइवल-विशिष्ट प्रशिक्षण के।

उन्होंने क्या पाया: "क्युमुलेटिव" (Cumulative) ट्रिक सबसे अच्छा काम करती है

टीम ने इस विचार का परीक्षण 48 वास्तविक दुनिया के डेटासेट्स (43 स्थिर और 5 गतिशील जहाँ जानकारी समय के साथ बदलती है) पर किया। उन्होंने इसकी तुलना पुराने विशेषज्ञों (जैसे कॉक्स मॉडल्स) और नए ज़माने के डीप लर्निंग मॉडल्स (जैसे डीपहिट) से की।

यहाँ उनकी खोजें दी गई हैं:

"हाँ/नहीं" दृष्टिकोण जीतता है: जब उन्होंने सरल "क्या यह अब तक हो चुका है?" प्रश्न का उपयोग किया (जिसे वे क्युमुलेटिव फेलियर (Cumulative Failure) मॉडलिंग कहते हैं), तो उनके ऑफ-द-शेल्फ टेबुलर फाउंडेशन मॉडल्स (विशेष रूप से एक जिसे MITRA कहा जाता है) ने लगभग हर किसी को पछाड़ दिया। यह सभी डेटासेट्स पर औसतन शीर्ष प्रदर्शन करने वाला मॉडल रहा।
पुराने तरीके में एक खामी है: प्रश्न पूछने का एक और तरीका भी था: "क्या घटना ठीक इस विशिष्ट समय अंतराल में हुई थी?" (इसे डिस्क्रीट हैजर्ड (Discrete Hazard) मॉडलिंग कहा जाता है)। पेपर में पाया गया कि हालांकि यह कुछ समय अंतरालों के लिए ठीक काम करता था, लेकिन जैसे-जैसे अधिक अंतराल जोड़े गए, यह विफल होने लगा। क्यों? क्योंकि पहले अंतराल का अनुमान लगाने में छोटी सी गलती भी आगे बढ़ते समय बढ़ती जाती है, जैसे "टेलीफोन" का खेल जहाँ संदेश विकृत हो जाता है। "क्युमुलेटिव" विधि ने इसे टाल दिया क्योंकि यह उस बिंदु तक की पूरी तस्वीर को देखता है, जिससे यह बहुत अधिक मजबूत बन जाता है।
कोई प्रशिक्षण आवश्यक नहीं: सबसे अच्छी बात? उन्हें मॉडल्स को फिर से प्रशिक्षित करने की आवश्यकता नहीं पड़ी। उन्होंने बस डेटा डाला, और मॉडल्स ने अपनी मौजूदा "इन-कॉन्टेक्स्ट लर्निंग" क्षमताओं का उपयोग करके समस्या को तुरंत हल कर लिया। यह एक पूर्व-प्रशिक्षित जासूस को एक नई केस फाइल सौंपने जैसा है और उसे तुरंत मामला सुलझाने देने जैसा है क्योंकि वह पहले से ही खेल के नियम जानता है।

प्रमाण और सीमाएँ

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने गणितीय रूप से सिद्ध किया कि यदि आपके पास पर्याप्त डेटा है, तो इन सरल "हाँ/नहीं" प्रश्नों पर त्रुटि (error) को कम करने से आप वास्तविक सर्वाइवल संभावनाओं तक पहुँच जाएंगे। उन्होंने दिखाया कि जैसे-जैसे डेटासेट बढ़े, उनके द्वारा परीक्षण किए गए मॉडल्स वास्तव में संभावनाओं की भविष्यवाणी करने में बेहतर होते गए।

हालाँकि, उन्होंने अपनी सीमाओं के बारे में भी सावधानीपूर्वक नोट किया। यह विधि इस धारणा पर निर्भर करती है कि "ड्रॉपआउट्स" (सेंसिंग) यादृच्छिक (random) हैं और घटना से संबंधित नहीं हैं। यदि स्टेडियम से बाहर निकलने वाले धावक वे थे जो गुप्त रूप $\text{Injured}$ थे और अंत में समाप्त करने वाले थे, तो मॉडल भ्रमित हो सकता है। पेपर में यह भी उल्लेख किया गया कि निरंतर समय को स्लाइस (विभाजन) में बदलने से सटीकता में थोड़ी कमी आती है, लेकिन यह व्यापार सटीकता और गति में भारी लाभ के लिए सार्थक था।

अंततः, यह पेपर सुझाव देता है कि हमें हर सर्वाइवल समस्या के लिए एक नया, विशिष्ट मस्तिष्क बनाने की आवश्यकता नहीं है। कभी-कभी, एक जटिल "कब" वाले रहस्य को सुलझाने का सबसे अच्छा तरीका बस सरल "हाँ या ना" के प्रश्नों की एक श्रृंखला पूछना है, जिससे हमारे पूर्व-प्रशिक्षित AI जासूसों को मुख्य कार्य करने दिया जा सके।

तकनीकी सारांश: टैबुलर फाउंडेशन मॉडल सर्वाइवल एनालिसिस (सर्वाइवल विश्लेषण) कर सकते हैं

समस्या विवरण (Problem Statement)
सर्वाइवल एनालिसिस, या टाइम-टू-इवेंट एनालिसिस, इस बात का मॉडल बनाने का लक्ष्य रखता है कि कोई घटना कब घटित होती है, न कि केवल यह कि वह घटित होती है या नहीं। इस क्षेत्र में एक परिभाषित चुनौती राइट-सेंसरिंग (right-censoring) है, जहाँ अवलोकन अवधि घटना होने से पहले ही समाप्त हो जाती है, जिससे वास्तविक घटना का समय अज्ञात रह जाता है। जबकि टैबुलर फाउंडेशन मॉडल्स (TFMs) ने वर्गीकरण (classification) और रिग्रेशन कार्यों में उल्लेखनीय सफलता प्राप्त की है—अक्सर कम डेटा वाले परिदृश्यों में XGBoost जैसे तरीकों से बेहतर प्रदर्शन करते हुए—उन्हें सर्वाइवल एनालिसिस के लिए अनुकूलित करना गैर-तुच्छ (non-trivial) है। मानक रिग्रेशन आर्किटेक्चर स्वाभाविक रूप से सेंसिंग को ध्यान में नहीं रख सकते, और मौजूदा सर्वाइवल-विशिष्ट मॉडल अक्सर एकल डेटासेट पर शून्य से प्रशिक्षण (training from scratch) की आवश्यकता रखते हैं, जो कम-डेटा सेटिंग्स में उनकी उपयोगिता को सीमित करता है। इसके अलावा, जबकि TFMs का मूल्यांकन सटीकता या मीन स्क्वेर्ड एरर पर किया जाता है, सर्वाइवल मॉडलिंग के लिए समय के साथ जोखिम की गतिशीलता को समझने हेतु अच्छी तरह से कैलिब्रेटेड (well-calibrated) संभावनाओं की आवश्यकता होती है।

कार्यप्रणाली (Methodology)
लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो सर्वाइवल एनालिसिस को बाइनरी क्लासिफिकेशन समस्याओं की एक श्रृंखला के रूप में पुनर्गठित करता है ताकि इन-कॉन्टेक्स्ट लर्निंग (in-context learning) के माध्यम से 'ऑफ-द-शेल्फ' TFMs का लाभ उठाया जा सके, जिसमें सर्वाइवल-विशिष्ट प्रीट्रेनिंग, फाइन-ट्यूनिंग या आर्किटेक्चरल बदलावों की आवश्यकता नहीं होती है।

टेम्पोरल डिस्क्रीटाइजेशन (Temporal Discretization): निरंतर समय क्षितिज (continuous time horizon) को $K$ डिस्क्रीट अंतराल में विभाजित किया जाता है।
संचयी विफलता सूत्रीकरण (Cumulative Failure Formulation): पारंपरिक दृष्टिकोणों के विपरीत, जो डिस्क्रीट-टाइम हैजर्ड रेट (उस विशिष्ट अंतराल में घटना होने की संभावना जो उस बिंदु तक जीवित रहने के बाद होती है) को मॉडल करते हैं, यह विधि सीधे संचयी विफलता संभावना (cumulative failure probability) को मॉडल करती है। प्रत्येक समय बिंदु $t_k$ के लिए, एक बाइनरी लेबल $Y_{i,k} = 1(T_i \le t_k)$ परिभाषित किया जाता है, जो यह दर्शाता है कि क्या समय $t_k$ तक घटना घटित हो चुकी है।
सेंसरिंग को संभालना (Handling Censoring): सेंसर्ड अवलोकनों को उन समय बिंदुओं पर लापता लेबल वाले उदाहरणों के रूप में माना जाता है जो सेंसिंग समय के बाद के होते हैं। प्रशिक्षण उद्देश्य एक मानक बाइनरी क्रॉस-एन्ट्रॉपी लॉस है, जो केवल देखे गए लेबल्स (जहाँ $t_k < C_i$ ) तक ही सीमित है।
इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning): पुनर्गठित डेटासेट (विशेषताएं, समय बिंदु और बाइनरी लेबल) को एक TFM (जैसे, MITRA, TabPFN) या एक मानक क्लासिफायर (XGBoost) में फीड किया जाता है। मॉडल दिए गए कोवेरिएट्स (covariates) के आधार पर एक विशिष्ट समय $t_k$ तक विफलता की संभावना का अनुमान लगाना सीखता है।
डायनेमिक एक्सटेंशन (Dynamic Extension): समय-परिवर्तनीय कोवेरिएट्स वाले डायनेमिक सेटिंग्स के लिए, मॉडल $t_k$ तक के अवलोकनों के इतिहास को लेता है और भविष्य के क्षितिज $\Delta$ के लिए संचयी विफलता संभावना का अनुमान लगाता है, जो इस शर्त पर आधारित है कि विषय $t_k$ तक जीवित रहा है।

सैद्धांतिक गारंटी (Theoretical Guarantees)
लेखक एक सैद्धांतिक प्रमाण (थ्योरम 4.2) प्रदान करते हैं जो यह दर्शाता है कि कंडीशनली इंडिपेंडेंट सेंसरिंग की मानक धारणा के तहत, प्रस्तावित बाइनरी क्रॉस-एन्ट्रॉपी लॉस को कम करने से अनंत आकार के ट्रेनिंग सेट के करीब पहुँचने पर वास्तविक अंतर्निहित सर्वाइवल संभावनाएँ प्राप्त होती हैं। यह स्थापित करता है कि क्लासिफिकेशन सूत्रीकरण सर्वाइवल ऑब्जेक्टिव के साथ सांख्यिकीय रूप से सुसंगत (consistent) है।

मुख्य योगदान (Key Contributions)

क्लासिफिकेशन सूत्रीकरण: लेखक एक विशिष्ट क्लासिफिकेशन सूत्रीकरण पेश करते हैं जो सीधे संचयी विफलता संभावनाओं को मॉडल करता है। अनुभवजन्य रूप से, यह हैजर्ड-आधारित (DH) दृष्टिकोणों (जो बिन्स की संख्या बढ़ने के साथ मल्टीप्लिकेटिव एरर संचय से ग्रस्त होते हैं) और मल्टी-क्लास सूत्रीकरणों की तुलना में बेहतर प्रदर्शन करता है।
कंसिस्टेंसी प्रूफ: वे सिद्ध करते हैं कि बाइनरी क्लासिफिकेशन लॉस को कम करने से मानक सेंसिंग धारणाओं के तहत सुसंगत सर्वाइवल प्रोबेबिलिटी अनुमान प्राप्त होते हैं।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): इस दृष्टिकोण का मूल्यांकन SurvSet रिपॉजिटरी से 48 वास्तविक दुनिया के डेटासेट्स (43 स्टैटिक और 5 डायनेमिक) पर किया गया है। अध्ययन में इस सूत्रीकरण का उपयोग करके ऑफ-द-शेल्फ TFMs की तुलना क्लासिकल बेसलाइन्स (CoxPH, Random Survival Forests) और डीप लर्निंग मॉडल्स (DeepSurv, DeepHit, Joint Models) से की गई है।

परिणाम (Results)

स्टैटिक सेटिंग: 43 डेटासेट्स में, संचयी विफलता (CF) सूत्रीकरण (विशेष रूप से MITRA-CF और XGBoost-CF) का उपयोग करने वाले TFMs ने कई मेट्रिक्स (C-Index, Integrated AUC, Integrated Brier Score) में समग्र रूप से सर्वश्रेष्ठ प्रदर्शन किया। CF सूत्रीकरण, हैजर्ड-आधारित (DH) दृष्टिकोणों की तुलना में डिस्क्रीटाइजेशन बिन्स ( $K$ ) की संख्या के प्रति अधिक मजबूत साबित हुआ, क्योंकि DH दृष्टिकोण में $K$ बढ़ने के साथ एरर संचय के कारण प्रदर्शन गिर जाता है।
डायनेमिक सेटिंग: 5 डायनेमिक डेटासेट्स में, MITRA-CF ने लैंडमार्क्ड CoxPH/RSF और Dynamic DeepHit सहित सभी बेसलाइन्स को पछाड़ दिया। परिणाम बताते हैं कि TFMs में निहित टेम्पोरल प्रायर्स (temporal priors) लॉन्गिट्यूडिनल डेटा की जटिलताओं को मॉडल करने के लिए विशेष रूप से प्रभावी हैं।
मेट्रिक सहसंबंध (Metric Correlation): अध्ययन में बाइनरी क्रॉस-एन्ट्रॉपी लॉस और इंटीग्रेटेड ब्रायर स्कोर के बीच एक मजबूत सहसंबंध ( $r=0.89$ ) पाया गया, जो इस सैद्धांतिक दावे का समर्थन करता है कि क्लासिफिकेशन ऑब्जेक्टिव को ऑप्टिमाइज़ करने से सीधे सर्वाइवल प्रोबेबिलिटी का कैलिब्रेशन बेहतर होता है।

महत्व और दावे (Significance and Claims)
यह शोध दावा करता है कि एक सरल बाइनरी क्लासिफिकेशन पुनर्गठन के माध्यम से ऑफ-द-शेल्फ टैबुलर फाउंडेशन मॉडल्स से सर्वाइवल एनालिसिस क्षमताएं प्राप्त की जा सकती हैं। यह दृष्टिकोण विशेष सर्वाइवल मॉडल्स को शून्य से प्रशिक्षित करने के बजाय एक कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है, विशेष रूप से कम-डेटा वाले परिदृश्यों में जहाँ फाउंडेशन मॉडल्स उत्कृष्ट होते हैं।

लेखक अपने कार्य को समकालीन प्रयासों (Survival In-Context और SurvivalPFN) से अलग करते हैं, जो सिंथेटिक सर्वाइवल कार्यों पर विशेष रूप से ट्रांसफॉर्मर को प्रीट्रेन करते हैं। इसके विपरीत, यह कार्य प्रदर्शित करता है कि सामान्य-उद्देश्य वाले TFMs, बिना किसी सर्वाइवल-विशिष्ट प्रीट्रेनिंग या आर्किटेक्चरल संशोधन के, सही क्लासिफिकेशन सूत्रीकरण प्रदान किए जाने पर सर्वाइवल कार्यों पर अत्याधुनिक प्रदर्शन प्राप्त कर सकते हैं। यह विधि समय बिन्स की संख्या के संबंध में लचीली है और स्टैटिक एवं डायनेमिक दोनों सेटिंग्स में लागू की जा सकती है, हालांकि यह उन परिदृश्यों तक सीमित है जो कंडिशनली इंडिपेंडेंट सेंसिंग धारणा को पूरा करते हैं।

पेपर का मुख्य विचार: एक रहस्य को 'हाँ/नहीं' प्रश्नों की श्रृंखला में बदलना

उन्होंने क्या पाया: "क्युमुलेटिव" (Cumulative) ट्रिक सबसे अच्छा काम करती है

प्रमाण और सीमाएँ

इसी तरह के और पेपर