🤖 machine learning

Staying Alive: Uncensored Survival Analysis with Tabular Foundation Models

यह शोध पत्र एक प्रशिक्षण-मुक्त (training-free) सर्वाइवल रिग्रेशन पद्धति प्रस्तुत करता है जो राइट-सेंसर्ड (right-censored) डेटा को पुनरावृत्ति से भरने (iteratively impute) और एक एसेलेरेटेड फेलियर टाइम (Accelerated Failure Time) मॉडल बनाने के लिए टैबुलर फाउंडेशन मॉडल्स का लाभ उठाता है, जो मानक बेंचमार्क पर पारंपरिक प्रशिक्षित मॉडलों के मुकाबले प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।

मूल लेखक: Mariana Vargas Vieyra

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mariana Vargas Vieyra

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: बिना ट्रेनिंग के "कब" की भविष्यवाणी करना

कल्पना कीजिए कि आप एक डॉक्टर हैं जो यह अनुमान लगाने की कोशिश कर रहे हैं कि किसी मरीज का निदान होने के बाद वह कितने समय तक जीवित रहेगा, या एक कार मैकेनिक जो यह अंदाजा लगा रहा है कि कार का कोई विशिष्ट हिस्सा कब खराब होगा। इसे सर्वाइवल एनालिसिस (Survival Analysis) कहा जाता है। पेचीदा बात यह है कि अक्सर, आपको अंतिम घटना देखने को नहीं मिलती। हो सकता है कि मरीज कहीं और चला गया हो, या कार का हिस्सा टूटने से पहले ही अध्ययन समाप्त हो गया हो। सांख्यिकी (statistics) में, इसे राइट-सेंसरिंग (right-censoring) कहा जाता है—आप जानते हैं कि घटना अभी तक नहीं हुई है, लेकिन आप यह नहीं जानते कि यह कब होगी।

आमतौर पर, इसे हल करने के लिए, आपको हर नए डेटासेट के लिए शून्य से एक कस्टम मॉडल बनाने की आवश्यकता होती है, जो ऐसा है जैसे हर बार जमीन खरीदने पर एक नया आर्किटेक्ट नियुक्त करना।

यह पेपर टेबुलर फाउंडेशन मॉडल्स (TFMs) का उपयोग करके इसे करने का एक नया तरीका पेश करता है। एक TFM को एक "सुपर-स्मार्ट, प्री-ट्रेंड डिटेक्टिव" (पहले से प्रशिक्षित जासूस) के रूप में सोचें जिसने पहले ही लाखों अलग-अलग डेटासेट्स को पढ़ लिया है। यह एक नई तथ्यों की सूची (डेटा की एक टेबल) को देख सकता है और बिना दोबारा ट्रेनिंग के, एक ही नज़र में भविष्यवाणी कर सकता है। लेखकों ने यह देखना चाहा कि क्या यह "सुपर-डिटेक्टिव" बिना किसी अतिरिक्त प्रशिक्षण के सर्वाइवल एनालिसिस की "गायब समय" वाली पहेली को हल कर सकता है।

समस्या: डिटेक्टिव अंत देख नहीं पाता

समस्या यह है कि इन सुपर-डिटेक्टिव्स (TFMs) को पूरी कहानी देखने की आदत होती है। यदि आप उनसे पूछते हैं, "यह मरीज कितने समय तक जीवित रहेगा?" लेकिन आप उन्हें केवल उस बिंदु तक का डेटा देते हैं जहाँ वे अध्ययन छोड़ देते हैं, तो डिटेक्टिव भ्रमित हो जाता है। वह एक निश्चित उत्तर की अपेक्षा करता है, न कि "हमें अभी नहीं पता" की।

यदि आप गायब अंत-समय (censored data) वाले मरीजों को अनदेखा कर देते हैं, तो डिटेक्टिव पक्षपाती (biased) हो जाएगा। वह यह सोचेगा कि हर कोई जल्दी मर जाता है क्योंकि वह केवल उन लोगों को देख रहा है जो जल्दी मर गए और उन लोगों को अनदेखा कर रहा है जो अभी भी जीवित हैं।

समाधान: "खाली स्थान भरने" का खेल

लेखकों ने TabSA (टेबुलर सर्वाइवल एनालिसिस) नामक एक विधि बनाई है जो डिटेक्टिव को दो चतुर चरणों में पहेली सुलझाने की अनुमति देती है:

चरण 1: "औसत का अनुमान लगाना" (AFT मॉडल)

सबसे पहले, वे सभी के लिए "औसत लॉग-टाइम" (average log-time) का अनुमान लगाने के लिए डिटेक्टिव का उपयोग करते हैं, जो उनके फीचर्स (जैसे आयु, स्वास्थ्य मार्कर आदि) पर आधारित होता है। यह ऐसा है जैसे डिटेक्टिव भीड़ को देखकर अनुमान लगाता है, "मैंने जो पहले देखा है, उसके आधार पर, यह समूह आमतौर पर लगभग X वर्षों तक रहता है।"

हालाँकि, वे इस अनुमान को लगाने के लिए डिटेक्टिव को केवल उन्हीं लोगों को देखने देते जिन्होंने वास्तव में अध्ययन पूरा किया है। इसे काम करने के लिए, उन्हें केवल एक सिंगल नंबर (एक स्केल पैरामीटर) को ट्यून करना होता है। यह डिटेक्टिव को यह बताने जैसा है, "तुम अनुमान लगाने में अच्छे हो, बस मुझे बताओ कि मुझे अपने अनुमानों को कितना खींचना या सिकोड़ना है।"

चरण 2: "कल्पना का खेल" (इटरेटिव इम्प्यूटेशन)

यही जादू वाला हिस्सा है। चूंकि डिटेक्टिव सेंसर किए गए मरीजों के लिए कहानी का अंत नहीं देख सकता, इसलिए लेखक "खाली स्थान भरने" का खेल खेलते हैं।

पहला अनुमान: वे एक मानक सांख्यिकीय ट्रिक का उपयोग करके (जैसे कि जो अन्य लोग जीवित हैं उनके आधार पर एक मोटा अनुमान) सेंसर किए गए मरीजों के लिए गायब अंत-समय का अनुमान लगाकर शुरुआत करते हैं।
लूप (चक्र): वे इन अनुमानों को वापस डिटेक्टिव को देते हैं। डिटेक्टिव पूरे समूह (अनुमानों सहित) को देखता है और कहता है, "वास्तव में, इस नई जानकारी के आधार पर, उस व्यक्ति के लिए मेरा अनुमान थोड़ा लंबा होना चाहिए।"
परिष्करण (Refining): वे अनुमानों को अपडेट करते हैं और फिर से डिटेक्टिव से पूछते हैं। वे इस लूप को बार-बार दोहराते हैं (जैसे एक स्केच को बेहतर बनाना) जब तक कि अनुमान बदलना बंद न हो जाएं।

यह प्रक्रिया Buckley-James estimator नामक एक पुराने सांख्यिकीय तरीके से प्रेरित है, लेकिन जटिल गणितीय गणना करने के बजाय, वे "सुपर-डिटेक्टिव" (TFM) को यह समझने का भारी काम करने देते हैं कि गायब समय क्या होना चाहिए।

परिणाम: उन्होंने कैसा प्रदर्शन किया?

लेखकों ने परीक्षण किया कि उनका तरीका पांच वास्तविक दुनिया के डेटासेट्स (हार्ट अटैक, ब्रेस्ट कैंसर, क्रिटिकल केयर आदि) पर कैसा रहा और इसकी तुलना इनके साथ की:

क्लासिकल मॉडल्स: पारंपरिक "कस्टम आर्किटेक्ट्स" जिन्हें भारी ट्रेनिंग की आवश्यकता होती है।
अन्य ज़ीरो-शॉट मेथड्स: बिना ट्रेनिंग के इन डिटेक्टिव्स का उपयोग करने के अन्य तरीके।

निष्कर्ष:

रैंकिंग पावर: उनकी विधि (TabSA-BJ) मरीजों को रैंक करने में उत्कृष्ट थी। वह लगभग उतना ही सही ढंग से कह सका कि "मरीज A संभवतः मरीज B से अधिक समय तक जीवित रहेगा" जितना कि महंगे, पूरी तरह से प्रशिक्षित मॉडल।
कैलिब्रेशन: हालांकि वह रैंकिंग में बहुत अच्छा था, लेकिन समय को बकेटों (buckets) में विभाजित करने वाले तरीके की तुलना में, वह एक विशिष्ट समय पर जीवित रहने की सटीक संभावना बताने में थोड़ा कम परफेक्ट था।
कोई ट्रेनिंग आवश्यक नहीं: सबसे बड़ी जीत यह थी कि उन्होंने बिना मॉडल को विशिष्ट डेटासेट पर फिर से प्रशिक्षित किए ये परिणाम प्राप्त किए। उन्होंने बस डेटा डाला, "खाली स्थान भरने" वाला लूप चलाया, और परिणाम प्राप्त किया।

मुख्य सीख (Takeaway)

यह पेपर दिखाता है कि जीवित रहने के समय की भविष्यवाणी करने के लिए हमें हमेशा शून्य से एक नया मॉडल बनाने की आवश्यकता नहीं है। एक पूर्व-प्रशिक्षित "फाउंडेशन मॉडल" को एक स्मार्ट इंजन के रूप में उपयोग करके और गायब डेटा को संभालने के लिए "अनुमान और परिष्करण" का एक सरल खेल खेलकर, हम ऐसे परिणाम प्राप्त कर सकते हैं जो पारंपरिक, भारी प्रशिक्षित सांख्यिकीय मॉडलों के साथ प्रतिस्पर्धा करते हैं।

यह एक मास्टर शेफ की तरह है जिसने दुनिया के हर व्यंजन का स्वाद चखा है। उसे नए रेसिपी सिखाने के बजाय, आप बस उसे सामग्री देते हैं और पूछते हैं, "मेरे अनुभव के आधार पर, इस स्टू को पकने में कितना समय लगेगा?" और उसे अपने अनुमान को तब तक एडजस्ट करने देते हैं जब तक कि वह सही न लगे।

तकनीकी सारांश: स्टेइंग अलाइव: टैबुलर फाउंडेशन मॉडल्स के साथ अनसेंसर्ड सर्वाइवल एनालिसिस

समस्या विवरण
सर्वाइवल एनालिसिस (SA) एक सांख्यिकीय ढांचा है जिसका उपयोग किसी रुचि की घटना के होने तक के समय को मॉडल करने के लिए किया जाता है, जिसके अनुप्रयोग स्वास्थ्य सेवा से लेकर मंथ प्रेडिक्शन (churn prediction) तक विस्तृत हैं। SA में एक केंद्रीय चुनौती राइट-सेंसरिंग (right-censoring) है, जहाँ कुछ विषयों के लिए घटना का समय अज्ञात रहता है क्योंकि वे अध्ययन छोड़ देते हैं या घटना होने से पहले ही अवलोकन क्षितिज (observation horizon) तक पहुँच जाते हैं। जबकि शास्त्रीय सर्वाइवल मॉडल स्वाभाविक रूप से सेंसर किए गए डेटा को संभालते हैं, टैबुलर फाउंडेशन मॉडल्स (TFMs)—जो बिना डेटासेट-विशिष्ट प्रशिक्षण के इन-कॉन्टेक्स्ट वर्गीकरण और रिग्रेशन में उत्कृष्ट हैं—इस कार्य के साथ संघर्ष करते हैं। TFMs आमतौर पर पूरी तरह से देखे गए प्रेडिक्शन लक्ष्यों की अपेक्षा करते हैं, जिससे सर्वाइवल रिग्रेशन के लिए उनका सीधा अनुप्रयोग कठिन हो जाता है। TFMs को अनुकूलित करने के मौजूदा प्रयास, जैसे कि वर्गीकरण के लिए समय को बिन (bins) में विभाजित करना, रेजोल्यूशन और प्रभावी कॉन्टेक्स्ट साइज के बीच एक ट्रेड-ऑफ पेश करते हैं, जो अक्सर मोटे बिनिंग (coarser binning) के साथ प्रदर्शन को कम कर देता है।

कार्यप्रणाली
लेखक TabSA का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो इन-कॉन्टेक्ट प्रेडिक्शन समस्या के रूप में सर्वाइवल रिग्रेशन करने के लिए फ्रोजन (frozen) TFMs का लाभ उठाता है। यह विधि एक एक्सेलेरेटेड फेलियर टाइम (AFT) मॉडल धारणा के तहत काम करती है, जहाँ इवेंट के लॉग-टाइम को रैखिक रूप से मॉडल किया जाता है। मुख्य नवाचार सेंसर किए गए डेटा के लिए एक इटरेटिव (iterative), नॉन-पैरामीट्रिक इम्प्यूटेशन रणनीति है, जो बकली-जेम्स एस्टीमेटर (Buckley-James estimator) से प्रेरित है।

प्रस्तावित एल्गोरिदम इस प्रकार कार्य करता है:

मॉडल निर्माण: TFM का उपयोग एक रिग्रेसर बैकबोन के रूप में किया जाता है ताकि इन-कॉन्टेक्स्ट उदाहरणों के आधार पर विषयों के लिए मीन लॉग-टाइम ( $\hat{\mu}$ ) की भविष्यवाणी की जा सके।
पैरामीटर एस्टीमेशन: एक एकल स्केलर पैरामीटर, स्केल पैरामीटर $\sigma$ , का अनुमान ट्रेनिंग सेट पर मैक्सिमम लाइक्लीहुड एस्टीमेशन (MLE) के माध्यम से लगाया जाता है। यह एकमात्र पैरामीटर है जिसे फिट करने की आवश्यकता है; TFM बैकबोन फ्रोजन रहता है।
इटरेटिव इम्प्यूटेशन (TabSA-BJ): राइट-सेंसरिंग को डेटा को त्यागने के बजाय संबोधित करने के लिए, यह विधि सेंसर किए गए डेटा के लिए स्यूडो-टारगेट्स (pseudo-targets) को इटरेटिव रूप से इम्प्यूट करती है:
- इनिशियलाइजेशन: स्यूडो-टारगेट्स को कपलान-मेयर जैकनीफ एस्टीमेटर (Kaplan-Meier jackknife estimator) के आधार पर डेटा-ड्रिवन वार्म स्टार्ट का उपयोग करके इनिशियलाइज किया जाता है।
- इटरेशन: प्रत्येक चरण में, TFM एक स्टोकेस्टिक कॉन्टेक्स्ट (सब-सैंपल किए गए अनसेंसर्ड और सेंसर किए गए विषयों) का उपयोग करके सेंसर किए गए विषयों के लिए मीन लॉग-टाइम की भविष्यवाणी करता है (ताकि डिजेनरेट सेल्फ-प्रेडिक्शन को रोका जा सके)।
- अपडेट: मानक बकली-जेम्स एस्टीमेटर के विपरीत, जो कंडीशनल मीन को इम्प्यूट करता है, यह विधि एक ट्रंकेटेड डिस्ट्रीबशन ( $p(\log T_i | T_i > C_i)$ ) से सैंपल लेकर स्यूडो-टारगेट्स को अपडेट करती है, जो सख्ती से इस बाधा को लागू करती है कि इम्प्यूट किया गया समय सेंसिंग टाइम से अधिक होना चाहिए।
- रिफाइनमेंट: स्केल पैरामीटर $\sigma$ को अपडेट किए गए डेटासेट पर MLE के माध्यम से पुनः अनुमानित किया जाता है। यह लूप तब तक चलता है जब तक कि स्यूडो-टारगेट्स स्थिर न हो जाएं।
इन्फरेंस (Inference): टेस्ट टाइम पर, मॉडल मीन लॉग-टाइम्स प्राप्त करने के लिए एक फॉरवर्ड पास करता है, जिन्हें अंतिम $\sigma$ के साथ मिलाकर सर्वाइवल फंक्शन बनाया जाता है।

मुख्य योगदान

जीरो-शॉट सर्वाइवल रिग्रेशन: यह पेपर बिना डेटासेट-विशिष्ट प्रशिक्षण के, केवल एक एकल स्केलर पैरामीटर ( $\sigma$ ) को फिट करके, सर्वाइवल रिग्रेशन करने के लिए एक विधि पेश करता है।
नॉन-पैरामीट्रिक इन-कॉन्टेक्स्ट इम्प्यूटेशन: लेखक राइट-सेंसरिंग को संभालने के लिए एक अभिनव इटरेटिव मैकेनिज्म का प्रस्ताव करते हैं, जो सेंसर किए गए डेटा को इम्प्यूट करने के लिए TFM का उपयोग एक नॉन-पैरामीट्रिक एस्टीमेटर के रूप में करता है, जिससे टाइम डिस्क्रीटाइजेशन से जुड़े रेजोल्यूशन-परफॉरमेंस ट्रेड-ऑफ से बचा जा जा सकता है।
AFT इंटीग्रेशन: फ्रेमवर्क एक TFM बैकबोन के साथ एक AFT मॉडल को सफलतापूर्वक निर्मित करता है, जो आधुनिक फाउंडेशन मॉडल्स और क्लासिकल सर्वाइवल एनालिसिस स्ट्रक्चर के बीच के अंतर को पाटता है।

प्रायोगिक परिणाम
विधि का मूल्यांकन पांच मानक सर्वाइवल एनालिसिस बेंचमार्क (WHAS500, GBSG, METABRIC, SUPPORT, FLCHAIN) पर किया गया, जिसमें कार्डियोवैस्कुलर डिजीज, ऑन्कोलॉजी और क्रिटिकल केयर शामिल हैं। प्रस्तावित विधि (TabSA-BJ) की तुलना क्लासिकल ट्रेंड मॉडल्स (Cox PH, Weibull AFT, Log-Normal AFT, Random Survival Forest) और एक जीरो-शॉट प्रतियोगी (TabSA-Bin, जो टाइम डिस्क्रीटाइजेशन का उपयोग करता है) से की गई।

डिस्क्रिमिनेशन (C-Index): TabSA-BJ ने प्रतिस्पर्धी C-Index स्कोर प्राप्त किए, जो अक्सर क्लासिकल ट्रेंड मॉडल्स के बराबर या उनसे बेहतर थे और सरल जीरो-शॉट वेरिएंट्स (TabSA-CCA, TabSA-PO) से काफी बेहतर थे। इसने उच्च सेंसिंग रेट वाले डेटासेट्स पर विशेष मजबूती दिखाई।
कैलिब्रेशन (IBS): हालांकि TabSA-BJ ने मजबूत डिस्क्रिमिनेशन दिखाया, लेकिन इसका इंटीग्रेटेड ब्रायर स्कोर (IBS) आम तौर पर TabSA-Bin और क्लासिकल मेथड्स की तुलना में कम था। लेखक इस अंतर का कारण विधियों की प्रकृति को बताते हैं: TabSA-Bin फिक्स्ड क्वांटाइल्स पर सर्वाइवल प्रोबेबिलिटीज को ऑप्टिमाइज़ करता है (कैलिब्रेशन के लिए बेहतर), जबकि TabSA-BJ लॉग-टाइम स्केल पर काम करता है, जो रैंक स्ट्रक्चर को सुरक्षित रखता है (डिस्क्रिमिनेशन के लिए बेहतर)।
कन्वर्जेंस (Convergence): विश्लेषण से पता चला कि स्केल पैरामीटर $\sigma$ स्थिर मानों (अक्सर 1 के करीब) की ओर अभिसरित (converge) होता है, जो यह सुझाव देता है कि TFM बैकबोन स्पष्ट सर्वाइवल-विशिष्ट प्रशिक्षण के बिना लॉग-टाइम में एक महत्वपूर्ण हिस्से के वेरिएंस को कैप्चर करता है।

महत्व और दावे
पेपर का दावा है कि टैबुलर फाउंडेशन मॉडल्स न्यूनतम अनुकूलन के साथ सर्वाइवल टास्क में सामान्यीकरण करने के लिए पर्याप्त पूर्व ज्ञान (prior knowledge) को एनकोड करते हैं। एक ट्रेनिंग-फ्री, इटरेटिव इम्प्यूटेशन रणनीति पेश करके, यह कार्य प्रदर्शित करता है कि TFMs प्रभावी रूप से राइट-सेंसर्ड डेटा को संभाल सकते हैं, जो जीरो-शॉट सांख्यिकीय मॉडलिंग के लिए एक आशाजनक दिशा प्रदान करता है जहाँ लेबल किए गए इवेंट-टाइम डेटा दुर्लभ है या जहाँ बिना रिट्रेनिंग के त्वरित तैनाती की आवश्यकता है। लेखक TabSA-BJ और TabSA-Bin को पूरक तंत्र के रूप में देखते हैं, जहाँ पूर्व डिस्क्रिमिनेशन में उत्कृष्ट है और उत्तर कैलिब्रेशन में।