🤖 machine learning

ACTIVA: Amortized Causal Effect Estimation via Transformer-based Variational Autoencoder

यह शोध पत्र ACTIVA को प्रस्तुत करता है, जो एक ट्रांसफॉर्मर-आधारित कंडीशनल वेरिएशनल ऑटोएनकोडर है जो अवलोकन संबंधी डेटा से पूर्ण पोस्ट-इंटरवेंशन वितरणों का सटीक अनुमान लगाने के लिए कार्यों के बीच कॉज़ल ज्ञान (causal knowledge) को अमोर्टाइज़ करता है, और सिंथेटिक एवं जैविक रूप से यथार्थवादी जीन-अभिव्यक्ति सिमुलेशन दोनों में मौजूदा बेसलाइनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Andreas Sauter, Saber Salehkaleybar, Frank van Harmelen, Aske Plaat, Erman Acar

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andreas Sauter, Saber Salehkaleybar, Frank van Harmelen, Aske Plaat, Erman Acar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डॉक्टर हैं जो यह अनुमान लगाने की कोशिश कर रहे हैं कि यदि आप किसी मरीज को एक नई दवा देते हैं तो क्या होगा। आपके पास मेडिकल रिकॉर्ड्स (अवलोकन संबंधी डेटा) का एक विशाल पुस्तकालय है जो दिखाता है कि मरीजों ने स्वाभाविक रूप से कैसा व्यवहार किया। लेकिन आपके पास कोई भविष्य बताने वाला जादुई गोला नहीं है, और आप यह देखने के लिए दवा का परीक्षण हर किसी पर नैतिक रूप से नहीं कर सकते कि परिणाम क्या होंगे।

समस्या यह है कि केवल रिकॉर्ड्स को देखना पेचीदा है। सिर्फ इसलिए कि दो चीजें एक साथ होती हैं (जैसे कि गोली लेना और ठीक होना) इसका मतलब यह नहीं है कि एक ही दूसरे का कारण है। वहां छिपे हुए कारण हो सकते, या शरीर के काम करने के अलग "नियम" हो सकते हैं जो रिकॉर्ड्स में एक जैसे दिखते हैं, लेकिन वास्तव में हस्तक्षेप (intervention) करने पर अलग परिणाम देते हैं।

यहीं पर ACTIVA काम आता है। ACTIVA को एक सुपर-स्मार्ट, "एमोर्टाइज्ड" (अर्थात यह एक बार सीखता है और उस ज्ञान को तुरंत नए समस्याओं पर लागू करता है) प्रेडिक्शन इंजन के रूप में समझें।

यह कैसे काम करता है, यहाँ कुछ सरल उपमाओं का उपयोग किया गया है:

1. "कई संभावित दुनिया" की समस्या

कल्पना कीजिए कि आप रेत में एक पदचिह्न देखते हैं। आप जानते हैं कि इसे किसी जूते ने बनाया है, लेकिन आप नहीं जानते कि वह कौन सा जूता था। क्या वह रनिंग शू था? बूट था? या सैंडल?

पुराना तरीका: कई सिस्टम केवल उस एक विशिष्ट जूते का अनुमान लगाने की कोशिश करते हैं जिसने प्रिंट बनाया। यदि उनका अनुमान गलत निकलता है, तो उनके द्वारा किया गया अगला अनुमान भी गलत होता है।
ACTIVA का तरीका: केवल एक जूते का अनुमान लगाने के बजाय, ACTIVA कहता है, "ठीक है, इस पदचिह्न के आधार पर, यह एक बूट, एक रनिंग शू, या एक सैंडल हो सकता है।" यह इन सभी संभावनाओं को एक साथ जीवित रखता है। यह भविष्यवाणियों का एक "मिश्रण" (mixture) बनाता है। यह एक एकल उत्तर देने के लिए मजबूर नहीं करता; यह संभावनाओं के एक बादल की भविष्यवाणी करता है जो सभी संभावित परिदृश्यों को कवर करता है।

2. एक "सिमुलेटर" से सीखना (प्रशिक्षण चरण)

इसमें कुशल होने के लिए, ACTIVA केवल मेडिकल रिकॉर्ड्स को नहीं पढ़ता है। यह एक "सिमुलेशन जिम" में जाता है।

कल्पना कीजिए कि एक वीडियो गेम है जहाँ आप अलग-अलग बॉडी टाइप और दवाओं के प्रति शरीर की प्रतिक्रिया के अलग-अलग नियमों वाले लाखों नकली मरीज बना सकते हैं।
ACTIVA इस खेल को बार-बार खेलता है। वह एक मरीज का इतिहास देखता है, उससे पूछा जाता है, "क्या होगा यदि हम उन्हें ड्रग X दें?" और फिर गेम की "सच्चाई" की जांच करता है कि वास्तव में क्या हुआ।
इस तरह लाखों बार करने से, वह एक सामान्य नियम पुस्तिका सीख जाता है: "जब मैं इस डेटा पैटर्न और इस प्रकार के ड्रग क्वेरी को देखता हूँ, तो परिणाम आमतौर पर इस तरह के संभावनाओं के मिश्रण जैसा दिखता है।"

3. "एमोर्टाइज्ड" जादू (अनुमान चरण)

आमतौर पर, एक नए मरीज के लिए उत्तर निकालना बहुत भारी कंप्यूटर गणना की मांग करता है।

ACTIVA की ट्रिक: क्योंकि इसने "सिमुलेशन जिम" में कड़ी मेहनत की है, इसने पहले से ही पैटर्न सीख लिए हैं। जब एक नया मरीज आता है, तो ACTIVA को सब कुछ फिर से शुरू से कैलकुलेट करने की आवश्यकता नहीं होती है। यह बस नए डेटा को देखता है, जो उसने सीखा है उसे याद करता है, और तुरंत भविष्यवाणी कर देता है। यह एक ऐसे शेफ की तरह है जिसने एक व्यंजन को हज़ार बार बनाया है; उसे यह जानने के लिए रेसिपी को फिर से पढ़ने की आवश्यकता नहीं है कि उसका स्वाद कैसा होगा।

4. "अस्पष्ट" सवालों को संभालना

वास्तविक जीवन अव्यवस्थित है। कभी-कभी आपको दवा की सटीक खुराक नहीं पता होती, बस इतना पता होता है कि "एक दवा दी गई थी।"

कई पुराने सिस्टम को काम करने के लिए सटीक विवरण (जैसे, "सुबह 8:00 बजे 50mg") की आवश्यकता होती है।
ACTIVA लचीला है। यह केवल "ड्रग A" और लक्षित अंग जैसे लेबल के साथ भी काम कर सकता है। यह उन कमियों को उन पैटर्न का उपयोग करके भर देता है जो इसने सीखे हैं, जिससे यह तब भी उपयोगी हो जाता है जब जानकारी एकदम सटीक न हो।

उन्होंने क्या पाया?

लेखकों ने इसे नकली डेटा और जीन गतिविधि (जैसे कि जीन कैसे चालू और बंद होते हैं) के यथार्थवादी सिमुलेशन पर परखा।

अनुमान लगाने से बेहतर: यह केवल सह-संबंधों (जैसे, "जो लोग दवा लेते हैं वे आमतौर पर स्वस्थ रहते हैं") को देखने की तुलना में बहुत बेहतर था। पुराना तरीका अक्सर यह भविष्यवाणी करता था कि दवा उन चीजों को बदल देगी जो वास्तव में उसे प्रभावित नहीं करती हैं। ACTIVA इन नकली कनेक्शनों को अनदेखा करने में बहुत बेहतर था।
प्रतिस्पर्धी: इसने अन्य उन्नत AI मॉडलों के समान या कभी-कभी उनसे बेहतर प्रदर्शन किया जिन्हें काम करने के लिए अधिक विशिष्ट जानकारी की आवश्यकता होती है।
"मिश्रण" का लाभ: क्योंकि ACTIMA एक संभावनाओं की पूरी श्रृंखला (एक मिश्रण) की भविष्यवाणी करता है न कि केवल एक संख्या की, यह अनिश्चितता को पकड़ लेता है। यह आपको बताता है, "यहाँ वह है जो होने की संभावना है, लेकिन यहाँ वे अन्य चीजें भी हैं जो भी हो सकती हैं।"

संक्षेप में: ACTIVA एक ऐसा टूल है जो सिम्युलेटेड प्रयोगों से सीखता है ताकि वास्तविक दुनिया में किसी वेरिएबल को बदलने पर क्या होता है, इसकी तुरंत भविष्यवाणी की जा सके। यह एक एकल "सत्य" जानने का ढोंग नहीं करता जब डेटा अस्पष्ट हो; इसके बजाय, यह बुद्धिमानी से संभावित परिणामों की एक श्रृंखला की भविष्यवाणी करता है, जिससे हमें बेहतर निर्णय लेने में मदद मिलती है, भले ही हमारे पास सभी विवरण न हों।

तकनीकी सारांश: ACTIVA - वेरिएशनल ऑटोएनकोडर्स के माध्यम से एमोर्टाइज्ड कॉज़ल इफेक्ट एस्टीमेशन

समस्या विवरण (Problem Statement)

केवल अवलोकन संबंधी डेटा (observational data) से हस्तक्षेप-पश्चात वितरणों (post-intervention distributions) का अनुमान लगाना स्वास्थ्य सेवा, अर्थशास्त्र और वित्त जैसे क्षेत्रों में एक मौलिक चुनौती है। एक प्राथमिक बाधा कॉज़ल एम्बिग्युटी (causal ambiguity) है: विभिन्न कारण तंत्र (causal mechanisms) समान अवलोकन संबंधी डेटा उत्पन्न कर सकते हैं, जबकि वे हस्तक्षेप के तहत भिन्न परिणाम दर्शाते हैं। इसके अलावा, कई वास्तविक परिदृश्य आंशिक रूप से निर्दिष्ट हस्तक्षेपों (partially specified interventions) से जुड़े होते हैं (जैसे, यह जानना कि दवा दी गई थी लेकिन सटीक खुराक नहीं, जो उन विधियों को अनुपयुक्त बनाता है जिन्हें पूर्ण कार्यात्मक विनिर्देश की आवश्यकता होती है)। अंततः, पारंपरिक कारण अनुमान विधियों को प्रत्येक नए समस्या उदाहरण के लिए व्यापक गणना की आवश्यकता होती है, जिसमें एमोर्टाइजेशन (amortization) का अभाव होता है—अर्थात, विविध कार्यों में सीखे गए ज्ञान को पुन: उपयोग करने की क्षमता, जो कम्प्यूटेशनल रूप से सस्ते अनुमान को सक्षम बनाती है।

कार्यप्रणाली: ACTIVA

लेखक ACTIVA (Amortized Causal Effect Estimation via Variational Autoencoders) प्रस्तावित करते हैं, जो एक ट्रांसफॉर्मर-आधारित कंडीशनल वेरिएशनल ऑटोएनकोडर (CVAE) है, जिसे पूर्ण इंटरवेंशनल वितरणों के एमोर्टाइज्ड एस्टीमेशन के लिए डिज़ाइन किया गया है।

मुख्य आर्किटेक्चर (Core Architecture)

ACTIVA संयुक्त वितरण $p_\theta(V, z | D_M, do(V)) = p_\gamma(V | z)p_\eta(z | D_M, do(V))$ को मॉडल करता है, जहाँ:

इनपुट (Inputs): अवलोकन संबंधी डेटा $D_M$ और एक हस्तक्षेप क्वेरी $do(V)$ (जो एक लक्ष्य चर और एक हस्तक्षेप इंडेक्स द्वारा निर्दिष्ट है, न कि पूर्ण कार्यात्मक विनिर्देश द्वारा)।
लेटेंट स्पेस ( $z$ ): अंतर्निहित कॉज़ल मॉडल पर अनिश्चितता का प्रतिनिधित्व करता है। मॉडल यह मानता है कि अवलोकन संबंधी डेटा अवलोकन रूप से समकक्ष कॉज़ल मॉडलों के एक वर्ग के अनुकूल है, जिनमें से प्रत्येक अलग इंटरवेंशनल वितरणों को दर्शाता है।
एनकोडर (एन्कोडर/पोस्टीरियर): प्रशिक्षण के दौरान, एनकोडर $q_\phi(z | D_M, D_{Mdo(V)}, do(V))$ इंटरवेंशनल नमूनों और अवलोकन संबंधी नमूनों दोनों पर आधारित होकर एक लेटेंट प्रतिनिधित्व सीखता है।
प्रायर (Prior): कंडीशनल प्रायर $p_\eta(z | D_M, do(V))$ को एनकोडर के एग्रीगेटेड पोस्टीरियर को अनुमानित करने के लिए सीखा जाता है। महत्वपूर्ण रूप से, अनुमान (inference) के समय, प्रायर केवल अवलोकन संबंधी डेटा और हस्तक्षेप क्वेरी पर आधारित होता है, जो प्रभावी रूप से प्रशिक्षण के दौरान सीखे गए इंटरवेंशनल परिणामों के ज्ञान को "एमोर्टाइज" करता है।
डिकोडर (Decoder): एक ट्रांसफॉर्मर-आधारित डिकोडर $p_\gamma(V | z)$ लेटेंट नमूनों को गाऊसी मिश्रण मॉडल (GMM) के मापदंडों में मैप करता है, जो पूर्ण पोस्ट-इंटरवेंशनल वितरण की भविष्यवाणी करता है।

प्रमुख डिज़ाइन विशेषताएं (Key Design Features)

परम्यूटेशन इक्विवैरिएंस (Permutation Equivariance): आर्किटेक्चर मल्टी-हेड सेल्फ-अटेंशन (MHSA) ब्लॉक्स का उपयोग करता है जो फीचर्स और सैंपल्स पर वैकल्पिक रूप से अटेंशन लगाते हैं। यह सुनिश्चित करता है कि मॉडल वेरिएबल ऑर्डरिंग के साथ सुसंगत व्यवहार करे, जिससे यह रीलेबल ग्राफ्स के बीच सांख्यिकीय शक्ति साझा कर सके।
कमजोर हस्तक्षेप विनिर्देश (Weak Intervention Specification): मॉडल हस्तक्षेपों को एक इंडेक्स और एक टारगेट सेलेक्टर के माध्यम से एनकोड करता है, न कि पूर्ण कार्यात्मक मान की आवश्यकता के बिना, जो आंशिक रूप से परिभाषित हस्तक्षेप सेटिंग्स में अनुप्रयोग को सक्षम बनाता है।
मिश्रण मॉडलिंग (Mixture Modeling): लेटेंट प्रायर और डिकोडर आउटपुट दोनों को मिश्रण (GMM) के रूप में मॉडल किया गया है, जो मॉडल को मल्टी-मोडल वितरणों को पकड़ने और कॉज़ल एम्बिग्युटी को स्पष्ट रूप से प्रदर्शित करने की अनुमति देता है।

सैद्धांतिक विश्लेषण (Theoretical Analysis)

पेपर आदर्श स्थितियों (अनंत नमूने और इष्टतम अभिव्यंजना) के तहत एक निरंतरता परिणाम (consistency result) प्रदान करता है। लेखक सिद्ध करते हैं कि:

लर्निंग ऑब्जेक्टिव उन सभी कॉज़ल मॉडलों के मिश्रण (mixture) को लक्षित करता है जो इनपुट डेटा के अवलोकन रूप से संगत हैं और सिम्युलेटर वितरण द्वारा समर्थित हैं।
यदि अवलोकन संबंधी समतुल्यता वर्ग एक एकल मॉडल में समाहित हो जाता है (identifiable case), तो लक्ष्य अद्वितीय पोस्ट-इंटरवेंशनल वितरण में बदल जाता है।
सीखा गया प्रायर प्रशिक्षण सेटिंग (जहाँ इंटरवेंशनल डेटा उपलब्ध है) और अनुमान सेटिंग (जहाँ यह उपलब्ध नहीं है) के बीच के अंतर को प्रभावी ढंग से पाटता है, जो प्रशिक्षण के दौरान इंटरवेंशनल डेटा से निकाले गए सूचना को अवशोषित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

ACTIVA का मूल्यांकन सिंथेटिक डेटासेट्स (Gaussian और Beta शोर, 2 और 8 वेरिएबल्स) और सेमी-सिंथेटिक जीन-एक्सप्रेशन डेटा (SERGIO सिम्युलेटर) पर किया गया। इसकी तुलना निम्नलिखित से की गई:

Gaussian Conditional: एक कोरिलेशनल बेसलाइन।
Linear Causal: एक ओरकल बेसलाइन जिसके पास वास्तविक कॉज़ल ग्राफ तक पहुंच है।
MACE-TNP: एक मजबूत एमोर्टाइज्ड बेसलाइन जिसे संयुक्त वितरणों की भविष्यवाणी करने के लिए विस्तारित किया गया है।

मुख्य निष्कर्ष:

कोरिलेशनल बेसलाइन्स पर श्रेष्ठता: ACTIVA, Gaussian Conditional बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करता है, विशेष रूप से स्प्यूरियस नॉन-डेसेंडेंट प्रभावों (spurious non-descendant effects) को कम करने में। यह गैर-डेसेंडेंट्स के लिए शून्य कॉज़ल प्रभाव की सही भविष्यवाणी करता है, जबकि कोरिलेशनल बेसलाइन गलत बदलाव (false shifts) की भविष्यवाणी करती है।
एमोर्टाइज्ड बेसलाइन्स बनाम प्रदर्शन: छोटे ग्राफ और सेमी-सिंथेटिक जैविक डेटा पर, ACTIVA (नेगेटिव लॉग-लाइक्लीहुड और एनर्जी डिस्टेंस के संदर्भ में) MACE-TNP की तुलना में प्रतिस्पर्धी या बेहतर प्रदर्शन करता है। बड़े सिंथेटिक ग्राफ (8 वेरिएबल्स) पर, MACE-TNP कभी-कभी कम एनर्जी डिस्टेंस प्राप्त करता है, जो पूरक शक्तियों का सुझाव देता है।
डाउनस्ट्रीम उपयोगिता: वितरण संबंधी भविष्यवाणियाँ सटीक औसत उपचार प्रभाव (ATE) अनुमानों में परिवर्तित होती हैं। कॉज़ल स्ट्रक्चर को पकड़ने की ACTIVA की क्षमता इसे छोटे समस्याओं और सेमी-सिंथेटिक डेटा पर ओरकल Linear Causal बेसलाइन के साथ प्रतिस्पर्धी होने की अनुमति देती है, बावजूद इसके कि इसके पास वास्तविक ग्राफ तक पहुंच नहीं है।
मजबूती (Robustness): ACTIVA आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सेटिंग्स में आंशिक मजबूती प्रदर्शित करता है, हालांकि इन-डिस्ट्रीब्यूशन परिणामों की तुलना में प्रदर्शन घटता है, विशेष रूप से डेसेंडेंट एनर्जी डिस्टेंस पर।

महत्व और दावे (Significance and Claims)

लेखक ACTIVA को कॉज़ल इन्फरेंस के लिए फाउंडेशन मॉडल्स की दिशा में एक आशाजनक कदम के रूप में प्रस्तुत करते हैं। पेपर तीन मुख्य क्षेत्रों में महत्व का दावा करता है:

एमोर्टाइज्ड डिस्ट्रिब्यूशनल एस्टीमेशन: उन विधियों के विपरीत जो कॉज़ल ग्राफ को रिकवर करती हैं या पॉइंट सारांश का अनुमान लगाती हैं, ACTIVA सीधे पूर्ण पोस्ट-इंटरवेंशनल वितरणों के पूर्वानुमान को एमोर्टाइज करता है, जिससे नए डेटासेट्स पर ज़ीरो-शॉट इन्फरेंस संभव होता है।
स्पष्ट अस्पष्टता प्रतिनिधित्व (Explicit Ambiguity Representation): संभावित कॉज़ल मॉडलों के मिश्रण के रूप में आउटपुट को मॉडल करके, ACTIVA अवलोकन संबंधी डेटा में निहित अनिश्चितता को स्पष्ट रूप से प्रदर्शित करता है, बजाय इसके कि इसे एकल पॉइंट एस्टीमेट में समाहित कर दे।
आंशिक हस्तक्षेपों को संभालना: फ्रेमवर्क उन सेटिंग्स के लिए विशिष्ट रूप से उपयुक्त है जहाँ हस्तक्षेप केवल आंशिक रूप से निर्दिष्ट होते हैं (जैसे, सटीक खुराक के बिना हस्तक्षेप लेबल), जो वास्तविक दुनिया के अनुप्रयोगों में एक सामान्य बाधा है।

पेपर निष्कर्ष निकालता है कि हालांकि परिमित-नमूना (finite-sample) कार्यान्वयन सैद्धांतिक आदर्श के सन्निकटन हैं, सिद्धांत-निर्देशित आर्किटेक्चर सफलतापूर्वक ऐसे प्रेडिक्टर्स सीखता है जो केवल अवलोकन संबंधी सहसंबंधों के बजाय पोस्ट-इंटरवेंशनल कॉज़ल स्ट्रक्चर को दर्शाते हैं।