💬 NLP

The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study

यह शोध पत्र चेतावनी देता है कि अवलोकन संबंधी डेटा (observational data) पर प्रशिक्षण के कारण LLM-सिम्युलेटेड प्रयोगों में "यूजर ड्रिफ्ट" (user drift) की समस्या होती है, जो कन्फाउंडिंग बायस (confounding bias) को जन्म देती है, और इस समस्या का पता लगाने के लिए नेगेटिव कंट्रोल आउटकम्स (negative control outcomes) का उपयोग करने तथा इसे कम करने के लिए परिष्कृत पर्सोना विनिर्देशों (refined persona specifications) का प्रस्ताव करता है।

मूल लेखक: Victoria Lin, Taedong Yun, Maja Matarić, John Canny, Arthur Gretton, Alexander D'Amour

प्रकाशित 2026-05-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Victoria Lin, Taedong Yun, Maja Matarić, John Canny, Arthur Gretton, Alexander D'Amour

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "द इल्यूजन ऑफ इंटरवेंशन" (The Illusion of Intervention) पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य विचार: "गिरगिट" वाली समस्या (The "Chameleon" Problem)

कल्पना कीजिए कि आप एक वैज्ञानिक हैं जो दो अलग-अलग हेल्थ कोचों का परीक्षण करने की कोशिश कर रहे हैं। आप जानना चाहते हैं कि लोगों को व्यायाम करने के लिए प्रेरित करने में कौन सा कोच बेहतर है।

एक आदर्श दुनिया में, आप एक व्यक्ति को लेंगे, उन्हें कोच A दिखाएंगे, और फिर उन्हें कोच B दिखाएंगे। चूंकि यह वही व्यक्ति है, इसलिए उनकी प्रतिक्रिया में कोई भी अंतर निश्चित रूप से कोच के कारण होगा, न कि इसलिए कि व्यक्ति बदल गया है।

लेकिन, आप हर परीक्षण के लिए असली लोगों का उपयोग नहीं कर सकते (यह बहुत महंगा और धीमा है)। इसलिए, शोधकर्ता AI "सिंथेटिक यूजर्स" (LLMs) का उपयोग करते हैं जो लोगों का नाटक करते हैं। वे AI को एक साधारण "पर्सोना" (व्यक्तित्व) देते हैं, जैसे: "आप एक 30 वर्षीय पुरुष हैं।"

समस्या: पेपर का तर्क है कि ये AI उपयोगकर्ता गिरगिट की तरह हैं। जब आप उन्हें कोच A दिखाते हैं, तो AI गुप्त रूप से यह तय कर सकता है, "ओह, यह कोच तकनीकी लग रहा है, इसलिए मैं एक गंभीर एथलीट होने का नाटक करूँगा।" लेकिन जब आप उन्हें कोच B दिखाते हैं, तो AI सोच सकता है, "यह कोच अनौपचारिक है, इसलिए मैं एक आलसी व्यक्ति होने का नाटक करूँगा।"

भले ही आपने बिल्कुल एक ही "30 वर्षीय पुरुष" वाले प्रॉम्प्ट से शुरुआत की थी, लेकिन जब आप उनसे उनकी राय मांगते हैं, तो AI दो पूरी तरह से अलग प्रकार के लोगों में बदल (drift) चुका होता है। यह ऐसा दिखाता है जैसे कोच अलग थे, जबकि वास्तव में आपने एक गंभीर एथलीट की तुलना एक आलसी व्यक्ति से कर दी थी।

मूल मुद्दा: "यूजर ड्रिफ्ट" (User Drift)

लेखक इसे यूजर ड्रिफ्ट कहते हैं।

भ्रम (The Illusion): हमें लगता है कि हम एक निष्पक्ष, नियंत्रित प्रयोग (जैसे कि एक वैज्ञानिक परीक्षण) चला रहे हैं।
वास्तविकता (The Reality): क्योंकि AI मॉडल वास्तविक दुनिया के डेटा पर प्रशिक्षित होते हैं (जहाँ लोग अपने रास्ते खुद चुनते हैं), वे स्थिति के आधार पर व्यक्तित्व के खाली स्थानों को भरने की कोशिश करते हैं।
परिणाम (The Result): AI उपयोगकर्ताओं की "जनसंख्या" उस उपचार पर निर्भर करती है जो उन्हें दिया जाता है। यह सिलेक्शन बायस (Selection Bias) पैदा करता है। यह वैसा ही है जैसे यदि आपने टीम A के लिए रेस ट्रैक पर एक नई कार का परीक्षण किया, लेकिन गलती से टीम B का परीक्षण एक कीचड़ भरे मैदान पर कर दिया। यदि टीम A जीतती है, तो क्या यह कार की वजह से है, या ट्रैक की वजह से?

उन्होंने AI को रंगे हाथों कैसे पकड़ा

AI के इस बदलाव को साबित करने के लिए, शोधकर्ताओं ने नेगेटिव कंट्रोल आउटकम्स (Negative Control Outcomes) नामक एक तरकीब का उपयोग किया।

इसे एक प्रयोग के लिए झूठ पकड़ने वाले टेस्ट (Lie Detector Test) की तरह समझें।

उन्होंने AI उपयोगकर्ताओं से ऐसे प्रश्न पूछे जो कोच से बात करने के बावजूद नहीं बदलने चाहिए थे। उदाहरण के लिए: "आपकी जाति क्या है?" या "आपकी नागरिकता क्या है?"
एक वास्तविक मानव प्रयोग में, आपकी जाति केवल इसलिए नहीं बदलती क्योंकि आपने किसी अलग कोच से बात की है।
खोज (The Discovery): AI प्रयोगों में, जवाब बदल गए। कोच A से बात करने वाला AI एक अलग राजनीतिक दल या अलग शौक का दावा करने लगा, जबकि कोच B से बात करने वाले AI से अलग था, भले ही दोनों की शुरुआत एक ही प्रॉम्प्ट से हुई थी।
निष्कर्ष (The Conclusion): यदि AI के "अपरिवर्तनीय" गुण बदल रहे हैं, तो उसकी "परिवर्तनीय" राय (मुख्य परिणाम) भी बदल रही होगी। प्रयोग दूषित हो गया है।

समाधान: AI को एक "बैकस्टोरी" देना

शोधकर्ताओं ने गिरगिट को रंग बदलने से रोकने का एक तरीका खोज निकाला। उन्होंने महसूस किया कि उन्हें प्रयोग शुरू होने से पहले AI को एक बहुत अधिक विस्तृत "बैकस्टोरी" देनी होगी।

पुराना तरीका: "आप एक 30 वर्षीय पुरुष हैं।" (बहुत अस्पष्ट - AI कोच के आधार पर खाली जगहों को भर देता है)।
नया तरीका: "आप एक 30 वर्षीय पुरुष हैं जो ओहियो में रहता है, 50 हज़ार डॉलर कमाता है, जिसे हाइकिंग पसंद है, एक डेमोक्रेट है, और हर रविवार को चर्च जाता है।"

विशिष्ट विवरण (जिन्हें लेखक कन्फाउंडर्स/Confounders कहते हैं) स्पष्ट रूप से बताकर, उन्होंने व्यक्तित्व को एक जगह "लॉक" कर दिया। AI किसी दूसरे प्रकार के व्यक्ति में नहीं बदल सका क्योंकि निर्देश बहुत विशिष्ट थे।

उन्होंने इसे चरणों में विवरण जोड़कर परखा। पहले, उन्होंने केवल जनसांख्यिकीय विवरण (आयु, स्थान) जोड़े। इससे थोड़ी मदद मिली। लेकिन असली जादू तब हुआ जब उन्होंने विषय से संबंधित लक्षित प्रश्न (Targeted Questions) जोड़े (जैसे, परीक्षण से पहले विषय पर AI के विशिष्ट विचारों के बारे में पूछना)। इसने ड्रिफ्ट को रोक दिया और परिणामों को स्थिर बना दिया।

मुख्य सीख (The Takeaway)

पेपर यह निष्कर्ष निकालता है कि AI सिमुलेशन वास्तविकता का जादुई दर्पण नहीं हैं; वे अवलोकन संबंधी अध्ययन (Observational Studies) की तरह अधिक हैं।

सिर्फ इसलिए कि आपने AI को एक "उपयोगकर्ता" होने का प्रॉम्प्ट दिया है, इसका मतलब यह नहीं है कि वह वही उपयोगकर्ता बना रहता है। यदि आप एक AI प्रयोग के परिणामों पर भरोसा करना चाहते हैं, तो आप यह मानकर नहीं चल सकते कि AI सुसंगत है। आपको करना होगा:

ड्रिफ्ट की जाँच करें: AI से ऐसे प्रश्न पूछें जो नहीं बदलने चाहिए, यह देखने के लिए कि क्या वह चुपके से अपनी पहचान बदल रहा है।
पर्सना को लॉक करें: AI को एक बहुत ही विस्तृत, विशिष्ट बैकस्टोरी दें जो उन चीजों को कवर करे जो अन्यथा बदल सकती हैं।

इन चरणों के बिना, आपको लग सकता है कि आपने मानव व्यवहार के बारे में एक नया सत्य खोज लिया है, लेकिन वास्तव में आपने केवल यह खोजा है कि AI अलग-अलग लोगों का नाटक करने में कितना कुशल है।

तकनीकी सारांश: LLM-सिम्युलेटेड प्रयोगों में हस्तक्षेप का भ्रम (The Illusion of Intervention in LLM-Simulated Experiments)

समस्या विवरण (Problem Statement)

बड़े भाषाई मॉडल (LLMs) का उपयोग मानव व्यवहार को सिम्युलेट करने के लिए तेजी से किया जा रहा है, जैसे कि AI एजेंटों का मूल्यांकन करने या बड़े पैमाने पर सर्वेक्षण करने के लिए। प्रचलित धारणा यह है कि एक ही व्यक्तित्व (जैसे, "एक 30 वर्षीय पुरुष") के साथ समान LLMs को शुरू करके और उन्हें विभिन्न हस्तक्षेपों (जैसे, एजेंट A बनाम एजेंट B) के संपर्क में लाकर, शोधकर्ता एक रैंडमाइज्ड कंट्रोल्ड ट्रायल (RCT) की नकल कर सकते हैं ताकि कारण प्रभावों (causal effects) का अनुमान लगाया जा सके।

हालाँकि, यह शोध पत्र तर्क देता है कि ऐसे सिंथेटिक प्रयोग यूजर ड्रिफ्ट (user drift) से ग्रस्त होते हैं, जो उन्हें रैंडमाइज्ड ट्रायल्स के बजाय ऑब्जर्वेशनल स्टडीज (observational studies) के अधिक करीब बना देते हैं। क्योंकि LLMs ऑब्जर्वेशनल डेटा पर प्रशिक्षित होते हैं और एब्डक्टिव रीजनिंग (abductive reasoning) के माध्यम से कार्य करते हैं, वे हस्तक्षेप संदर्भ ( $A$ ) के साथ सुसंगतता बनाए रखने के लिए अनिर्दिष्ट गुप्त गुणों ( $X \setminus L$ ) का अनुमान लगाते हैं। फलस्वरूप, दो सिंथेटिक उपयोगकर्ता जिन्हें समान प्रेक्षित गुणों ( $L$ ) के साथ शुरू किया गया है, हस्तक्षेप प्राप्त करने के आधार पर अलग-अलग गुप्त आबादी (latent populations) में विलीन हो सकते हैं। यह सिलेक्शन बायस (selection bias/confounding) पैदा करता है, जहाँ गुप्त उपयोगकर्ता गुणों का वितरण उपचार स्थितियों के बीच भिन्न होता है ( $P(X | A=1, L) \neq P(X | A=0, L)$ ), जिससे अनुमानित उपचार प्रभाव ( $\tau_{obs}$ ), वास्तविक कारण प्रभाव ( $\tau_{ATE}$ ) से विचलित हो जाता है।

कार्यप्रणाली (Methodology)

बायस का औपचारिकीकरण (Formalization of Bias)

लेखक पोटेंशियल आउटकम्स फ्रेमवर्क का उपयोग करके समस्या को औपचारिक रूप देते हैं। एक आदर्श RCT में, रैंडम असाइनमेंट बैकग्राउंड कारकों को संतुलित सुनिश्चित करता है। LLM सिमुलेशन में, जेनेरेटिव प्रक्रिया जॉइंट डिस्ट्रीब्यूशन को $P(X, L, A, Y)$ के बजाय $P(L, A, X, Y)$ के रूप में फैक्टर करती है। जब एक हस्तक्षेप $A$ पेश किया जाता है, तो LLM $A$ के साथ सुसंगत अनऑब्जर्व्ड यूजर एट्रिब्यूट्स $X \setminus L$ का अनुमान लगाता है, जिससे अनऑब्जर्व्ड यूजर एट्रिब्यूट्स के माध्यम से $A$ से $Y$ तक एक ओपन बैकडोर पाथ बन जाता है। यह एक बायस टर्म $\delta_{SB}$ को प्रेरित करता है जिससे $\tau_{ATE} = \tau_{obs} - \delta_{SB}$ होता है।

डायग्नोस्टिक: नेगेटिव कंट्रोल आउटकम्स (Diagnostic: Negative Control Outcomes)

पूर्ण गुप्त व्यक्तित्व को देखे बिना इस ड्रिफ्ट का पता लगाने के लिए, लेखक नेगेटिव कंट्रोल आउटकम्स ( $Z$ ) का प्रस्ताव करते हैं। ये वे चर (variables) हैं जो:

हस्तक्षेप $A$ से कारण रूप से अप्रभावित होने चाहिए (उपचार के तहत अपरिवर्तित)।
उन्हीं अनऑब्जब्जर्व्ड गुप्त गुणों ( $X \setminus L$ ) पर निर्भर करते हैं जो प्राथमिक परिणाम को संचालित करते हैं।

उदाहरणों में जनसांख्यिकीय गुण (जाति, नागरिकता) या स्थिर विश्वास शामिल हैं जो यह नहीं बदलना चाहिए कि उपयोगकर्ता एक "सकारात्मक" या "नकारात्मक" AI एजेंट के साथ बातचीत करता है। लेखक ड्रिफ्ट को विभिन्न हस्तक्षेप स्थितियों ( $A=0$ बनाम $A=1$ ) के तहत $Z$ के वितरण के बीच टोटल वेरिएशन डिस्टेंस (TVD) का उपयोग करके परिमाणित करते हैं। एक गैर-शून्य TVD यह संकेत देता है कि हस्तक्षेप ने गुप्त उपयोगकर्ता आबादी को बदल दिया है, जो कन्फाउंडिंग का संकेत है।

शमन: इटरेटिव कन्फाउंडर एडजस्टमेंट (Mitigation: Iterative Confounder Adjustment)

बायस को कम करने के लिए, लेखक अनऑब्जर्व्ड गुप्त गुणों के प्रॉक्सी के रूप में अतिरिक्त कन्फाउंडर्स ( $L'$ ) को निकालने और निर्दिष्ट करने के लिए एक इटरेटिव प्रक्रिया का प्रस्ताव करते हैं।

एलिसिटेशन (Elicitation): सिस्टम हस्तक्षेप के बाद विशिष्ट गुणों (जैसे, आय, धर्म, या हस्तक्षेप से संबंधित लक्षित प्रश्न) के लिए सिंथेटिक उपयोगकर्ता को प्रॉम्प्ट करता है।
सैंपलिंग (Sampling): यह सुनिश्चित करने के लिए कि समायोजित आबादी एक रैंडमाइज्ड परिदृश्य को दर्शाती है, नए कन्फाउंडर्स को ट्रीटमेंट-यूनिफॉर्म मिक्सचर डिस्ट्रीब्यूशन से सैंपल किया जाता है।
इटरेशन (Iteration): इन एलिसिटेड गुणों को पर्सोना स्पेसिफिकेशन ( $\tilde{L} = L \cup L'$ ) में जोड़ा जाता है, और प्रयोग को फिर से चलाया जाता है। यह लूप तब तक चलता है जब तक कि नेगेटिव कंट्रोल आउटकम्स का TVD स्थिर नहीं हो जाता या एक थ्रेशोल्ड से नीचे नहीं गिर जाता।

लेखक इस बात पर जोर देते हैं कि यह कॉन्टेक्स्ट विंडो डिग्रेडेशन और सैंपलिंग बायस से बचने के लिए सभी संभावित गुणों के वन-शॉट स्पेसिफिकेशन के बजाय एक इटरेटिव, टार्गेटेड दृष्टिकोण है।

मुख्य योगदान (Key Contributions)

यूजर ड्रिफ्ट का औपचारिकीकरण: पेपर एक कॉज़ल इन्फरेंस फ्रेमवर्क प्रदान करता है जो दर्शाता है कि LLM-सिम्युलेटेड प्रयोग स्वाभाविक रूप से हस्तक्षेप-निर्भर गुप्त उपयोगकर्ता गुणों के कारण सिलेक्शन बायस से ग्रस्त होते हैं।
एम्पिरिकल डायग्नोस्टिक: यह यूजर ड्रिफ्ट और सिलेक्शन बायस का पता लगाने के लिए नेगेटिव कंट्रोल आउटकम्स और टोटल वेरिएशन डिस्टेंस के उपयोग को एक व्यावहारिक उपकरण के रूप में पेश करता है।
शमन रणनीति: यह प्रदर्शित करता है कि पर्सोना स्पेसिफिकेशन के दौरान लक्षित, इटरेटिव कन्फाउंडर एलिसिटेशन से दोनों सर्वे-शैली और मल्टी-टर्न एजेंट मूल्यांकन सेटिंग्स में सिलेक्शन बायस को काफी कम किया जा सकता है।

परिणाम (Results)

लेखकों ने कई मॉडल्स (Qwen3, GPT-OSS, Gemma, Gemini) और डेटासेट्स (OpinionQA, Book Opinions, MovieLens) पर अपने दृष्टिकोण का मूल्यांकन किया।

ड्रिफ्ट की उपस्थिति: बेसलाइन (इटरेशन 0) पर, अधिकांश मॉडल्स और डेटासेट्स में नेगेटिव कंट्रोल आउटकम्स में पर्याप्त TVD देखा गया, जो पुष्टि करता है कि समान प्रारंभिक पर्सोना हस्तक्षेप के आधार पर अलग-अलग गुप्त आबादी में बदल जाते हैं। विशेष रूप से, मजबूत एब्डक्टिव रीजनिंग क्षमताओं वाले मॉडल्स (जैसे, Gemma-4) ने कम सक्षम मॉडल्स की तुलना में अधिक ड्रिफ्ट प्रदर्शित किया।
एडजस्टमेंट का प्रभाव: इटरेटिव कन्फाउंडर एडजस्टमेंट ने आम तौर पर TVD को कम किया, जो यूजर ड्रिफ्ट में कमी का संकेत देता है।
- सर्वे सेटिंग्स (OpinionQA) में, इटरेशन के साथ TVD लगातार कम हुआ।
- एजेंट मूल्यांकन सेटिंग्स में, परिणाम विविध थे; कुछ मॉडल्स (जैसे, Gemma-4) ने स्पष्ट कमी दिखाई, जबकि अन्य (जैसे, GPT-OSS-20B) ने फ्लैट या कमजोर रूप से बदलते TVD दिखाए, जो सुझाव देता है कि प्रॉम्प्ट-आधारित कंडीशनिंग मल्टी-टर्न सेटिंग्स में समान रूप से प्रभावी नहीं है।
प्रभाव अनुमानों पर प्रभाव: देखे गए उपचार प्रभाव ( $\tau_{obs}$ ) शुरुआती एडजस्टमेंट इटरेशन के दौरान महत्वपूर्ण रूप से बदले और फिर स्थिर हो गए। यह पुष्टि करता कि मूल अनुमान यूजर ड्रिफ्ट द्वारा प्रभावित थे।
डिज़ाइन बारीकियां: अध्ययन में पाया गया कि सामान्य जनसांख्यिकीय गुणों को जोड़ने से कभी-कभी (सिलेक्शन बायस के कारण) TVD बढ़ सकता है, इससे पहले कि लक्षित, कार्य-विशिष्ट कन्फाउंडर्स इसे कम करें। यह विशिष्ट उपचार और परिणाम के लिए प्रासंगिक कन्फाउंडर्स चुनने के महत्व को रेखांकित करता है।

महत्व और दावे (Significance and Claims)

पेपर निष्कर्ष निकालता है कि सिंथेटिक यूजर्स का उपयोग करने वाले प्रयोगों को डिफॉल्ट रूप से ऑब्जर्वेशनल स्टडीज के रूप में माना जाना चाहिए, न कि रैंडमाइज्ड प्रयोगों के रूप में। "हस्तक्षेप का भ्रम" इसलिए उत्पन्न होता है क्योंकि LLM की जेनेरेटिव प्रकृति हस्तक्षेप को रेट्रोएक्टिवली (retroactively) सिम्युलेटेड यूजर की गुप्त स्थिति को प्रभावित करने की अनुमति देती है।

लेखक दावा करते हैं कि:

डायग्नोसिस और शमन के बिना, सिंथेटिक यूजर प्रयोग अनऑब्जर्व्ड सिलेक्शन बायस के कारण भ्रामक कॉज़ल अनुमान पैदा करने का जोखिम उठाते हैं।
नेगेटिव कंट्रोल आउटकम्स इस बायस का पता लगाने के लिए एक आवश्यक डायग्नोस्टिक टूल प्रदान करते हैं।
इटरेटिव, टार्गेटेड कन्फाउंडर एडजस्टमेंट आंतरिक वैधता (internal validity) में सुधार करने के लिए एक व्यवहार्य रणनीति है, हालांकि यह सभी अनमैजर्ड लेटेंट वेरिएशन को समाप्त करने की गारंटी नहीं देता है।

यह कार्य उन शोधकर्ताओं के लिए एक चेतावनी भरा ढांचा (cautionary framework) प्रदान करता है जो मानव प्रतिक्रियाओं को सिम्युलेट करने के लिए LLMs का उपयोग कर रहे हैं, जो उन्हें कॉज़ल वैलिडिटी को केवल मान लेने के बजाय यूजर ड्रिफ्ट को सक्रिय रूप से डायग्नोस करने और ठीक करने की ओर प्रेरित करता है।