What is the Causal Effect of a Conversation? Estimands and Inference in AI Mediated Conversations

तकनीकी सारांश: AI-मध्यस्थ बातचीत में एस्टिमेंड्स (Estimands) और अनुमान (Inference)

समस्या विवरण
राजनीति वैज्ञानिक तेजी से बातचीत को एक कारणत्मक उपचार (causal treatments) के रूप में उपयोग कर रहे हैं, जिसमें मानव प्रचारकों (canvassers) से लेकर जनरेटिव आर्टिफिशियल इंटेलिजेंस (AI) तक शामिल हैं। जबकि बातचीत की संवादात्मक और प्रतिक्रियात्मक प्रकृति उच्च पारिस्थितिक वैधता (ecological validity) और मापनीयता (विशेष रूप से AI के साथ) प्रदान करती है, यह कारणत्मक अनुमान (causal inference) के लिए मौलिक चुनौतियां भी पेश करती है। स्थिर हस्तक्षेपों (जैसे कि पर्चे या निश्चित पाठ) के विपरीत, बातचीत उत्तरदाता (respondent) और वार्ताकार (interlocutor) द्वारा संयुक्त रूप से निर्मित (jointly produced) होती है। फलस्वरूप, वास्तविक रूप से घटित हुई बातचीत उत्तरदाता की विशेषताओं (जैसे कि शत्रुता, जिज्ञासा, या प्रतिरोध) के प्रति अंतर्जात (endogenous) होती है।

मुख्य समस्या यह है कि किसी संवादात्मक स्थिति (जैसे कि एक "सभ्य" बनाम "असभ्य" AI नीति) के लिए यादृच्छिक असाइनमेंट (random assignment) उस असाइनमेंट के प्रभाव की पहचान करता है, लेकिन यह आवश्यक रूप से वास्तविक रूप में घटित हुई बातचीत या उसके भीतर के विशिष्ट लक्षणों (जैसे कि असभ्यता का स्तर) की पहचान नहीं करता है। क्योंकि बातचीत उत्तरदाता के इनपुट के आधार पर गतिशील रूप से विकसित होती है, इसलिए वास्तविक उपचार में होने वाला बदलाव उन उत्तरदाता लक्षणों से व्यवस्थित रूप से संबंधित होता है जो परिणामों को भी प्रभावित करते हैं। यह एक ऐसा भ्रम (confounding) पैदा करता है जिसे मानक यादृच्छिक डिजाइन अतिरिक्त धारणाओं के बिना हल नहीं कर सकते। शोध पत्र का तर्क है कि "बातचीत" को एक अखंड उपचार (monolithic treatment) मानने से वे विशिष्ट सैद्धांतिक वस्तुएं (असाइनमेंट, नीति, संदेश, लक्षण) धुंधली हो जाती हैं जिन्हें अलग-अलग कारणत्मक परिभाषाओं और पहचान रणनीतियों की आवश्यकता होती है।

कार्यप्रणाली और ढांचा
लेखक अनुक्रमिक, संवादात्मक प्रक्रियाओं के लिए अनुकूलित एक संभावित परिणाम ढांचे (potential outcomes framework) को विकसित करते हैं। वे बातचीत को एक पथ-निर्भर प्रक्रिया (path-dependent process) के रूप में औपचारिक रूप देते जिसमें शामिल हैं:

• असाइनमेंट ($Z_i$): यादृच्छिक स्थिति (जैसे प्रॉम्प्ट या नीति)।
• नीति ($\pi$): इतिहास के प्रति वार्ताकार की प्रतिक्रियाओं को नियंत्रित करने वाला नियम।
• इतिहास ($H_{it}$): पूर्व संदेशों का क्रम।
• वास्तविक बातचीत ($C_i$): नीति, इतिहास और उत्तरदाता के व्यवहार ($R_i$) की परस्पर क्रिया से उत्पन्न संदेशों का पूर्ण पथ।
• लक्षण ($D_i, B_i$): बातचीत के मापे गए और अपरिवर्तित (unmeasured) गुप्त लक्षण (जैसे स्वर, सभ्यता)।

ढांचा डिज़ाइन-प्रेरित हस्तक्षेप (जो यादृच्छिक किया जाता है) और वास्तविक अनुभव (जो उत्तरदाता वास्तव में अनुभव करता है) के बीच अंतर करता है। यह यह दर्शाने के लिए निर्देशित अचक्रीय ग्राफ़ (Directed Acyclic Graphs - DAGs) का उपयोग करता है कि कैसे उत्तरदाता के गुण ($U_i$) बातचीत के पथ और परिणाम दोनों को प्रभावित करते हैं, जिससे यादृच्छिक असाइनमेंट के बावजूद अंतर्जातता (endogeneity) उत्पन्न होती है।

शोध पत्र एस्टिमेंड्स (causal estimands) के एक वर्गीकरण को परिभाषित करता है, जिनमें से प्रत्येक एक अलग सैद्धांतिक वस्तु से संबंधित है और जिसके लिए विशिष्ट पहचान संबंधी धारणाओं की आवश्यकता होती है:

1. असाइनमेंट प्रभाव ($\tau_Z$): किसी स्थिति में असाइनमेंट होने का 'इंटेंट-टू-ट्रीट' (ITT) प्रभाव। यह मानक यादृच्छिक असाइनमेंट धारणाओं (निरंतरता, हस्तक्षेप का अभाव, इग्नोरैबिलिटी, पॉजिटिविटी) के तहत पहचाना जा सकता है।
2. प्रारंभिक संदेश प्रभाव ($\tau_{A0}$): प्रारंभिक संदेश का प्रभाव। यह पहचानने योग्य है यदि संदेश सीधे यादृच्छिक किया गया हो, लेकिन अक्सर यह भ्रमित होता है यदि संदेश किसी गुप्त लक्षण का प्रतिनिधि (proxy) हो।
3. नीति प्रभाव ($\tau_\pi$): एक विशिष्ट संवादात्मक शासन (regime) को तैनात करने का प्रभाव। यह नीति के यादृच्छिक होने पर पहचानने योग्य है, बशर्ते कार्यान्वयन स्थिर हो। हालांकि, यह एक समग्र प्रभाव है जो विविध संवादात्मक प्रक्षेपवक्रों (trajectories) पर औसत निकालता है।
4. संदेश प्रभाव ($\tau_{A_t}$): इतिहास की स्थिति में एक विशिष्ट संदेश का प्रभाव। इसके लिए अनुक्रमिक इग्नोरैबिलिटी (Sequential Ignorability) की आवश्यकता होती है (अर्थात अगला संदेश इतिहास के आधार पर 'जैसा-कि-यादृच्छिक' हो)। शोध पत्र का तर्क है कि इसका अक्सर उल्लंघन होता है क्योंकि इतिहास उत्तरदाता के गुणों के प्रति अंतर्जात होता है।
5. लक्षण प्रभाव ($\tau_D$): एक गुप्त लक्षण (जैसे असभ्यता) का प्रभाव। इसके लिए यह आवश्यक है कि लक्षण में भिन्नता अन्य अपरिवर्तित संदेश घटकों से अलग (decoupled) हो (बंडलिंग बायस)।
6. वास्तविक बातचीत प्रभाव ($\tau_C$): पूर्ण पथ का प्रभाव। इसके लिए कन्वर्सेशन इग्नोरैबिलिटी (Conversation Ignorability) की आवश्यकता होती है, जो आम तौर पर परीक्षण योग्य नहीं है और इसकी संभावना कम है क्योंकि बातचीत संयुक्त रूप से उत्पन्न होती है।
7. डोजेज प्रभाव ($\tau_E$): एक लक्षण के संचयी जोखिम (cumulative exposure) का प्रभाव। यह लक्षण-स्तर के एस्टिमेंड से विरासत में मिले भ्रम (confounding) को प्राप्त करता है।

प्रमुख परिणाम और प्रस्ताव
शोध पत्र संवादात्मक सेटिंग्स में पहचान की सीमाओं को औपचारिक रूप देने वाले कई प्रस्ताव प्रस्तुत करता है:

• प्रस्ताव 1 (चयन पूर्वाग्रह/Selection Bias): विभिन्न संदेशों के बीच परिणामों की तुलना करने से संदेश प्रभाव अलग नहीं हो पाता क्योंकि संदेश अलग-अलग इतिहासों द्वारा उत्पन्न होते हैं, जो अनोब्जर्व्ड (unobserved) उत्तरदाता गुणों ($U_i$) द्वारा संचालित होते हैं।
• प्रस्ताव 2 (फीचर बंडलिंग बायस/Feature Bundling Bias): रुचि के एक लक्षण (जैसे स्वर) में भिन्नता आमतौर पर संदेश के अन्य अपरिवर्तित पहलुओं के साथ जुड़ी होती है। संदेश को यादृच्छिक करना लक्षण प्रभाव को अलग नहीं करता है।
• प्रस्ताव 3 (पथों की अंतर्जातता/Endogeneity of Paths): वास्तविक बातचीत एक उपचार भी है और उत्तरदाता की विशेषताओं का एक संकेतक भी। वास्तविक पथों की तुलना करने से उपचार प्रभाव और उत्तरदाता की विषमता (heterogeneity) आपस में मिल जाते हैं।
• प्रस्ताव 4 (डोजेज इनहेरिटेंस/Dosage Inheritance): लक्षणों को डोजेज माप में एकत्रित करने से लक्षण स्तर पर मौजूद मूल भ्रम (confounding) हल नहीं होता है।

अनुसंधान डिजाइन के लिए निहितार्थ
लेखक अनुसंधान लक्ष्यों के साथ एस्टिमेंड्स को संरेखित करने के लिए कई डिजाइन रणनीतियाँ प्रस्तावित करते हैं:

• एस्टिमेंड को डिजाइन से मिलाना: शोधकर्ताओं को स्पष्ट रूप से यह परिभाषित करना चाहिए कि वे असाइनमेंट, नीति, या विशिष्ट लक्षणों में से किसमें रुचि रखते हैं, और उसी के अनुसार यादृच्छिकरण (randomization) डिजाइन करना चाहिए।
• टर्न-लेवल रैंडमाइजेशन (Turn-Level Randomization): पूरी स्थिति को यादृच्छिक करने के बजाय, शोधकर्ता विशिष्ट संदेशों को विशिष्ट टर्न पर (इतिहास के आधार पर) यादृच्छिक कर सकते हैं। यह विशिष्ट संवादात्मक अवस्थाओं के लिए एक लोकल एवरेज ट्रीटमेंट इफेक्ट (LATE) बनाता है, जिससे अंतर्जातता कम होती है।
• कंडीशनल एवरेज ट्रीटमेंट इफेक्ट्स (CATE): उच्च-आयामी इतिहास के बजाय इतिहास के निरूपण (जैसे "सभ्य" बनाम "शत्रुतापूर्ण" संदर्भ) पर आधारित होकर, शोधकर्ता यह अनुमान लगा सकते हैं कि संदेश प्रभाव संदर्भ के अनुसार कैसे बदलते हैं।
• एवरेज मार्जिनल कंपोनेंट इफेक्ट (AMCE): संवादात्मक संदर्भों के देखे गए वितरण में CATE को एकत्रित करके औसत संदेश प्रभावों का सारांश दिया जा सकता है।
• इंस्ट्रुमेंटल वेरिएबल्स (LATE): जब वास्तविक एक्सपोजर को सीधे नियंत्रित नहीं किया जा सकता है, तो असाइनमेंट वास्तविक लक्षण के लिए एक इंस्ट्रुमेंट के रूप में कार्य कर सकता है, जो "कम्प्लायर्स" (वे लोग जिनका संवाद असाइनमेंट द्वारा बदला गया था) के लिए एक लोकल एवरेज ट्रीटमेंट इफेक्ट की पहचान करता है।
• प्रतिबंधित प्रोटोकॉल (Constrained Protocols): तुलना के लिए अनुभवजन्य समर्थन में सुधार के लिए संदेश स्थान (जैसे बहुविकल्पीय प्रतिक्रियाएं) को प्रतिबंधित करना, हालांकि इससे पारिस्थितिक वैधता के साथ समझौता हो सकता है।

महत्व और दावे
शोध पत्र का दावा है कि यह विशेष रूप से AI द्वारा संचालित संवादात्मक सेटिंग्स में कारण प्रभावों को परिभाषित करने और व्याख्या करने के लिए एक सामान्य भाषा प्रदान करता है। इसका प्राथमिक योगदान यह सुझाव देना नहीं है कि शोधकर्ताओं को केवल आसानी से पहचाने जाने योग्य एस्टिमेंड्स (जैसे ITT) तक ही सीमित रहना चाहिए, बल्कि यह स्पष्ट करना है कि जटिल, सैद्धांतिक रूप से समृद्ध वस्तुओं जैसे "अनुनय" (persuasion) या "विमर्श" (deliberation) के अध्ययन में क्या ट्रेड-ऑफ शामिल हैं।

लेखकों का तर्क है कि जो असाइन किया जाता है और जो अनुभव किया जाता है, उनके बीच का अंतर सामाजिक संपर्क की एक मौलिक विशेषता है, न कि केवल एक पद्धतिगत विफलता। आवश्यक धारणाओं को स्पष्ट करके, यह ढांचा विद्वानों को सक्षम बनाता है:

1. अनुभवजन्य रणनीतियों को सैद्धांतिक लक्ष्यों के साथ बेहतर ढंग से संरेखित करने के लिए।
2. भ्रम (confounding) के संबंध में उचित सावधानी के साथ निष्कर्षों की व्याख्या करने के लिए।
3. विशिष्ट कारणत्मक वस्तुओं को लक्षित करने के लिए अनुसंधान डिजाइन (जैसे क्रमिक यादृच्छिकरण) में नवाचार करने के लिए।

शोध पत्र निष्कर्ष निकालता है कि यद्यपि बातचीत शक्तिशाली है क्योंकि यह अनुकूलन योग्य और सह-निर्मित है, ये समान विशेषताएं कारण प्रभावों को परिभाषित और पहचानना कठिन बना देती हैं। यह ढांचा इस जटिलता को समाप्त करने के बजाय इसे समझने और नेविगेट करने के लिए है।