💬 NLP

Using Text-Based Causal Inference to Disentangle Factors Influencing Online Review Ratings

यह शोध पत्र तापमान स्केलिंग (temperature scaling), हाइपरपैरामीटर अनुकूलन और व्याख्यात्मकता विधियों के साथ एक उन्नत 'कॉज़लबर्ट' (CausalBERT) ढांचे का प्रस्ताव करता है ताकि ऑनलाइन समीक्षा रेटिंग पर विशिष्ट पहलुओं के कारण प्रभावों को अलग किया जा सके, जो 6,00,000 से अधिक अमेरिकी K-12 स्कूल समीक्षाओं के अध्ययन के माध्यम से यह प्रदर्शित करता है कि स्कूल प्रशासन और बेंचमार्क प्रदर्शन समग्र रेटिंग के महत्वपूर्ण चालक हैं।

मूल लेखक: Linsen Li, Aron Culotta, Nicholas Mattei

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Linsen Li, Aron Culotta, Nicholas Mattei

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि किसी विशिष्ट रेस्टोरेंट को 5-स्टार रेटिंग क्यों मिली। आप समीक्षाएं (reviews) पढ़ते हैं और देखते हैं कि लोग "स्टेक" (steak) और "सर्विस" (service) की जमकर तारीफ कर रहे हैं। लेकिन यहाँ एक समस्या है: वह रेस्टोरेंट एक आलीशान इलाके में भी स्थित है, और समीक्षाओं में बार-बार "व्यू" (view) और "वैलेट पार्किंग" (valet parking) का जिक्र होता है।

यदि आप केवल शब्दों को देखते हैं, तो आपको लग सकता है कि केवल स्टेक की वजह से ही 5 स्टार मिले। लेकिन हो सकता है कि स्टेक सिर्फ अच्छा हो, और असली कारण उस इलाके के अमीर लोग हों जो बहुत उत्साहजनक समीक्षाएं लिखना पसंद करते हैं। डेटा साइंस में, हम इसे "कन्फाउंडिंग" (confounding) कहते हैं। यह सूप में नमक का स्वाद लेने की कोशिश करने जैसा है जबकि कोई लगातार उसमें काली मिर्च मिला रहा हो; आप यह नहीं बता सकते कि कौन सा मसाला क्या काम कर रहा है।

यह शोध पत्र CausalBERT नामक एक नए टूल के बारे में है जो हमें ऑनलाइन समीक्षाओं में "नमक" (वह विशिष्ट कारक जिसकी हम परवाह कर रहे हैं) को "काली मिर्च" (अन्य सभी भ्रमित करने वाले कारकों) से अलग करने में मदद करता है। लेखकों ने इसे अमेरिकी स्कूलों की 6,000 से अधिक समीक्षाओं पर परखा ताकि यह देखा जा सके कि वास्तव में एक स्कूल की समग्र रेटिंग को क्या प्रेरित करता है।

उन्होंने इसे सरल चरणों में इस प्रकार किया है:

1. समस्या: समीक्षाओं में "शोर" (The "Noise" in the Reviews)

आमतौर पर, कंप्यूटर केवल यह गिनकर समीक्षाओं का विश्लेषण करते हैं कि कितने सकारात्मक शब्दों का उपयोग किया गया है। लेकिन यह त्रुटिपूर्ण है।

उपमा: कल्पना कीजिए कि एक स्कूल अपने बेहतरीन फुटबॉल टीम के लिए प्रसिद्ध है। माता-पिता लिख सकते हैं, "फुटबॉल टीम अद्भुत है, और शिक्षक भी बहुत अच्छे हैं!"
जाल: एक साधारण कंप्यूटर यह सोच सकता है कि फुटबॉल टीम ही एकमात्र कारण है जिससे स्कूल को उच्च रेटिंग मिली है। लेकिन शायद फुटबॉल टीम ने केवल उन खुशहाल, धनी माता-पिताओं को आकर्षित किया है जो शिक्षकों को भी बहुत पसंद करते हैं। कंप्यूटर को यह जानने की आवश्यकता है: क्या रेटिंग शिक्षकों की वजह से मिली, या फुटबॉल टीम ने केवल उस भीड़ को लाया?

2. समाधान: एक "समय-यात्रा करने वाला" कंप्यूटर (A "Time-Traveling" Computer)

लेखकों ने कॉज़ल इन्फरेंस (Causal Inference) नामक एक पद्धति का उपयोग किया। इसे एक समय-यात्रा सिमुलेशन के रूपya समझें।

वे कंप्यूटर से पूछते हैं: "यदि इस स्कूल की समीक्षाएं बिल्कुल वैसी ही होतीं, लेकिन हम जादू से 'फुटबॉल' का उल्लेख मिटा देते, तो रेटिंग क्या होती?"
फिर वे पूछते हैं: "क्या होगा यदि हम 'फुटबॉल' का उल्लेख रखते लेकिन 'शिक्षक' का उल्लेख मिटा देते?"
इन दो काल्पनिक दुनियाओं की तुलना करके, वे केवल एक चीज़ (जैसे "प्रशासन" या "बुलिंग") के वास्तविक प्रभाव को अलग कर सकते हैं।

3. अपग्रेड: कंप्यूटर को स्मार्ट बनाना

मूल टूल (CausalBERT) पहले से ही अच्छा था, लेकिन लेखकों ने इसे अधिक विश्वसनीय बनाने के लिए तीन विशिष्ट अपग्रेड दिए:

टेम्परेचर स्केलिंग (The "Confidence Thermostat"):
कभी-कभी, कंप्यूटर बहुत अधिक आत्मविश्वासी हो जाता है। वह कह सकता है, "मुझे 99.9% यकीन है कि यह समीक्षा बुलिंग के बारे में है," जबकि वास्तव में वह केवल 60% आश्वस्त होता है। यह अत्यधिक आत्मविश्वास गणित को बिगाड़ देता है।
- समाधान: उन्होंने एक "तापमान" (temperature) वाला नॉब जोड़ा। इसे बढ़ाने से कंप्यूटर का आत्मविश्वास "नरम" हो जाता है, जिससे वह यह स्वीकार कर पाता है कि, "मैं काफी आश्वस्त हूँ, लेकिन 100% नहीं।" यह गणित को क्रैश होने से रोकता है जब कंप्यूटर गलत होता है।
हाइपरपैरामीटर ट्यूनिंग (The "Volume Knob"):
कंप्यूटर को दो चीजों को सुनना होता है: विशिष्ट विषय (ट्रीटमेंट) और बाकी का टेक्स्ट (कन्फाउंडर्स)। यदि वह "बाकी टेक्स्ट" को बहुत ध्यान से सुनता है, तो वह अनजाने में उस सिग्नल को रद्द कर सकता है जिसे वह मापने की कोशिश कर रहा है।
- समाधान: उन्होंने एक तरीका खोजा जिससे वे डेटा कितना कठिन है, इसके आधार पर बैकग्राउंड शोर पर "वॉल्यूम" को स्वचालित रूप से ऊपर या नीचे कर सकें, ताकि मुख्य सिग्नल स्पष्ट रहे।
व्याख्यात्मकता (The "X-Ray Vision"):
डीप लर्निंग मॉडल आमतौर पर "ब्लैक बॉक्स" होते हैं—आप डेटा डालते हैं, एक नंबर बाहर आता है, लेकिन आपको पता नहीं चलता कि क्यों।
- समाधान: उन्होंने ऐसे उपकरण जोड़े जो ठीक से हाइलाइट करते हैं कि कंप्यूटर अपने निर्णय लेने के लिए किन शब्दों को देख रहा था। इससे इंसान यह सत्यापित कर सकते हैं कि, "हाँ, कंप्यूटर वास्तव में 'प्रशासन' को देख रहा है और न कि केवल 'द' या 'एंड' जैसे यादृच्छिक शब्दों को।"

4. प्रयोग: नकली और वास्तविक डेटा के साथ परीक्षण

वास्तविक स्कूलों के साथ इस टूल पर भरोसा करने से पहले, उन्होंने इसे सेमी-सिंथेटिक डेटा पर परखा।

सेटअप: उन्होंने वास्तविक स्कूल समीक्षाओं को लिया और उनमें गुप्त रूप से "शैक्षणिक चुनौतियों" के बारे में नकली वाक्य डाले। वे जानते थे कि ये नकली वाक्य रेटिंग को वास्तव में कितना बदलना चाहिए।
परिणाम: अपग्रेड किया गया CausalBERT पुराने तरीकों की तुलना में वास्तविक प्रभाव का अनुमान लगाने में बहुत बेहतर था। इसने सफलतापूर्वक "शोर" को अनदेखा किया और "सिग्नल" को ढूंढ निकाला।

5. वास्तविक दुनिया के निष्कर्ष: स्कूलों के लिए वास्तव में क्या मायने रखता है?

परीक्षण के बाद, उन्होंने इस टूल को 6,00,000 वास्तविक अमेरिकी K-12 स्कूलों की समीक्षाओं पर लागू किया। उन्होंने बुलिंग, पाठ्यक्रम, पाठ्येतर गतिविधियों और प्रशासन जैसे विषयों को देखा।

बड़ा खुलासा:
जब उन्होंने "कन्फाउंडिंग शोर" (जैसे कि जिन स्कूलों में अच्छी सुविधाएं होती हैं, वहां अक्सर अच्छे शिक्षक भी होते हैं) को हटाया, तो उन्होंने पाया:

प्रशासन (Administration): लोग स्कूल के नेतृत्व और कर्मचारियों के बारे में कैसा महसूस करते हैं, यह समग्र रेटिंग का एक बहुत बड़ा चालक है।
शैक्षणिक प्रदर्शन (Academic Performance): स्कूल परीक्षाओं और बेंचमार्क पर कैसा प्रदर्शन करता है, यह दूसरा बहुत बड़ा चालक है।

"बुलिंग" का आश्चर्य:
उन्होंने पाया कि "बुलिंग" के उल्लेखों ने रेटिंग को कम किया, लेकिन इसका प्रभाव नकारात्मक शब्दों की साधारण गिनती की तुलना में उतना बड़ा नहीं था जितना कि लगता है। क्यों? क्योंकि जिन स्कूलों में बुलिंग होती थी, वहां अक्सर खराब प्रशासन के बारे में भी शिकायतें होती थीं। साधारण गणित ने सोचा कि बुलिंग ही एकमात्र समस्या थी, लेकिन कॉज़ल मैथ ने दिखाया कि हालांकि बुलिंग नुकसानदेह है, लेकिन अक्सर प्रशासन ही वह बड़ी अंतर्निहित समस्या थी जो रेटिंग को नीचे खींच रही थी।

सारांश

इस शोध पत्र ने केवल शब्दों को नहीं गिना; बल्कि इसने कारण और प्रभाव को समझने का एक स्मार्ट तरीका बनाया। "आत्मविश्वास के लिए थर्मोस्टेट", "शोर के लिए वॉल्यूम नॉब" और "कंप्यूटर क्या सोच रहा है यह देखने के लिए एक्स-रे विजन" का उपयोग करके, उन्होंने साबित किया कि स्कूल कैसे चलाया जाता है (प्रशासन) और छात्रों का प्रदर्शन कैसा है (अकादमिक), वे ही एक स्कूल की प्रतिष्ठा के पीछे के असली इंजन हैं, न कि केवल खेल या सुविधाओं जैसे अन्य कारकों की उपस्थिति।

तकनीकी सारांश: ऑनलाइन समीक्षा रेटिंग को प्रभावित करने वाले कारकों को अलग करने के लिए टेक्स्ट-आधारित कारण अनुमान (Causal Inference) का उपयोग करना

समस्या विवरण

ऑनलाइन समीक्षाएं उत्पादों और सेवाओं की कथित गुणवत्ता के बारे में समृद्ध अंतर्दृष्टि प्रदान करती हैं, फिर भी पारंपरिक पहलू-आधारित भावना विश्लेषण (aspect-based sentiment analysis) अक्सर विशिष्ट पहलुओं के समग्र रेटिंग पर पड़ने वाले कारण प्रभाव (causal impact) को मापने में विफल रहता है। एक प्राथमिक चुनौती पाठ के भीतर मौजूद कन्फाउंडिंग वेरिएबल्स (confounding variables - भ्रामक चर) की उपस्थिति है। उदाहरण के लिए, शैक्षणिक प्रदर्शन के लिए प्रशंसा प्राप्त करने वाले स्कूल को पाठ्येतर गतिविधियों या अभिभावक भागीदारी के लिए भी सराहा जा सकता है; एक मानक सहसंबंध विश्लेषण (correlation analysis) गलत तरीके से उच्च समग्र रेटिंग का श्रेय केवल शिक्षा को दे सकता है, जबकि अन्य कारकों या सामाजिक-आर्थिक लाभों को अनदेखा कर देता है जो भावना को संचालित कर रहे हैं।

इस कार्य का लक्ष्य विशिष्ट पाठ्य पहलुओं (जैसे, "बुलिंग" या "प्रशासन" के उल्लेख) के औसत उपचार प्रभाव (Average Treatment Effect - ATE) का अनुमान लगाना है, जबकि शेष पाठ में मौजूद कन्फाउंडिंग कारकों को कड़ाई से नियंत्रित करना है। लेखक विशिष्ट कारकों के कारण प्रभाव को सह-संबंधित कारकों के शोर से अलग करने के लिए पाठ्य उल्लेखों को वास्तविक दुनिया के गुणों के प्रॉक्सी (proxies) के रूप में मानते हैं।

कार्यप्रणाली (Methodology)

ढांचा और धारणाएं

लेखक पोटेंशियल आउटकम्स फ्रेमवर्क (Neyman, 1923) को अपनाते हैं। प्रत्येक इकाई (स्कूल) $i$ के लिए, वे एक टुपल $(X_i, Y_i, T_i)$ देखते हैं:

$T_i \in \{0, 1\}$ : उपचार असाइनमेंट (एक विशिष्ट विषय/कीवर्ड की समीक्षाओं में उपस्थिति)।
$Y_i$ : निरंतर परिणाम (औसत समीक्षा रेटिंग)।
$X_i$ : टेक्स्ट कोवेरियेट्स (उपचार-प्रेरित कीवर्ड को छोड़कर समीक्षाओं का शेष पाठ)।

उद्देश्य $\tau = E[Y_i(1) - Y_i(0)]$ का अनुमान लगाना है। इग्नोरैबिलिटी (ignorability) के उल्लंघन को संबोधित करने के लिए (जहाँ उपचार असाइनमेंट कन्फाउंड्स के साथ सह-संबंधित होता है), लेखक कंडीशनल इग्नोरैबिलिटी (Conditional Ignorability) की धारणा लेते हैं: कोवेरियेट्स $X_i$ के दिए जाने पर उपचार असाइनमेंट संभावित परिणामों से स्वतंत्र है।

CausalBERT आर्किटेक्चर

इस कार्य का मुख्य आधार उन्नत CausalBERT (Veitch et al., 2020) है, जो BERT (विशेष रूप से DistilBERT) का विस्तार करता है ताकि ऐसे टेक्स्ट रिप्रेजेंटेशन सीखे जा सकें जो प्रोपेंसिटी स्कोर (propensity score) और कंडीशनल एक्सपेक्टेड आउटकम्स दोनों की भविष्यवाणी कर सकें।

इनपुट प्रोसेसिंग: समीक्षाओं को उपचार-निर्धारण वाले पाठ (कीवर्ड) और कोवेरियेट पाठ (अन्य सभी समीक्षाओं का संयोजन) में विभाजित किया जाता है।
मल्टी-ऑब्जेक्टिव लर्निंग: मॉडल को कोवेरियेट टेक्स्ट से एक सघन प्रतिनिधित्व (dense representation) $h_i$ $h_{i}$ सीखने के लिए प्रशिक्षित किया जाता है जो एक साथ निम्नलिखित को अनुकूलित (optimize) करता है:
- प्रोपेंसिटी स्कोर प्रेडिक्शन ( $g$ ): उपचार $T_i$ की संभावना की भविष्यवाणी करना।
- आउटकम प्रेडिक्शन ( $Q$ ): उपचार और नियंत्रण परिदृश्यों के तहत संभावित परिणामों $Y_i(1)$ और $Y_i(0)$ की भविष्यवाणी करना।
लॉस फंक्शन: आउटकम प्रेडिक्शन के लिए मीन स्क्वेर्ड एरर (MSE) और उपचार असाइनमेंट के लिए क्रॉस-एन्ट्रॉपी (CE) का एक भारित योग (weighted sum), जिसे एक हाइपरपैरामीटर $\alpha$ द्वारा संतुलित किया जाता है।

मुख्य संवर्द्धन (Key Enhancements)

यह शोध मानक CausalBERT ढांचे में तीन विशिष्ट सुधार पेश करता है:

टेम्परेचर स्केलिंग (Temperature Scaling): अत्यधिक प्रोपेंसिटी स्कोर (0 या 1 के करीब मान) के कारण इनवर्स प्रोबेबिलिटी वेटिंग (IPW) की अस्थिरता को दूर करने के लिए, लेखक प्रोपेंसी स्कोर लॉजिट्स पर टेम्परेचर स्केलिंग लागू करते हैं। एक टेम्परेचर पैरामीटर $M > 1$ प्रोबेबिलिटी डिस्ट्रीब्यूशन को "सॉफ्ट" बनाता है, जिससे अनुमानित संभावनाओं को उनके वास्तविक आत्मविश्वास स्तरों के साथ संरेखित किया जा सके और IPW और ऑगमेंटेड IPW (AIPW) एस्टिमेटर्स में अत्यधिक वेट्स के जोखिम को कम किया जा सके।
ओवरएडजस्टमेंट के लिए हाइपरपैरामीटर ऑप्टिमाइज़ेशन: पैरामीटर $\alpha$ उपचार भविष्यवाणी और परिणाम भविष्यवाणी के बीच संतुलन बनाता है। लेखक उपचार भविष्यवाणी सटीकता के आधार पर $\alpha$ चुनने के लिए एक अनुभवजन्य रणनीति प्रस्तावित करते हैं। उनका तर्क है कि कम उपचार सटीकता कमजोर कन्फाउंडिंग का संकेत देती है; ऐसे मामलों में, उच्च $\alpha$ (उपचार वर्गीकरण पर अधिक ध्यान केंद्रित करना) बेहतर ATE अनुमान प्रदान करता है क्योंकि यह गैर-मौजूद कन्फाउंड्स के लिए ओवरएडजस्टमेंट को रोकता है।
व्याख्यात्मकता विधियाँ (Interpretability Methods): एम्बेडिंग्स की "ब्लैक बॉक्स" प्रकृति को सत्यापित करने के लिए, लेखक निम्नलिखित का उपयोग करते हैं:
- CLS तुलनात्मक विश्लेषण: फाइन-ट्यून किए गए CausalBERT और एक बेसलाइन DistilBERT के बीच CLS टोकन पर अटेंशन वेट्स की तुलना करना ताकि उन टोकन की पहचान की जा सके जो कन्फाउंड्स को नियंत्रित करने के बाद महत्वपूर्ण हो जाते हैं।
- इंटीग्रेटेड ग्रेडिएंट्स (IG): प्रोपेंसिटी स्कोर और आउटकम प्रेडिक्शन को चलाने वाले विशिष्ट शब्दों की विशेषता बताने के लिए प्रेडिक्शन परिवर्तनों को इनपुट टोकन के प्रति जोड़ना (attribute करना)।

एस्टिमेटर्स (Estimators)

अध्ययन CausalBERT के आउटपुट से प्राप्त कई एस्टिमेटर्स का उपयोग करके ATE का मूल्यांकन करता है:

नेइव एस्टिमेटर ( $\hat{\tau}_{unadjust}$ ): सरल माध्य अंतर (difference in means)।
Q-only ( $\hat{\tau}_Q$ ): आउटकम रिग्रेशन एडजस्टमेंट।
IPW ( $\hat{\tau}_{IPW}$ ): इनवर्स प्रोबेबिलिटी वेटिंग।
AIPW ( $\hat{\tau}_{AIPW}$ ): ऑगमेंटेड IPW, जो डबल रोबस्टनेस के लिए प्रोपेंसिटी स्कोर और आउटकम मॉडल को जोड़ता है।

प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट: GreatSchools.org से 83,795 अमेरिकी K-12 स्कूलों (2002-2019) की 677,210 समीक्षाएं।
विषय: "बुलिंग" (Bullying), "प्रशासन" (Administration), "शैक्षणिक प्रदर्शन" (Academic Performance), "पाठ्येतर गतिविधियाँ" (Extracurricular Activities), और "पाठ्यक्रम" (Curriculum)।
उपचार परिभाषा:
- न्यूट्रल/पॉजिटिव विषय (जैसे, प्रशासन): उपचार भावना (sentiment) द्वारा परिभाषित है (सभी सकारात्मक बनाम सभी नकारात्मक)।
- नेगेटिव विषय (जैसे, बुलिंग): उपचार विषय की उपस्थिति द्वारा परिभाषित है।
सेमी-सिंथेटिक वैलिडेशन: नियंत्रित स्थितियों के तहत प्रदर्शन का मूल्यांकन करने के लिए, लेखकों ने समीक्षाओं के एक उपसमूह में "एकेडेमिक चैलेंज" टेक्स्ट (कन्फाउंडर्स) इंजेक्ट किया। उन्होंने परीक्षण के लिए कन्फाउंडर स्ट्रेंथ ( $p$ ) को 0.5 (रैंडम असाइनमेंट) से 0.9 (मजबूत सहसंबंध) तक और वास्तविक ATE ( $u$ ) को बदला।

मुख्य परिणाम

सेमी-सिंथेटिक डेटा निष्कर्ष

कन्फाउंडर स्ट्रेंथ: जैसे-जैसे कन्फाउंडर स्ट्रेंथ बढ़ती है, नेइव एस्टिमेटर्स का प्रदर्शन काफी खराब हो जाता है, जबकि CausalBERT-आधारित एस्टिमेटर्स (IPW, AIPW) मजबूती बनाए रखते हैं।
टेम्परेचर स्केलिंग: टेम्परेचर स्केलिंग IPW एस्टिमेटर्स के एरर रेशियो को काफी कम कर देती है, विशेष रूप से उच्च कन्फाउंडर स्ट्रेंथ ( $p=0.9$ ) पर, अत्यधिक प्रोपेंसिटी स्कोर को रोककर। AIPW के लिए इसका लाभ कम स्पष्ट है क्योंकि इसमें अंतर्निहित डबल रोबस्टनेस है।
हाइपरपैरामीटर $\alpha$ : उपचार भविष्यवाणी सटीकता और कन्फाउंडर स्ट्रेंथ के बीच एक रैखिक संबंध है।
- कम सटीकता (कमजोर कन्फाउंडिंग): उच्च $\alpha$ (जैसे, 0.8) बेहतर ATE अनुमान देता है।
- उच्च सटीकता (मजबूत कन्फाउंडिंग): मध्यम $\alpha$ (जैसे, 0.5) सबसे अच्छा प्रदर्शन करता है।
- यह मॉडल के प्रारंभिक प्रदर्शन के आधार पर $\alpha$ के अनुभवजन्य चयन की अनुमति देता है।
व्याख्यात्मकता: CLS विश्लेषण ने पुष्टि की कि CausalBERT सफलतापूर्वक इंजेक्ट किए गए कन्फाउंडर टोकन की ओर ध्यान (attention) स्थानांतरित करता है जब कन्फाउंडिंग मजबूत होती है, जबकि यह उपचार-विशिष्ट टोकन पर ध्यान केंद्रित करता है जब कन्फांइडिंग कमजोर होती है।

वास्तविक दुनिया का डेटा निष्कर्ष

अनुकूलित ढांचे ( $\alpha=0.8$ और टेम्परेचर स्केलिंग का उपयोग करते हुए) को स्कूल समीक्षाओं पर लागू करने पर:

कन्फाउंडर एडजस्टमेंट: समायोजित अनुमानों (adjusted estimates) ने लगातार अन-एडजस्टेड अनुमानों की तुलना में कम प्रभाव का परिमाण दिखाया। उदाहरण के लिए, "बुलिंग" का नकारात्मक प्रभाव -0.16 (एडजस्टेड) बनाम -0.26 (अन-एडजस्टेड) के रूप में अनुमानित किया गया, जिससे पता चलता है कि खराब प्रशासन अक्सर बुलिंग के साथ सह-अस्तित्व में होता है, जो अन-एडजस्टेड सहसंबंध को बढ़ा देता है।
महत्वपूर्ण चालक: कन्फाउंड्स को नियंत्रित करने के बाद, प्रशासन और शैक्षणिक प्रदर्शन को स्कूल की समग्र रेटिंग के सबसे महत्वपूर्ण सकारात्मक चालकों के रूप में पहचाना गया।
बुलिंग: यह एक महत्वपूर्ण नकारात्मक चालक बना रहा, लेकिन इसका अनुमानित प्रभाव अन्य कारकों की उपस्थिति के कारण कम (moderated) हुआ।

महत्व और दावे

यह शोध निम्नलिखित तरीकों से टेक्स्ट-आधारित कारण अनुमान के क्षेत्र को आगे बढ़ाने का दावा करता है:

CausalBERT का सत्यापन: एक वास्तविक दुनिया के, उच्च-जोखिम वाले डोमेन (शिक्षा) में सह-संबंधित पाठ्य विशेषताओं से कारण प्रभावों को अलग करने में इसकी प्रभावकारिता को प्रदर्शित करना।
मेथोडोलॉजिकल रिफाइनमेंट: डीप लर्निंग मॉडल से प्राप्त कारण अनुमानों की स्थिरता और सटीकता में सुधार के लिए ठोस, अनुभवजन्य रूप से सत्यापित रणनीतियाँ (टेम्परेचर स्केलिंग और $\alpha$ चयन) प्रदान करना।
व्याख्यात्मकता: यह सत्यापित करने के लिए गुणात्मक विधियाँ प्रदान करना कि मॉडल वास्तव में कन्फाउंड्स को नियंत्रित करने के लिए सीख रहा है न कि केवल सहसंबंधों को याद कर रहा है।
डोमेन अंतर्दृष्टि: यह प्रकट करना कि जबकि बुलिंग जैसे पहलू नकारात्मक रूप से देखे जाते हैं, स्कूल की गुणवत्ता की धारणा मुख्य रूप से प्रशासन और शैक्षणिक प्रदर्शन द्वारा संचालित होती है, और यह कि कन्फाउंडिंग को नियंत्रित करने में विफल रहने से नकारात्मक कारकों के प्रभाव का अतिरंजित अनुमान (overestimation) हो सकता है।

लेखक एक विनम्र लहजा बनाए रखते हैं, यह स्वीकार करते हुए कि ऑब्जर्वेशनल डेटा में वास्तविक कारण प्रभाव अज्ञात हैं और कीवर्ड-आधारित उपचार पहचान पर निर्भरता से संभावित शोर (noise) उत्पन्न हो सकता है। वे इस बात पर जोर देते हैं कि उनके परिणामों को निश्चित कारण सत्यों के बजाय 'अनुमानित प्रभाव' के रूप में पढ़ा जाना चाहिए, और अद्वितीय स्कूल संदर्भों पर विचार किए बिना प्रशासनिक निर्णय लेने के लिए इन मेट्रिक्स पर अत्यधिक निर्भरता के विरुद्ध चेतावनी देते हैं।