Auditing Construct Overlap in Explainable Machine Learning: Evidence from Burnout-Depression Prediction Across Student Cohorts

कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट डिटेक्टिव बनाया है ताकि एक रहस्य सुलझाया जा सके: "छात्रों में से कौन सबसे अधिक बर्नआउट (burnout) और अवसाद (depression) महसूस करने की संभावना रखता है?" आप रोबोट को सर्वेक्षण डेटा का एक पहाड़ खिलाते हैं, और वह एक बहुत ही आत्मविश्वासी उत्तर लेकर आता है। वह अपनी उंगली उठाते हुए कहता है, "Trait Anxiety (लक्षण संबंधी चिंता)! यही नंबर एक सुराग है! और इसके ठीक पीछे है Health Satisfaction (स्वास्थ्य संतुष्टि)!"

रोबोट को लगता है कि उसने एक स्वर्णिम नियम खोज लिया है। आप इस नियम का परीक्षण छात्रों के विभिन्न समूहों पर करते हैं—फ्रेशमैन, सीनियर, मेडिकल छात्र, और यहाँ तक कि पूरी तरह से अलग विषयों के छात्र। हर बार, रोबकेट बिल्कुल वही उत्तर देता है। चिंता (Anxiety) नंबर 1 है, और स्वास्थ्य (Health) नंबर 2 है। यह एक ठोस खोज की तरह दिखता है, छात्र तनाव का एक सार्वभौमिक नियम।

लेकिन यहाँ एक मोड़ है जो यह शोध पत्र प्रकट करता है: रोबोट वास्तव में एक जीनियस जासूस नहीं है। वह एक चालाक छलिया है, और वह एक बहुत ही चतुर दृष्टि भ्रम (optical illusion) का शिकार हो रहा है।

"डबल-डिपिंग" (Double-Dipping) का जाल

शोध पत्र तर्क देता है कि रोबोट की "महान खोज" वास्तव में एक कन्स्ट्रक्ट ओवरलैप (construct overlap) है। इसे ऐसे समझें:

कल्पना कीजिए कि आप यह मापने की कोशिश कर रहे हैं कि एक सैंडविच कितना "गीला/सॉगी" (soggy) है।

• सुराग A: आप ब्रेड में पानी की मात्रा मापते हैं।
• सुराग B: आप लेट्यूस (lettuce) में पानी की मात्रा मापते हैं।
• परिणाम: आप "सॉगीनेस" को ब्रेड में मौजूद कुल पानी प्लस लेट्यूस में मौजूद पानी के रूप में परिभाषित करते हैं।

यदि आप एक रोबोट से पूछते है कि "सॉगीनेस" की भविष्यवाणी करने के लिए "ब्रेड में पानी" सबसे महत्वपूर्ण सुराग है, तो रोबोट चिल्लाएगा, "ब्रेड में पानी नंबर 1 सबसे महत्वपूर्ण सुराग है!" और वह सही भी होगा। लेकिन क्या यह सैंडविच की प्रकृति के बारे में कोई गहरी, जादुई अंतर्दृष्टि है? नहीं। यह केवल एक 'टॉटोलॉजी' (tautology) है। सुराग ही उत्तर का हिस्सा है। रोबोट बस यह देख रहा है कि सुराग और उत्तर एक ही चीज़ से बने हैं।

इस अध्ययन में, "सॉगीनेस" एक स्कोर है जिसे Burnout-Depression Composite Index (BDCI) कहा गया है। यह स्कोर कई हिस्सों को जोड़कर बनाया गया है, जिसमें डिप्रेशन (अवसाद) का एक विशिष्ट परीक्षण (जिसे CES-D कहा जाता है) भी शामिल है।
रोबोट का नंबर 1 सुराग Trait Anxiety (STAI-T) है।

समस्या यह है: वास्तविक दुनिया में, चिंता (anxiety) और अवसाद (depression) पक्के दोस्त हैं। वे एक साथ इतने अधिक रहते हैं कि वे अत्यधिक सह-संबंधित (highly correlated) हैं (एक स्कोर 0.72)। क्योंकि "डिप्रेशन" वाला हिस्सा अंतिम "बर्नआउट-डिप्रेशन" स्कोर के अंदर समाहित है, और क्योंकि चिंता (Anxiety) डिप्रेशन के साथ इतनी निकटता से जुड़ी हुई है, रोबोट बस चिंता को देखता है और सोचता है, "आहा! यही कारण है!"

शोध पत्र दिखाता है कि रोबोट छात्रों के जीवन के बारे में कोई जटिल, पोर्टेबल नियम नहीं सीख रहा है। वह बस यह देख रहा है कि चिंता और डिप्रेशन जुड़वां हैं, और चूंकि अंतिम स्कोर में एक जुड़वां शामिल है, इसलिए दूसरा जुड़वां सबसे महत्वपूर्ण भविष्यवक्ता (predictor) दिखाई देता है।

"मैजिक इरेज़र" (जादुई मिटाने वाला) प्रयोग

यह साबित करने के लिए कि वे केवल अनुमान नहीं लगा रहे थे, लेखकों ने एक "रेसिडुअलाइजेशन" (residualization) ऑडिट चलाया। इसे एक मैजिक इरेज़र की तरह समझें जो चिंता और डिप्रेशन के बीच के विशिष्ट संबंध को मिटा देता है।

1. पहला मिटाना: उन्होंने "चिंता" (Anxiety) वाले सुराग को लिया और डिप्रेशन जैसा दिखने वाले हर हिस्से को मिटा दिया। उन्होंने रोबोट से केवल चिंता के उन अद्वितीय हिस्सों का उपयोग करके स्कोर की भविष्यवाणी करने के लिए कहा जो डिप्रेशन नहीं हैं।
   • परिणाम: रोबोट का आत्मविश्वास गिर गया। इसकी सटीकता (R²) 0.41 के मजबूत स्तर से गिरकर 0.16 के कमजोर स्तर पर आ गई। "चिंता" का सुराग नंबर 1 स्टार से गिरकर छठा सबसे अच्छा सुराग बन गया।
2. दूसरा मिटाना: उन्होंने अंतिम "बर्नआउट-डिप्रेशन" स्कोर लिया और "डिप्रेशन" वाले हिस्से को पूरी तरह से हटा दिया, जिससे केवल शुद्ध "बर्नआउट" वाले हिस्से बचे।
   • परिणाम: रोबोट अपना आपा खो बैठा। इसकी सटीकता गिरकर 0.016 हो गई। यह मूल रूप से केवल तुक्का मार रहा था।

यह साबित करता है कि जो "स्थिर" पदानुक्रम (hierarchy) रोबोट ने पाया था, वह कोई गहरा सत्य नहीं था। वह एक आर्टिफैक्ट (artefact) था। रोबोट बस उस लहर पर सवार था कि चिंता और डिप्रेशन एक-दूसरे से कितने मजबूती से जुड़े हैं। एक बार जब आपने यह लिंक काट दिया, तो "जादू" गायब हो गया।

"धुंधला क्रिस्टल बॉल" (Fuzzy Crystal Ball)

भले ही रोबोट पूरी तरह से भविष्यवाणी कर सकता था, शोध पत्र एक और बम फोड़ता है: यह व्यक्तियों के लिए बहुत धुंधला है।

लेखकों ने रोबोट के अनुमानों के चारों ओर एक सुरक्षा जाल बनाने के लिए "कॉन्फॉर्मल प्रेडिक्शन" (conformal prediction) नामक एक विशेष तकनीक का उपयोग किया। उन्होंने पाया कि किसी भी एकल छात्र के लिए, रोबोट की भविष्यवाणी के साथ एक बहुत बड़ा एरर बार (error bar) आता है।

• औसत चौड़ाई 0–100 के पैमाने पर 35.4 यूनिट है।
• संदर्भ के लिए, संभावित स्कोर की पूरी रेंज 100 है। रोबोट का "अनुमान" इतना चौड़ा है कि यह 2.4 मानक विचलन (standard deviations) दूर है।

एक मौसम ऐप की कल्पना करें जो कहता है, "कल का तापमान 10°F से 80°F के बीच होगा।" यह तकनीकी रूप से एक भविष्यवाणी है, लेकिन यह उपयोगी नहीं है। आप यह तय करने के लिए कि आपको क्या पहनना चाहिए, इस पर भरोसा नहीं कर सकते। शोध पत्र निष्कर्ष निकालता है कि वर्तमान डेटा के साथ, व्यक्तिगत स्तर पर नैदानिक भविष्यवाणी (clinical prediction) व्यावहारिक नहीं है। रोबकट बहुत धुंधला है कि वह आपको बता सके कि आपका कोई विशेष मित्र जोखिम में है या नहीं।

एकमात्र वास्तविक नायक

तो, यदि चिंता एक धोखा है और रोबोट बहुत धुंधला है, तो क्या कुछ उपयोगी है?
हाँ! जब लेखकों ने चिंता-डिप्रेशन के लिंक को मिटा दिया, तो एक सुराग अडिग और सच्चा खड़ा रहा: Health Satisfaction (स्वास्थ्य संतुष्टि)।
जब "डिप्रेशन का शोर" हटाया गया, तो जो छात्र अपने स्वास्थ्य के प्रति खुश थे, वे बर्नआउट के संकेतों के सबसे अच्छे भविष्यवक्ता थे। यह सुझाव देता है कि आप अपने स्वास्थ्य के बारे में कैसा महसूस करते हैं, यह आपकी चिंता के स्तर की तुलना में एक अधिक वास्तविक, पोर्टेबल सुराग हो सकता है।

निचोड़ (The Bottom Line)

यह शोध पत्र यह नहीं कह रहा है कि रोबोट "बुरा" है या चिंता मायने नहीं रखती। यह कह रहा है कि दिखने वाली स्थिरता हमेशा एक खोज नहीं होती। सिर्फ इसलिए कि कोई पैटर्न विभिन्न समूहों में दोहराया जाता है, इसका मतलब यह नहीं है कि आपने भौतिकी का एक नया नियम खोज लिया है; कभी-कभी, आपने बस एक दर्पण खोज लिया होता है जो एक ही सह-संबंध (correlation) को बार-बार प्रतिबिंबित कर रहा है।

लेखक सुझाव देते हैं कि किसी भी "AI जासूस" पर भरोसा करने से पहले जो किसी समस्या के नंबर 1 कारण का दावा करता है, हमें पहले यह "मैजिक इरेज़र" टेस्ट चलाना चाहिए। यदि सुराग गायब हो जाता है जब आप उत्तर के साथ ओवरलैप को हटा देते हैं, तो वह सुराग वास्तव में सुराग नहीं था—वह केवल एक छाया थी।

यह शोध पत्र क्या खारिज करता है:

• यह इस विचार को खारिज करता है कि "चिंता नंबर 1 है" वाला निष्कर्ष बर्नआउट के लिए एक पोर्टेबल, सामान्य जोखिम संरचना है।
• यह इस संभावना को खारिज करता है कि इस विशिष्ट सेटअप का उपयोग व्यक्तिगत नैदानिक भविष्यवाणियों के लिए किया जा सकता है (एरर बार बहुत चौड़े हैं)।
• यह इस विचार को खारिज करता है कि मॉडल ने एक जटिल, गहरे संबंध को सीखा; इसने दो ओवरलैपिंग अवधारणाओं के बीच एक सरल, रैखिक सह-संबंध को सीखा।

यह शोध पत्र क्या सुझाव देता है:

• यह सुझाव देता है कि Health Satisfaction (स्वास्थ्य संतुष्टि), डिप्रेशन के लिंक को तोड़ने के बाद, बर्नआउट का एक अधिक मजबूत, स्वतंत्र भविष्यवक्ता हो सकता है।
• यह सुझाव देता है कि भविष्य के अध्ययनों को इंस्ट्रूमेंट कोरिलेशन (instrument correlations) से खुद को बचाने के लिए इस "रेसिडुअलाइजेशन" चेक का उपयोग करना चाहिए।

यह शोध पत्र बर्नआउट को हल करने का दावा नहीं करता है। यह दावा करता है कि इसने उस "मैट्रिक्स" में एक ग्लिच (glitch) खोज लिया है कि हम इसे समझने के लिए AI का उपयोग कैसे करते हैं, और यह उस ग्लिच को ठीक करने के लिए एक सरल उपकरण प्रदान करता है ताकि हम अपने अगले पीढ़ी के मानसिक स्वास्थ्य उपकरणों का निर्माण करने से पहले उसे सुधार सकें।