Prediction Bottlenecks Don't Discover Causal Structure (But Here's What They Actually Do)
यह शोध पत्र एक मानकीकृत मिथ्याकरण बेंचमार्क (falsification benchmark) प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि यह दावा कि प्रेडिक्शन बॉटलनैक्स (prediction bottlenecks) कारण संरचना (causal structure) की खोज करते है, गलत है, जो इसके बजाय यह प्रकट करता है कि देखे गए लाभ काफी हद तक नमूना-आकार के भ्रम (sample-size confounds) या विधि-अज्ञेय प्रभाव (method-agnostic effects) हैं जो ग्रेंजर कॉज़ैलिटी (Granger causality) और लासो (Lasso) जैसी शास्त्रीय विधियों द्वारा पीछे छोड़ दिए जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट मौसम पूर्वानुमानकर्ता (weather forecaster) है। आपने इसे कल के तापमान की भविष्यवाणी करने के लिए वर्षों तक प्रशिक्षित किया है। अब, यहाँ एक बड़ी उम्मीद है: यदि यह पूर्वानुमानकर्ता वास्तव में अच्छा है, तो शायद इसका आंतरिक "मस्तिष्क" (इसके द्वारा सीखे गए वेट्स/weights) मौसम प्रणाली के वास्तविक कारण-और-प्रभाव (cause-and-effect) संबंधों का मानचित्र तैयार करता है।
शायद, बिना स्पष्ट रूप से सिखाए, इसने यह समझ लिया कि "एल नीनो (El Niño) बारिश का कारण बनता है।" यदि यह सच है, तो हमें विशेष उपकरणों की आवश्यकता नहीं होगी; हम बस किसी भी अच्छे प्रेडिक्शन मॉडल को देखकर मानचित्र पढ़ सकते हैं।
यह शोध पत्र उन वैज्ञानिकों की एक टीम की कहानी है जिन्होंने यह तय किया कि उस उम्मीद का एक बहुत ही सख्त, बहुत सावधानीपूर्वक प्रयोग के साथ परीक्षण किया जाए। उन्होंने एक विशिष्ट प्रकार के उन्नत AI (जिसे मंबा (Mamba) मॉडल कहा जाता है) को लिया और यह देखने की कोशिश की कि क्या यह इन छिपे हुए मानचित्रों को प्रकट कर सकता है।
फैसला यह था कि वह उम्मीद एक मृगतृष्णा (mirage) थी।
यहाँ बताया गया है कि कैसे उन्होंने सरल उपमाओं (analogies) का उपयोग करके इसे गलत साबित किया:
1. "जादू" केवल एक साधारण चाल थी
शोधकर्ताओं को लगा कि जटिल AI मॉडल कुछ विशेष कर रहा है। लेकिन जब उन्होंने उस फैंसी AI को हटा दिया और उसे एक सरल लीनियर कैलकुलेटर (जैसे एक बुनियादी स्प्रेडशीट फॉर्मूला) से बदल दिया, तो वह सरल कैलकुलेटर भी उतना ही अच्छा प्रदर्शन कर रहा था, या उससे भी बेहतर।
- उपमा: यह ऐसा है जैसे यह सोचना कि किराने का सामान खरीदने के लिए केवल फेरारी ही एकमात्र कार है जो आपको ले जा सकती है। आप इसे आजमाते हैं, और यह काम करती है। लेकिन फिर आपको एहसास होता है कि एक साइकिल भी आपको उतनी ही तेजी से पहुँचा सकती है, और बहुत कम लागत में। "जादू" वह जटिल इंजन नहीं था; यह केवल बुनियादी गणित था जिसे कोई भी सरल उपकरण कर सकता था।
2. "पुराने तरीके" अभी भी राजा थे
उन्होंने अपने फैंसी AI की तुलना क्लासिक, प्रसिद्ध सांख्यिकीय उपकरणों (जैसे लासो रिग्रेशन (Lasso regression) और ग्रेेंजर कॉज़ैलिटी (Granger causality)) से की, जिनका दशकों से उपयोग किया जा रहा है।
- उपमा: कल्पना कीजिए कि एक नया, हाई-टेक मेटल डिटेक्टर दावा करता है कि वह एक अनुभवी खनिक (prospector) के मुकाबले अधिक सोना खोज सकता है जिसके पास फावड़ा है। शोधकर्ताओं ने उन्हें आमने-सामने परखा। अनुभवी खनिक (पुराना गणित) ने हाई-टेक डिटेक्टर की तुलना में अधिक सोना, अधिक सटीकता से और अधिक निरंतरता के साथ खोजा। AI केवल "काफी अच्छा" नहीं था; वह वास्तव में क्लासिक्स से पीछे चल रहा था।
3. "हस्तक्षेप" (Intervention) वाली चाल एक धोखेबाज भ्रम थी
एक सबसे रोमांचक दावा यह था कि यदि आप डेटा में "हस्तक्षेप" करते हैं (जैसे यह देखने के लिए कि क्या होता है, किसी वेरिएबल को कृत्रिम रूप से बदलना), तो AI अचानक कारणों को खोजने में बहुत अच्छा हो जाएगा।
- उपमा: शोधकर्ताओं ने महसूस किया कि AI वास्तव में कारणों के बारे में स्मार्ट नहीं हो रहा था। वह केवल बिखरे हुए या खराब डेटा (messy, corrupted data) को संभालने में बेहतर हो रहा था।
- कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि आप आधे प्रश्नों पर कुछ लिख दें या उन्हें मिटा दें (डेटा को दूषित करना), तो एक स्मार्ट छात्र शेष पाठ के पैटर्न के आधार पर उत्तरों का अनुमान लगा सकता है। AI ने यही किया। ऐसा लगा जैसे वह "कारणता (causality) सीख रहा है," लेकिन वास्तव में वह केवल यह दिखा रहा था कि वह अन्य तरीकों की तुलना में खराब डेटा के प्रति अधिक मजबूत (tougher) है।
- जब उन्होंने परीक्षण को एक वास्तविक "हस्तक्षेप" (एक वास्तविक प्रयोग की तरह) बनाने के लिए ठीक किया (न कि केवल कागज को खराब करने के बजाय), तो AI का लाभ गायब हो गया।
4. "ग्राउंड ट्रुथ" (Ground Truth) एक बदलता हुआ लक्ष्य था
वास्तविक दुनिया के डेटा (जैसे जलवायु पैटर्न या शेयर बाजार) पर परीक्षण करते समय, परिणाम अस्थिर थे। क्यों? क्योंकि "उत्तर कुंजी" (ground truth) कभी-कभी गलत या भ्रामक होती थी।
- उपमा: कल्पना कीजिए कि "छिपा हुआ खजाना ढूंढने" का एक खेल है। शोधकर्ताओं ने महसूस किया कि कभी-कभी उनके द्वारा उपयोग किया जाने वाला नक्शा, जिससे वे उत्तरों की जांच कर रहे थे, गलत बनाया गया था।
- एक मामले में, उन्होंने एक ऐसा "सुराग" शामिल किया जो वास्तव में केवल एक परिभाषा थी (जैसे यह कहना कि "उत्तरी ध्रुव मानचित्र के शीर्ष पर है")। जिस भी पद्धति ने इस स्पष्ट लिंक को पहचाना, उसे मुफ्त अंक मिल गए। जब उन्होंने इस "चीट कोड" को उत्तर कुंजी से हटाया, तो पद्धतियों की रैंकिंग पूरी तरह से बदल गई। AI इसलिए नहीं जीता क्योंकि वह स्मार्ट था; वह इसलिए जीता क्योंकि टेस्ट पक्षपाती था और उसमें आसान अंक दिए गए थे।
5. वह एक चीज़ जो वास्तव में बची रही
उन सभी बड़े दावों को ध्वस्त करने के बाद, क्या बचा रहा? तीन छोटी, ईमानदार टिप्पणियाँ:
- यह हल्के नॉन-लिनियैरिटी (non-linearity) को संभालता है: बहुत विशिष्ट, थोड़े जटिल स्थितियों में, इसने अच्छा प्रदर्शन किया।
- यह डेटा-कुशल (data-efficient) है: यह अन्य तरीकों की तुलना में कम डेटा से थोड़ा अधिक सीख सकता है।
- यह भ्रष्टाचार (corruption) के प्रति मजबूत है: जैसा कि पहले उल्लेख किया गया है, यह खराब डेटा या रैंडम शोर (noise) होने पर टूटने से बचने में अच्छा है।
लेकिन यहाँ महत्वपूर्ण हिस्सा है: लेखक बहुत स्पष्ट हैं कि इनमें से कोई भी इन्हें "कॉज़ल डिस्कवरी" (Causal Discovery) टूल नहीं बनाता है। वे केवल यह बता रहे हैं कि टूल किस काम में अच्छा है (विश्वसनीयता), न कि वह क्या है (सत्य खोजने वाला)।
बड़ा सबक
पेपर निष्कर्ष निकालता है कि पूरे AI अनुसंधान क्षेत्र के लिए एक चेतावनी है:
- पूर्वानुमान (prediction) को कारण (causation) समझने की गलती न करें। केवल इसलिए कि एक मॉडल अच्छी भविष्यवाणी करता है, इसका मतलब यह नहीं है कि वह समझता है कि चीजें क्यों होती हैं।
- अपने कंट्रोल्स की जाँच करें। यदि आप अपने डेटा समूहों के आकार का मिलान नहीं करते हैं या सही प्रकार के "हस्तक्षेप" का उपयोग नहीं करते हैं, तो आपको लग सकता है कि आपने एक चमत्कार खोज लिया है जबकि आपने केवल एक सांख्यिकीय त्रुटि (statistical glitch) खोजी थी।
- बेंचमार्क ही असली नायक है। इस पेपर ने जो सबसे मूल्यवान चीज़ बनाई है वह कोई नया AI नहीं है; यह एक मानकीकृत परीक्षण किट ("फालसिफिकेशन बेंचमार्क") है जिसका उपयोग अन्य वैज्ञानिक यह सुनिश्चित करने के लिए कर सकते हैं कि वे एक ही गलतियाँ न दोहराएं।
संक्षेप में: यह विचार कि "भविष्य की भविष्यवाणी करना स्वचालित रूप से अतीत के कारणों को प्रकट कर देता है" एक मिथक है। AI एक बेहतरीन प्रेडिक्टर है, लेकिन यह एक जासूस नहीं है। यदि आप कारणों को खोजना चाहते हैं, तो आपको अभी भी पुराने स्कूल के जासूसी उपकरणों की, या कम से कम एक बहुत अधिक कठोर परीक्षण की आवश्यकता है जिसका हम अब तक उपयोग कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।