The Predictive-Causal Gap: An Impossibility Theorem and Large-Scale Neural Evidence
यह शोध पत्र एक संरचनात्मक "पूर्वानुमानित-कारण अंतराल" (predictive-causal gap) को एक असंभवता प्रमेय (impossibility theorem) के रूप में स्थापित करता है जो यह दर्शाता है कि न्यूरल नेटवर्क में पूर्वानुमान त्रुटि को न्यूनतम करना व्यवस्थित रूप से मॉडलों को लक्षित प्रणाली की कारण संरचना के बजाय पर्यावरणीय गतिकी को एनकोड करने के लिए प्रेरित करता है, जिससे आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण में विनाशकारी विफलता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक जटिल मशीन, जैसे कि कार के इंजन को समझने के लिए सिखाने की कोशिश कर रहे हैं। इस मशीन के दो भाग हैं: इंजन (वह "सिस्टम" जिसकी आप परवाह करते हैं) और बाहर का मौसम (वह "वातावरण" या एनवायरनमेंट)।
रोबोट का लक्ष्य यह अनुमान लगाना है कि आगे क्या होगा। यह शोध पत्र तर्क देता है कि यदि आप केवल रोबोट को यह बताते हैं, "अपनी भविष्यवाणी की त्रुटियों (prediction errors) को कम करो," तो वह इंजन के बारे में सीखना विफल हो जाएगा। इसके बजाय, वह मौसम के प्रति जुनूनी हो जाएगा।
शोध के निष्कर्षों का सरल शब्दों में विवरण यहाँ दिया गया है:
1. "आसान लक्ष्य" की समस्या (The "Easy Target" Problem)
कल्पना कीजिए कि इंजन एक अनियंत्रित, अस्थिर चीज़ है जो हर सेकंड अपना निर्णय बदलता रहता है। वहीं, बाहर का मौसम धीमा और स्थिर है; इसे बदलने में लंबा समय लगता है।
यदि आप एक छात्र को भविष्य की भविष्यवाणी करने के लिए कहते हैं, तो वह स्वाभाविक रूप से उस चीज़ पर ध्यान केंद्रित करेगा जिसका अनुमान लगाना सबसे आसान है। मौसम अनुमान लगाने योग्य है; इंजन अराजक (chaotic) है। इसलिए, छात्र (AI) मौसम का एक सटीक मॉडल सीख लेगा लेकिन इंजन को पूरी तरह से अनदेखा कर देगा।
शोध पत्र इसे प्रेडिक्टिव-कॉज़ल गैप (Predictive-Causal Gap) कहता है। AI ठीक वही कर रहा है जो आपने उससे करने को कहा था (भविष्य की सटीक भविष्यवाणी करना), लेकिन वह गलत सवाल का जवाब दे रहा है। वह उस सिस्टम को ट्रैक नहीं कर रहा है जिसे आप वास्तव में समझना चाहते थे, बल्कि वह वातावरण को ट्रैक कर रहा है।
2. "गलत उत्तर" वास्तव में "सही उत्तर" है
आप सोच सकते हैं, "शायद AI को बस अधिक मस्तिष्क शक्ति या बेहतर प्रशिक्षण की आवश्यकता है।" शोध पत्र कहता है कि नहीं।
लेखकों ने गणितीय रूप से सिद्ध किया है कि यह कोई गलती या बग नहीं है। यह उस समस्या का सही समाधान है जो आपने AI को दी थी। यदि वातावरण सिस्टम की तुलना में धीमा या कम शोर वाला (less noisy) है, तो भविष्य की भविष्यवाणी करने का गणितीय रूप से सबसे सटीक तरीका सिस्टम को अनदेखा करना और वातावरण पर ध्यान केंद्रित करना है।
- उपमा (Analogy): यदि आप एक जासूस को सबसे स्पष्ट सुरागों को देखकर अपराध सुलझाने के लिए कहते हैं, तो वह घर के भीतर के सूक्ष्म साक्ष्यों को अनदेखा कर देगा और बाहर के ट्रैफ़िक पर ध्यान केंद्रित करेगा क्योंकि ट्रैफ़िक के पैटर्न अधिक स्पष्ट हैं। जासूस "बुरा" नहीं है; वह बस निर्देशों का बहुत अच्छी तरह से पालन कर रहा है।
3. बड़े मॉडल इसे और बदतर बना देते हैं
आमतौर पर, AI में, हम मानते हैं कि बड़े मॉडल (अधिक डेटा, अधिक कंप्यूटिंग पावर) बेहतर समझ की ओर ले जाते हैं। इस शोध पत्र ने इसके विपरीत पाया।
जब उन्होंने AI मॉडल को बड़ा बनाया और उन्हें अधिक जटिल कार्य दिए:
- वे भविष्य की भविष्यवाणी करने में बेहतर हो गए (कम त्रुटि दर)।
- लेकिन वे सिस्टम को समझने में बुरे हो गए (वे "कॉज़ल रूप से अंधे" या causally blind हो गए)।
उच्च-आयामी (high-dimensional) परीक्षणों में, सर्वश्रेष्ठ AI मॉडल वातावरण पर इतने केंद्रित हो गए कि वे उस सिस्टम के प्रति शून्य संवेदनशीलता रखते थे जिसे उन्हें मॉडल करना था। वे मौसम की भविष्यवाणी करने में तो माहिर थे, लेकिन उन्हें इंजन के बारे में कुछ भी पता नहीं था।
4. "ग्राउंडिंग" का समाधान (The "Grounding" Fix)
शोधकर्ताओं ने ऑपरेशनल ग्राउंडिंग (Operational Grounding) नामक एक तकनीक का प्रयास किया। AI को सब कुछ भविष्यवाणी करने देने के बजाय, उन्होंने उसे केवल सिस्टम के उन विशिष्ट हिस्सों की भविष्यवाणी करने के लिए मजबूर किया जिनकी उसे परवाह है (इंजन)।
- परिणाम: इससे मदद मिली। AI ने इंजन को अनदेखा करना कम कर दिया।
- सीमा: इसने समस्या को पूरी तरह से ठीक नहीं किया। जब तक वातावरण सिस्टम को प्रभावित करता है, तब तक AI के पास वातावरण को देखने का प्रोत्साहन बना रहेगा। इसे वास्तव में ठीक करने के लिए, आपको स्पष्ट रूप से AI को बताना होगा, "यह सिस्टम है, और यह वातावरण है। दोनों को आपस में न मिलाएं।" आपको रेत पर एक स्पष्ट रेखा खींचनी होगी।
5. "वर्ल्ड मॉडल्स" के लिए यह क्यों महत्वपूर्ण है?
कई आधुनिक AI सिस्टम (जैसे लार्ज लैंग्वेज मॉडल्स या "वर्ल्ड मॉडल्स") इस विचार पर बने हैं कि यदि आप केवल अगले शब्द या वीडियो के अगले फ्रेम की सटीक भविष्यवाणी कर देते हैं, तो AI जादुई रूप से दुनिया की "कारण संरचना" (causal structure - चीजें वास्तव में कैसे काम करती हैं) को सीख जाएगा।
यह शोध पत्र कहता है: यह धारणा गलत है।
यदि आप केवल भविष्यवाणी त्रुटि को कम करते हैं, तो AI उस चीज़ को ट्रैक करना सीख जाएगा जिसे भविष्यवाणी करना सबसे आसान है, न कि उस चीज़ को जो वास्तव में कारण संबंधी (causally) रूप से महत्वपूर्ण है। यह सहसंबंध (correlation - क्या चीजें साथ में होती हैं) का उस्ताद बन जाएगा, लेकिन कारण (causation - क्या चीज़ क्या उत्पन्न करती है) के मामले में विफल रहेगा।
सारांश
- समस्या: केवल भविष्य की भविष्यवाणी करने के लिए प्रशिक्षित AI, उन जटिल चीजों को अनदेखा कर देगा जिनकी आप परवाह करते हैं, यदि वहां सरल, धीमी चीजें (जैसे वातावरण) मौजूद हैं जिन्हें वह आसानी से प्रेडिक्ट कर सकता है।
- कारण: यह कोई बग नहीं है; यह इस बात का मौलिक नियम है कि भविष्यवाणी कैसे काम करती है। "सबसे आसान" मार्ग, "कारण संबंधी" (causal) मार्ग नहीं है।
- पैमाना (Scale): AI को बड़ा बनाना इस समस्या को ठीक नहीं करता; यह केवल AI को सही चीजों को अनदेखा करने में बेहतर बनाता है।
- समाधान: आप केवल "भविष्यवाणी के माध्यम से" समझ विकसित नहीं कर सकते। आपको स्पष्ट रूप से परिभाषित करना होगा कि "सिस्टम" क्या है और AI के ध्यान को उस तक सीमित करना होगा।
शोध पत्र निष्कर्ष निकालता है कि हम वर्तमान में "गलत सवाल के उत्तर को तेज कर रहे हैं।" हम ऐसे AI बना रहे हैं जो शोर (noise) की भविष्यवाणी करने में अविश्वसनीय रूप से अच्छे हैं, लेकिन संकेत (signal) के प्रति अंधे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।