Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?
यह शोध पत्र यह प्रदर्शित करता है कि उन कृत्रिम वातावरणों में जहाँ प्रेक्षण संबंधी (observational) और हस्तक्षेप संबंधी (interventional) साक्ष्य परस्पर विरोधी होते हैं, एक भाषा मॉडल की कारण दिशा (causal direction) का अनुमान लगाने की क्षमता प्रशिक्षण डेटा मिश्रण द्वारा निर्धारित नहीं होती है, बल्कि इसके बजाय यह अनुमान संदर्भ में मौजूद साक्ष्य के प्रकार द्वारा गतिशील रूप से चालू या बंद कर दी जाती है, जिसमें प्रेक्षण संबंधी संकेत मॉडल की अंतर्निहित कारण तर्क क्षमताओं को सक्रिय रूप से बाधित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जासूस, सुराग और तेज़ आवाज़
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को 'कारण और प्रभाव' (cause and effect) समझना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह यह समझे कि यदि आप एक बटन दबाते हैं, तो एक लाइट जलती है, न कि केवल यह कि बटन और लाइट आमतौर औसतन एक साथ दिखाई देते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक प्रसिद्ध विचार है जिसे "लैडर ऑफ कॉजेशन" (Ladder of Causation) कहा जाता है। यह सुझाव देता है कि चीजों के क्यों होने को वास्तव में समझने के लिए, आपको केवल दुनिया को चलते हुए देखने (अवलोकन/observation) से कहीं अधिक की आवश्यकता है; आपको वास्तव में हस्तक्षेप करने (intervention) और चीजों को बदलने की आवश्यकता है। लंबे समय तक, शोधकर्ताओं ने यह माना कि इस कौशल को सिखाने का सबसे अच्छा तरीका रोबोट को "इंटरवेंशनल डेटा" (interventional data) से भरपूर खुराक देना है—ऐसी कहानियाँ जहाँ रोबोट ने वास्तव में किसी को बटन दबाते हुए और लाइट जलते हुए देखा हो।
बड़ा सवाल सरल था: यदि हम रोबोट के प्रशिक्षण में इन "एक्शन" वाली कहानियों का मिश्रण बढ़ा दें, तो क्या वह कारण और प्रभाव को समझने में बेहतर हो जाएगा? यह शोध पत्र इस प्रश्न की जांच एक बहुत ही नियंत्रित, काल्पनिक दुनिया का उपयोग करके करता है जहाँ उत्तर गणितीय रूप से ज्ञात हैं। शोधकर्ता ने "सिम्पसन का विरोधाभास" (Simpson's Paradox) नामक एक पेचीदा परिदृश्य बनाया, जो एक सांख्यिकीय पहेली है जहाँ केवल देखने पर दो चीजें विपरीत दिशाओं में चलती हुई दिखाई देती हैं, लेकिन वास्तविक कारण को देखने पर वे एक साथ चलती हैं। यह वैसा ही है जैसे यह देखना कि छाता लेकर चलने वाले लोग उन लोगों की तुलना में अधिक गीले होते हैं जो छाता नहीं ले जाते, और यह निष्कर्ष निकालना कि छाता बारिश का कारण बनता है, जबकि वास्तव में बारिश ही छाता और गीलापन दोनों का कारण होती है। यह पेपर परीक्षण करता है कि क्या रोबोट को अधिक "हस्तक्षेप" (intervention) वाला प्रशिक्षण देने से उसे भ्रामक "अवलोकन" (observation) संकेतों को अनदेखा करने और वास्तविक कारण को खोजने में मदद मिलेगी।
प्रयोग: रोबोट को मिश्रित आहार खिलाना
लेखक ने 50 अलग-अलग "दुनियाओं" वाला एक डिजिटल प्लेग्राउंड बनाया। प्रत्येक दुनिया में, उन्होंने एक छिपा हुआ छल बनाया: प्राकृतिक अवलोकन एक नकारात्मक संबंध दिखाता था (जैसे छाते वाला उदाहरण), लेकिन वास्तविक कारणत्मक प्रभाव (causal effect) सकारात्मक था। फिर उन्होंने इन दुनियाओं पर लैंग्वेज मॉडल्स को प्रशिक्षित किया, जिसमें "इंटरवेंशनल" डेटा (जहाँ मॉडल ने किसी को बदलाव करने के लिए मजबूर होते देखा) और "ऑब्जर्वेशनल" डेटा (जहाँ मॉडल ने केवल देखा) का अलग-अलग अनुपात मिलाया गया।
शोधकर्ता ने एक सामान्य धारणा के साथ शुरुआत की, जिसे उन्होंने परिकल्पना 1 (Hypothesis 1) कहा: "यदि हम प्रशिक्षण मिश्रण में इंटरवेंशन डेटा की मात्रा बढ़ाते हैं, तो मॉडल वास्तविक कारण खोजने में बेहतर हो जाएगा।" उन्होंने 0% से लेकर 100% तक इंटरवेंशन डेटा के प्रतिशत को धीरे-धीरे बढ़ाकर इसका परीक्षण किया।
यहाँ एक चौंकाने वाला मोड़ आया: परिकल्पना गलत थी।
भले ही उन्होंने प्रशिक्षण के दौरान मॉडल को 100% इंटरवेंशन डेटा खिलाया, फिर भी जब मॉडल को उस क्षण उत्तर देना था जब उसे अवलोकन संबंधी संकेत दिखाए गए थे, तो वह कारण की दिशा को गलत बताता रहा। मॉडल ने इंटरवेंशन डेटा से प्रभाव के आकार (size) को सीखा (वह जानता था कि लाइट कितनी चमकीली होगी), लेकिन उसने संदर्भ (context) में देखे गए अवलोकन संबंधी संकेतों से दिशा (positive या negative) की नकल की। यह एक ऐसे छात्र की तरह था जिसने गणित के सूत्रों को तो पूरी तरह याद कर लिया, लेकिन परीक्षा देते समय, उसने सूत्रों को अनदेखा कर दिया और केवल पिछले प्रश्नों के पैटर्न के आधार पर अनुमान लगाने लगा।
असली अपराधी: कॉन्टेक्स्ट स्विच (The Context Switch)
तो, यदि प्रशिक्षण मिश्रण मायने नहीं रखता था, तो क्या मायने रखता था? शोध पत्र ने पाया कि निर्णायक कारक वह प्रमाण का प्रकार था जो उस क्षण मौजूद था जब मॉडल ने प्रश्न का उत्तर दिया।
शोधकर्ता ने यह देखने के लिए एक "चार-तरफा तुलना" (four-way comparison) चलाई कि विभिन्न प्रकार के सुराग मॉडल को कैसे प्रभावित करते हैं:
- शुद्ध अवलोकन (Pure Observation): जब संदर्भ में केवल अवलोकन संबंधी रिकॉर्ड थे, तो मॉडल ने 50 में से 29 बार गलत दिशा बताई।
- मिश्रित साक्ष्य (Mixed Evidence): जब संदर्भ में अवलोकन और हस्तक्षेप का मिश्रण था, तो मॉडल ने 50 में से 19 बार गलत दिशा बताई।
- शुद्ध हस्तक्षेप (Pure Intervention/Probes): जब संदर्भ में केवल हस्तक्षेप संबंधी रिकॉर्ड (प्रोब्स) थे, तो मॉडल ने 50 में से 41 बार सही दिशा बताई।
सबसे रोमांचक खोज एक "जादुई ट्रिक" से मिली जो परीक्षण के दौरान की गई। शोधकर्ता ने एक ऐसे मॉडल को लिया जिसे मिश्रित डेटा पर प्रशिक्षित किया गया था और जो संदर्भ में मौजूद अवलोकन संबंधी संकेतों के कारण विफल हो रहा था। फिर उन्होंने मॉडल के उत्तर देने से ठीक पहले संदर्भ से अवलोकन संबंधी संकेतों को मिटा दिया। तुरंत ही, मॉडल की वास्तविक कारण खोजने की क्षमता "चालू" हो गई। इसकी सटीकता एक नकारात्मक स्कोर से उछलकर एक सकारात्मक स्कोर पर पहुँच गई, जो उस मॉडल के प्रदर्शन से मेल खाती थी जिसने केवल इंटरवेंशन डेटा देखा था।
इससे यह सिद्ध हुआ कि मॉडल ने कारणत्मक तर्क (causal reasoning) वास्तव में सीख लिया था; बस अवलोकन संबंधी साक्ष्य ने उसे "म्यूट" कर दिया था। वह क्षमता मॉडल के मस्तिष्क (weights) में मौजूद थी, लेकिन संदर्भ एक रिमोट कंट्रोल की तरह काम कर रहा था जो सही उत्तर को म्यूट कर देता था।
यह स्विच कैसे काम करता है: एक क्रमिक डायल (A Graded Dial)
पेपर ने यह भी पता लगाया कि यह स्विच कैसे काम करता है। यह एक साधारण ऑन/ऑफ बटन नहीं है; यह एक वॉल्यूम डायल की तरह है।
- एक अवलोकन संबंधी रिकॉर्ड: इसने मॉडल को बहुत कम दबाया।
- दो रिकॉर्ड: इसने सिग्नल को कमजोर (dilute) कर दिया, जिससे मॉडल भ्रमित हो गया।
- चार रिकॉर्ड: इसने मॉडल का पूरा ध्यान खींच लिया, जिससे उसे गलत अवलोकन दिशा का पालन करने के लिए मजबूर किया।
इससे भी दिलचस्प बात यह थी कि अवलोकन का कंटेंट (सामग्री) मायने रखता था। यदि अवलोकन संबंधी रिकॉर्ड केवल रैंडम नंबर थे जो वर्तमान दुनिया से मेल नहीं खाते थे, तो दमन (suppression) कमजोर था। लेकिन यदि रिकॉर्ड सुसंगत थे और वर्तमान दुनिया के विशिष्ट सह-संबंधों (correlations) से मेल खाते थे, तो दमन सबसे मजबूत था। इससे पता चलता है कि मॉडल सक्रिय रूप से संदर्भ में चल रही "कहानी" को सुन रहा है और सबसे सुसंगत नैरेटिव को नियमों पर हावी होने दे रहा है।
स्केलिंग अप और "पॉजिटिव बायस"
शोधकर्ता ने यह भी जाँच की कि क्या यह समस्या मॉडल के बड़े होने पर बेहतर या बदतर होती है। उन्होंने लगभग 1 बिलियन पैरामीटर्स वाले मॉडल का परीक्षण किया (जो शुरुआती 25 मिलियन से बहुत बड़ा है)। समस्या बनी रही: मिश्रित-संदर्भ (mixed-context) वाले मॉडल ने अभी भी लगभग 32% बार कारण की दिशा को उलट दिया, जबकि शुद्ध-हस्तक्षेप (pure-intervention) वाले मॉडल ने केवल 6% बार ऐसा किया।
अंत में, उन्होंने यह देखने के लिए एक अलग डेटासेट (CLadder) का उपयोग किया कि क्या मॉडल ने "कारण हमेशा सकारात्मक होते हैं" जैसा कोई सामान्य नियम सीखा है। उन्होंने पाया कि मॉडल में वास्तव में एक "पॉजिटिव बायस" (positive bias) था क्योंकि उनके द्वारा उपयोग किए गए सभी प्रशिक्षण उदाहरणों में सकारात्मक प्रभाव थे। जब उन्होंने सकारात्मक और नकारात्मक दोनों उदाहरणों के साथ पुन: प्रशिक्षण देकर इसे ठीक करने की कोशिश की, तो मॉडल प्रशिक्षण दुनिया के भीतर के संकेतों को पढ़ने में बेहतर हो गया, लेकिन भ्रमित करने वाले बाहरी डेटा का सामना करने पर वह अभी भी सकारात्मक उत्तर पर ही लौट आता था। यह बताता है कि मॉडल के पास एक "सेफ्टी नेट" है जो तब सक्रिय होता है जब वह अनिश्चित होता है, और उस सेफ्टी नेट को हटाना कठिन है।
निष्कर्ष
यह पेपर हमें AI को सिखाने के बारे में एक महत्वपूर्ण सबक सिखाता है: केवल उसे सही डेटा खिलाना ही पर्याप्त नहीं है। मॉडल कौशल सीख सकता है, लेकिन यदि उसका वातावरण (संदर्भ) भ्रामक संकेतों से भरा है, तो वह जो उसने सीखा है उसे अनदेखा कर देगा और संकेतों का पीछा करेगा। वह "स्विच" जो मॉडल की वास्तविक तर्क क्षमता को चालू करता है, प्रशिक्षण डेटा में नहीं है; यह उस संदर्भ में है जो हमें परीक्षण के समय दिया जाता है। सर्वोत्तम परिणाम प्राप्त करने के लिए, हमें संदर्भ को इस तरह से इंजीनियर करने की आवश्यकता है कि वह सही प्रकार के साक्ष्य को उजागर करे, न कि केवल इस उम्मीद पर छोड़ दें कि प्रशिक्षण डेटा अकेले ही काम कर जाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।