CausalFlip: A Benchmark for LLM Causal Judgment Beyond Semantic Matching
यह शोध पत्र CausalFlip को प्रस्तुत करता है, जो एक नवीन बेंचमार्क है जिसे अर्थपूर्ण (semantically) समान प्रश्नों के साथ विपरीत कारण संबंधी उत्तर प्रस्तुत करके बड़े भाषा मॉडलों (large language models) में अर्थपूर्ण मिलान की सीमाओं को उजागर करने के लिए डिज़ाइन किया गया है, जो यह प्रदर्शित करता है कि वास्तविक कारण संबंधी आधार (causal grounding) प्राप्त करने में आंतरिककृत कारण तर्क (internalized causal reasoning), स्पष्ट चेन-ऑफ-थॉट (explicit Chain-of-Thought) से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (एक लार्ज लैंग्वेज मॉडल, या LLM) को रहस्य सुलझाना सिखा रहे हैं। आमतौर पर, यह छात्र कहानियों में पैटर्न पहचानने में बहुत माहिर होता है। यदि आप उससे पूछें, "फायर अलार्म बज गया, तो इसके बाद क्या हुआ?" तो छात्र तुरंत कह सकता है, "लोग बाहर भागने लगे!" क्योंकि उसने हजारों ऐसी कहानियाँ पढ़ी हैं जहाँ ये दो चीजें एक साथ होती हैं।
लेकिन यहाँ एक समस्या है: छात्र केवल शब्दों के पैटर्न (word patterns) के आधार पर अनुमान लगा रहा होगा, न कि वास्तव में कारण और प्रभाव (cause and effect) को समझकर। वह सोच सकता है, "ओह, 'फायर अलार्म' के बाद आमतौर पर 'भागना' आता है, इसलिए मैं यही कहूँगा," भले ही लोगों के भागने का असली कारण कुछ और हो, या फिर वह सिर्फ एक टेस्ट हो और कोई न भागा हो।
यह शोध पत्र एक नया परीक्षण पेश करता है जिसे CausalFlip कहा जाता है, ताकि यह देखा जा सके कि क्या ये AI छात्र वास्तव में सोच रहे हैं या केवल शब्द-संबंधों (word associations) को रट रहे हैं।
"फ्लिप" (Flip) ट्रिक: नकल करने वालों को पकड़ना
शोधकर्ताओं ने जोड़ों में प्रश्न बनाकर एक चालाकी भरा खेल बनाया है जो दिखने में लगभग एक जैसे हैं लेकिन जिनके उत्तर विपरीत हैं।
इसे तीन पात्रों वाले एक जादू के खेल की तरह समझें: छाते (Umbrellas), ट्रैफिक जाम (Traffic Jams), और वर्षा ऋतु (Rainy Season)।
- परिदृश्य A (कन्फाउंडर/Confounder): यह वर्षा ऋतु है। इसके कारण दोनों चीजें होती हैं: अधिक लोग छाते खरीदते हैं और अधिक ट्रैफिक जाम होता है। लेकिन अधिक छाते खरीदना ट्रैफिक जाम का कारण नहीं बनता है।
- प्रश्न: "क्या अधिक छाते खरीदना ट्रैफिक जाम का कारण बनता है?"
- उत्तर: नहीं।
- परिदृश्य B (चेन/Chain): कल्पना करें कि एक अलग दुनिया है जहाँ अधिक छाते खरीदना लोगों को धीरे गाड़ी चलाने पर मजबूर करता है, जिससे ट्रैफिक जाम होता है।
- प्रश्न: "क्या अधिक छाते खरीदना ट्रैफिक जाम का कारण बनता है?"
- उत्तर: हाँ।
AI को परिदृश्य A पर प्रशिक्षित किया गया है। फिर, शोधकर्ता इसे एक ऐसे प्रश्न के साथ टेस्ट करते हैं जो दिखने में प्रशिक्षण वाले प्रश्न जैसा ही है लेकिन वास्तव में परिदृश्य B है। यदि AI ने केवल इस वाक्यांश को रट लिया है कि "छाते ट्रैफिक का कारण बनते हैं," तो वह गलत हो जाएगा। सही होने के लिए, AI को कहानी की छिपी हुई संरचना (hidden structure) को समझना होगा, न कि केवल शब्दों को।
"नॉइज़" (Noise) टेस्ट: छात्र को विचलित करना
यह सुनिश्चित करने के लिए कि AI केवल प्रश्न को पढ़कर तर्क को अनदेखा नहीं कर रहा है, शोधकर्ताओं ने एक "नॉइज़" टेस्ट जोड़ा।
कल्पना कीजिए कि आप एक छात्र से गणित का सवाल पूछ रहे हैं।
- सामान्य तरीका: "यदि मेरे पास 2 सेब हैं और मुझे 2 और मिलते हैं, तो मेरे पास कितने हैं?"
- नॉइज़ी तरीका: "यदि मेरे पास 2 सेब हैं और मुझे 2 और मिलते हैं, और साथ ही, आकाश नीला है और बिल्लियों को दूध पसंद है, तो मेरे पास कितने हैं?"
बिल्लियों और दूध के बारे में अतिरिक्त वाक्य का गणित से कोई लेना-देना नहीं है।
- यदि AI केवल पैटर्न मिला रहा है, तो यह अतिरिक्त वाक्य उसे भ्रमित कर सकता है या उसके उत्तर को बदल सकता है।
- यदि AI वास्तव में गणित (या इस मामले में, कारण संबंधी तर्क) कर रहा है, तो वह "बिल्ली" वाले वाक्य को अनदेखा कर देगा और सही उत्तर देगा।
परिणाम: अंदर से सोचना बनाम जोर से सोचना
शोधकर्ताओं ने AI को सिखाने के विभिन्न तरीकों का परीक्षण किया:
- "मुझे बस उत्तर दे दो" विधि (The "Just Give Me the Answer" Method): AI को केवल प्रश्न और अंतिम उत्तर दिखाया गया। यह परीक्षण में विफल रहा, जिससे सिद्ध हुआ कि वह केवल शब्द पैटर्न के आधार पर अनुमान लगा रहा था।
- "अपना काम दिखाओ" विधि (The "Show Your Work" Method - Explicit CoT): AI को उत्तर देने से पहले अपने तर्क के चरणों को लिखने के लिए प्रशिक्षित किया गया। इसमें सुधार हुआ, लेकिन जब शोधकर्ताओं ने "बिल्ली और दूध" वाला नॉइज़ जोड़ा, तो AI भ्रमित हो गया। वह अभी भी उन शब्दों पर बहुत अधिक निर्भर था जिन्हें वह लिख रहा था।
- "आंतरिक रूप से सोचना" विधि (The "Internalized Thinking" Method - Implicit Causal Reasoning): यह इस शोध पत्र का सबसे बड़ा नवाचार है। AI को हर चरण को विस्तार से लिखने के लिए मजबूर करने के बजाय, उन्हें आंतरिक रूप से "सोचने" और फिर केवल उत्तर देने के लिए प्रशिक्षित किया गया। उन्होंने प्रशिक्षण के दौरान धीरे-धीरे AI को लिखित चरणों को दिखाना बंद कर दिया, जिससे उसे अपने स्वयं के "मस्तिष्क" (weights) के भीतर तर्क को आत्मसात करने के लिए मजबूर होना पड़ा।
- परिणाम: यह विधि सबसे मजबूत थी। यहाँ तक कि जब शोधकर्ताओं ने विचलित करने वाले "नॉइज़" वाक्य जोड़े, तब भी इस AI ने अपना धैर्य बनाए रखा और सही उत्तर दिए। इसने साबित कर दिया कि तर्क को आत्मसात करके, AI सतही शब्दों के जाल से ऊपर उठकर वास्तव में कारण-और-प्रभाव की संरचना को समझने लगा।
निचोड़ (The Bottom Line)
यह शोध पत्र तर्क देता है कि AI को विश्वसनीय बनाने के लिए (जैसे चिकित्सा या कानूनी सलाह के लिए), हम केवल उसे पैटर्न रटने की अनुमति नहीं दे सकते। हमें इसे कारण और प्रभाव की संरचना को समझने के लिए प्रशिक्षित करने की आवश्यकता है।
उन्होंने एक खेल का मैदान (CausalFlip) बनाया जहाँ शब्दों को मिलाने से "चीटिंग" करना काम नहीं आता। उन्होंने पाया कि AI को सिखाने का सबसे अच्छा तरीका तर्क को आंतरिक रूप से आत्मसात करना है, ताकि वह अप्रासंगिक शब्दों या सतही पैटर्न से विचलित न हो। यह एक ऐसे छात्र के बीच का अंतर है जो उत्तर कुंजी (answer key) रट लेता है और एक ऐसे छात्र के बीच का अंतर है जो वास्तव में पाठ को समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।