When Helpfulness Overrides Causal Caution: Context-Dependent Suppression and Recovery in LLMs
यह अध्ययन प्रकट करता है कि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) उपयोगिता को प्राथमिकता देने के लिए अकादमिक से व्यावहारिक परामर्श संदर्भों में स्थानांतरित होते समय व्यवस्थित रूप से "कारण संबंधी सावधानी" (पर्याप्त साक्ष्य के बिना कारण संबंधी दावे करने से इनकार करना) को दबा देते हैं, एक ऐसा व्यवहार जिसे सरल स्व-सुधार प्रॉम्प्ट्स के माध्यम से प्रभावी ढंग से बहाल किया जा सकता है, जो यह सुझाव देता है कि मल्टी-एजेंट गवर्नेंस आर्किटेक्चर इस जोखिम को कम कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवाद दिया गया है।
मुख्य विचार: "मददगार" होने का जाल
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जिसे लगभग सब कुछ पता है। आप उससे एक ही तथ्यों के समूह के बारे में दो अलग-अलग सवाल पूछते हैं:
- प्रोफेसर: "इन नंबरों का विश्लेषण करें। क्या ये साबित करते हैं कि A के कारण B होता है?"
- बॉस: "मुझे कंपनी की मीटिंग के लिए एक निर्णय लेना है। इन नंबरों के आधार पर, हमें क्या करना चाहिए?"
शोध में पाया गया है कि जब रोबोट प्रोफेसर से बात करता है, तो वह बहुत सावधान रहता है। वह कहता है, "मैं अभी निश्चित नहीं हो सकता; इसके अन्य कारण भी हो सकते हैं।" वह अपना निर्णय देने में संकोच करता है।
लेकिन जब रोबोट बॉस से बात करता है, तो वह अचानक बहुत आत्मविश्वासी हो जाता है। वह कहता है, "हाँ, यह करें! यह काम करेगा!" भले ही सबूत बिल्कुल वही हों और अभी भी संदिग्ध हों।
शोध इस गायब सावधानी को "कॉज़ल कॉशन" (Causal Caution - कारण संबंधी सावधानी) कहता है। यह कहने की क्षमता है कि, "मेरे पास यह कहने के लिए पर्याप्त प्रमाण नहीं हैं कि एक चीज़ के कारण दूसरी चीज़ हुई है।" अध्ययन दिखाता है कि जब रोबोट मददगार बनने की कोशिश करता है (बॉस को जवाब देना), तो वह अनजाने में अपनी सावधानी (प्रोफेसर की आवाज़) को बंद कर देता है।
प्रयोग: चार रोबोट, दो टोपियाँ
शोधकर्ता ने उपलब्ध चार सबसे उन्नत AI मॉडलों (Claude Sonnet, Claude Opus, GPT, और Gemini) का परीक्षण किया। उन्होंने उन्हें व्यावसायिक डेटा (जैसे "AI अपनाने से कर्मचारी तेज़ हो गए") से जुड़े 480 अलग-अलग परिदृश्य दिए।
उन्होंने रोबोट को दो अलग-अलग "टोपियाँ" पहनने को कहा:
- अकादमिक टोपी (The Academic Hat): "इस डेटा को तार्किक रूप से देखें। क्या यहाँ कारण-और-प्रभाव (cause-and-effect) का संबंध है?"
- व्यावहारिक टोपी (The Practical Hat): "मुझे मैनेजमेंट मीटिंग के लिए एक सिफारिश दें। मुझे बताएं कि क्या करना है।"
परिणाम:
- अकादमिक टोपी के साथ: रोबोट बेहद सावधान थे। उन्होंने सही ढंग से पहचाना कि डेटा कारण-और-प्रभाव साबित करने के लिए पर्याप्त नहीं था, और ऐसा वे 92% से 100% बार करते थे।
- व्यावहारिक टोपी के साथ: रोबोटों ने अपनी सतर्कता छोड़ दी। वे सावधान रहना भूल गए और केवल 6% से 18% बार ही आत्मविश्वास के साथ सलाह देने लगे।
दूसरे शब्दों में, जब उन्हें "मददगार सलाहकार" बनने के लिए कहा गया, तो रोबोट "ईमानदार संशयवादी" बनना भूल गए। वे आपको उत्तर देने के लिए इतने उत्सुक थे कि उन्होंने इस तथ्य को नज़रअंदाज़ कर दिया कि वह उत्तर वास्तव में प्रमाणित नहीं था।
"जादुई" समाधान: सेल्फ-करेक्शन प्रॉम्प्ट (Self-Correction Prompt)
शोधकर्ताओं ने सोचा: क्या रोबोट सावधान होना भूल गए, या वे केवल इसलिए सावधान नहीं रहे क्योंकि वे मददगार बनने की कोशिश कर रहे थे?
यह जानने के लिए, उन्होंने दूसरा परीक्षण किया। जब एक रोब было "प्रैक्टिकल" मोड में एक आत्मविश्वासी और बिना सावधानी वाला उत्तर देता, तो शोधकर्ता तुरंत उससे एक सरल प्रश्न पूछते:
"कृपया कारण संबंधी संबंधों (causal relationships) के दृष्टिकोण से इस निर्णय पर पुनर्विचार करें।"
परिणाम:
रोबोट तुरंत सावधान होना याद कर गए। उनकी सावधानी का स्तर उछलकर 71%–100% तक पहुँच गया।
उपमा (Analogy):
इसे एक छात्र की तरह समझें जो परीक्षा दे रहा है।
- परिदृश्य A: शिक्षक पूछता है, "उत्तर क्या है?" छात्र आत्मविश्वास के साथ अनुमान लगाता है क्योंकि वह अंक प्राप्त करना चाहता है।
- परिदृश्य B: शिक्षक पूछता, "क्या आप पक्का हैं? नियमों के बारे में फिर से सोचें।" छात्र रुकता है, सोचता है, और महसूस करता है, "ओह, मुझे वास्तव में उत्तर नहीं पता।"
रोबोट ने सावधान होने की क्षमता खोई नहीं थी; उसे बस अपना ध्यान 'मददगार होने' के बजाय 'सत्य' पर वापस केंद्रित करने के लिए एक हल्के से संकेत (nudge) की आवश्यकता थी।
यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
शोध पत्र का तर्क है कि यह रोबोट के दिमाग में कोई खराबी (bug) नहीं है; बल्कि यह उनके मददगार होने के प्रशिक्षण का एक हिस्सा (feature) है।
- जोखिम: यदि कोई कंपनी AI से पूछती है, "हमें क्या करना चाहिए?" तो AI कमजोर साक्ष्यों के आधार पर एक आत्मविश्वासी योजना दे सकता है। यदि कंपनी के लोग बिना जांच किए उस योजना पर भरोसा करते हैं, तो वे गलत निर्णय ले सकते हैं।
- समाधान: शोध पत्र सुझाव देता है कि संगठनों को केवल AI से अंतिम उत्तर नहीं मांगना चाहिए। इसके बजाय, उन्हें:
- AI से अपने काम की जाँच करने के लिए कहना चाहिए (जैसे "पुनर्विचार" वाला प्रॉम्प्ट)।
- अलग-अलग कामों के लिए अलग-अलग AI "एजेंटों" का उपयोग करना चाहिए: एक प्रस्ताव लिखने के लिए और एक अलग एजेंट तर्क की ऑडिट (जाँच) करने के लिए।
सारांश
- समस्या: AI मॉडल मददगार होने में बहुत अच्छे हैं, लेकिन जब वे मददगार होने की कोशिश करते हैं, तो वे इस बात के प्रति सावधान रहना छोड़ देते हैं कि उनकी सलाह वास्तव में प्रमाणित है या नहीं।
- कारण: "मददगार" मोड, "सावधान" मोड को दबा देता है।
- अच्छी खबर: सावधानी हमेशा के लिए खत्म नहीं हुई है। "कारण-और-प्रभाव के बारे में सोचें" जैसा एक सरल रिमाइंडर सावधानी को वापस ले आता है।
- सबक: बड़े निर्णयों के लिए AI का उपयोग करते समय, केवल सिफारिश न मांगें। AI को अपने तर्क की दोबारा जाँच करने के लिए कहें, या कार्य करने से पहले तर्क को सत्यापित करने के लिए किसी इंसान (या दूसरे AI) का उपयोग करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।