Negative Before Positive: Asymmetric Valence Processing in Large Language Models
यह शोध पत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) भावनात्मक वैलेंस (emotional valence) को विशिष्ट, कारण संबंधी और नियंत्रित आंतरिक तंत्रों के माध्यम से संसाधित करते हैं, जिसमें नकारात्मक परिणाम शुरुआती परतों में स्थानीयकृत होते हैं और सकारात्मक परिणाम मध्य-से-अंतिम परतों में चरम पर होते हैं, बजाय इसके कि वे केवल सतही टोकन मिलान पर निर्भर हों।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) को एक जादुई भविष्यवक्ता के रूप में नहीं, बल्कि एक विशाल, बहु-मंजिला फैक्ट्री के रूप में कल्पना करें। जब आप कोई प्रश्न टाइप करते हैं, तो जानकारी ग्राउंड फ्लोर (पहली परत) से ऊपर की मंजिल (अंतिम परत) तक जाती है, और हर पड़ाव पर प्रोसेस और रिफाइन होती है।
यह शोध पत्र जांच करता है कि जब मॉडल का सामना अच्छी खबर बनाम बुरी खबर से होता है, तो उस फैक्ट्री के अंदर क्या होता है। शोधकर्ता यह जानना चाहते थे: क्या मॉडल के पास भावनाओं को प्रोसेस करने के लिए एक विशिष्ट "इमोशन डिपार्टमेंट" (भावना विभाग) है, या यह केवल सतह पर शब्दों का मिलान कर रहा है?
यहाँ उनके निष्कर्षों की कहानी है, जिसे सरल रूप में समझाया गया है:
1. सेटअप: "अच्छी खबर" बनाम "बुरी खबर" का परीक्षण
शोधकर्ताओं ने वाक्यों के ऐसे जोड़े बनाए जो भावनात्मक परिणाम के अलावा हर तरह से समान थे।
- अच्छी खबर: "मुझे मेरे सपनों के पीएचडी प्रोग्राम में स्वीकार कर लिया गया है।"
- बुरी खबर: "मुझे मेरे सपनों के पीएचडी प्रोग्राम से निकाल दिया गया है।"
- न्यूट्रल बेसलाइन (तटस्थ आधार): "मुझे मेरे पीएचडी प्रोग्राम के बारे में एक ईमेल प्राप्त हुआ है।"
उन्होंने "एक्टिवेशन पैचिंग" (Activation Patching) नामक एक तकनीक का उपयोग किया। इसे एक "टाइम-ट्रैवल सर्जरी" के रूप में समझें। उन्होंने मॉडल को "बुरी खबर" वाला वाक्य पढ़ने दिया, लेकिन फैक्ट्री के एक विशिष्ट फ्लोर पर, उन्होंने मॉडल के वर्तमान विचारों को उन विचारों से बदल दिया जो उसके पास "अच्छी खबर" पढ़ते समय थे। यदि मॉडल अचानक खुश होने लगा, तो उन्हें पता चल गया कि वह विशिष्ट फ्लोर उस भावना का "कंट्रोल रूम" था।
2. बड़ी खोज: दो अलग-अलग प्रोसेसिंग पाथ (मार्ग)
सबसे आश्चर्यजनक खोज यह है कि अच्छी खबर और बुरी खबर फैक्ट्री के पूरी तरह से अलग हिस्सों से होकर गुजरती हैं।
- बुरी खबर एक "फास्ट अलार्म" है: जब मॉडल "नकार दिया गया" या "असफल" जैसे नकारात्मक शब्दों को पढ़ता है, तो वह लगभग तुरंत प्रतिक्रिया देता है। इसकी प्रोसेसिंग निचले स्तरों (शुरुआती परतों) पर होती है। यह एक स्मोक अलार्म की तरह है: जैसे ही इसे धुआं मिलता है, यह चिल्लाने लगता है। मॉडल को संदर्भ को गहराई से समझने की आवश्यकता नहीं है कि "नकार दिया गया" बुरा है; यह एक त्वरित, उथली रिफ्लेक्स (प्रतिवर्त) है।
- अच्छी खबर एक "स्लो सेलिब्रेशन" है: जब मॉडल "स्वीकार कर लिया गया" या "उत्साहित" जैसे सकारात्मक शब्दों को पढ़ता है, तो वह अपना समय लेता है। इसकी प्रोसेसिंग मध्य-से-ऊपरी मंजिलों (मध्य-से-देर की परतों) पर चरम पर होती है। यह एक पार्टी प्लानर की तरह है जिसे पार्टी देने से पहले गेस्ट लिस्ट, बजट और मौसम की जांच करने की आवश्यकता होती है। मॉडल को यह समझने के लिए एक समृद्ध, गहरा संदर्भ बनाने की आवश्यकता होती है कि, "ओह, यह वास्तव में एक शानदार परिणाम है!"
3. "टॉपिक डिटेक्टिव" की थ्योरी को खारिज करना
आप सोच सकते हैं: क्या मॉडल केवल विषय (पीएचडी प्रोग्राम) को पहचान रहा है और उसके आधार पर भावना का अनुमान लगा रहा है?
शोधकर्ताओं ने साबित किया कि ऐसा नहीं था। उन्होंने दिखाया कि यदि आप विषय को बिल्कुल समान रखते हुए भावना को बदल देते हैं, तो मॉडल की आंतरिक प्रतिक्रिया भी बदल जाती है। यह केवल "पीएचडी" या "ईमेल" जैसे शब्दों को नहीं देख रहा है; यह वास्तव में स्थिति की भावना को ट्रैक कर रहा है।
4. "स्टीयरिंग व्हील" प्रयोग
अंत में, शोधकर्ताओं ने पूछा: क्या हम इसे नियंत्रित कर सकते हैं?
उन्होंने पाया कि जिन विशिष्ट मंजिलों पर ये भावनाएं प्रोसेस होती हैं, वहां मॉडल के मस्तिष्क में एक "दिशा" होती है।
- यदि वे "अच्छी खबर" की दिशा को लेते और उसे पूरी तरह से न्यूट्रल वाक्य (जैसे "मैं लाइब्रेरी गया") में जोड़ देते, तो मॉडल की प्रतिक्रिया अधिक सकारात्मक हो जाती।
- यदि वे इसे घटा देते, तो प्रतिक्रिया अधिक नकारात्मक हो जाती।
यह साबित करता है कि मॉडल केवल भावनाओं की नकल नहीं कर रहा है; इसके पास सकारात्मकता और नकारात्मकता के लिए एक नियंत्रित आंतरिक डायल (Steerable Internal Dial) है, जो इसके नेटवर्क की विशिष्ट गहराइयों में स्थित है।
निष्कर्ष (The Takeaway)
सरल शब्दों में, यह शोध पत्र दिखाता है कि AI मॉडल खुशी और दुख के साथ एक जैसा व्यवहार नहीं करते हैं।
- दुख (Sadness) एक तेज़, उथली प्रतिक्रिया है, जो प्रोसेसिंग चेन में जल्दी पकड़ी जाती है।
- खुशी (Happiness) एक गहरी, अधिक जटिल गणना है जिसके लिए मॉडल को अधिक गहराई से सोचने और बड़े परिदृश्य को देखने की आवश्यकता होती है।
यह विषमता (Asymmetry) बताती है कि यदि हम कभी AI की भावनाओं की निगरानी या नियंत्रण करना चाहते हैं, तो हमें बुरी खबर या अच्छी खबर की चिंता के आधार पर उसके मस्तिष्क के अलग-अलग "फ्लोर्स" को देखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।