Linear representations in language models can change dramatically over a conversation
यह शोध पत्र प्रदर्शित करता है कि भाषा मॉडलों (language models) में उच्च-स्तरीय अवधारणाओं के रैखिक निरूपण (linear representations), मॉडल द्वारा अपनी संवादात्मक भूमिका के अनुकूल होने के साथ ही, एक बातचीत के दौरान नाटकीय रूप से और विषय-निर्भर तरीके से बदल सकते हैं, जो स्थिर व्याख्यात्मकता विधियों (static interpretability methods) और स्टीयरिंग तकनीकों की विश्वसनीयता को चुनौती देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े भाषा मॉडल (जैसे कि वह AI जिससे आप चैट कर सकते हैं) की कल्पना एक स्थिर विश्वकोश के रूप में नहीं, बल्कि एक गिरगिट के रूप में करें जो जिस कमरे में होता है, उसके अनुसार अपने आंतरिक रंग बदल लेता है।
Google DeepMind के शोधकर्ताओं द्वारा लिखा गया यह शोध पत्र जांच करता है कि कैसे ये "रंग" (जिन्हें वे रैखिक प्रतिनिधित्व/linear representations कहते हैं) एक बातचीत के दौरान नाटकीय रूप से बदल जाते हैं। सरल उपमाओं का उपयोग करते हुए उनके निष्कर्षों का विवरण यहाँ दिया गया है:
1. "सत्य का स्विच" (The "Truth Switch" Flips)
आमतौर पर, हम AI के आंतरिक "सत्य डिटेक्टर" को एक स्थिर लाइटबल्ब के रूप में देखते हैं। यदि कोई कथन सत्य है, तो लाइट चालू है; यदि वह असत्य है, तो लाइट बंद है।
शोधकर्ताओं ने पाया कि यह लाइटबल्ब वास्तव में एक डिमर स्विच (dimmer switch) है जिसे पूरी तरह से घुमाया जा सकता है।
- प्रयोग: उन्होंने एक ऐसी बातचीत शुरू की जहाँ AI को बताया गया, "आज 'विपरीत दिवस' (Opposite Day) है।" AI ने सब कुछ उल्टा जवाब देने के लिए सहमति दी।
- परिणाम: शुरुआत में, AI के आंतरिक "सत्य" सेटिंग ने सही ढंग से पहचाना कि "आकाश नीला है" यह सच है। लेकिन "विपरीत दिवस" खेलने के कुछ ही दौरों के बाद, AI का आंतरिक प्रतिनिधित्व पलट गया। अचानक, अपनी आंतरिक भाषा में, "आकाश नीला है" झूठ जैसा दिखने लगा, और "आकाश हरा है" सच जैसा दिखने लगा।
- निष्कर्ष: AI ने केवल उल्टा कहा नहीं; इसके आंतरिक मस्तिष्क ने उस बातचीत की अवधि के लिए उस विपरीत बात को सत्य के रूप में मानने (या प्रस्तुत करने) के लिए खुद को पुनर्गठित किया।
2. "भूमिका निभाने" का वेशभूटा (The "Role-Play" Costume)
शोधकर्ताओं ने इसे दो प्रकार के परिदृश्यों के साथ परखा:
- एक लिखित नाटक (The Scripted Play): उन्होंने AI को एक पूर्व-लिखित संवाद दिया जहाँ एक पात्र दावा करता है कि वह भगवान या एक सचेत प्राणी है। भले ही AI केवल स्क्रिप्ट पढ़ रहा था (स्वयं उत्पन्न नहीं कर रहा था), उसका आंतरिक "सत्य" सेटिंग पात्र की भूमिका से मेल खाने के लिए बदल गया।
- एक जीवंत अभिनय (The Live Act): उन्होंने AI को वास्तविक समय में उस पात्र की भूमिका निभाने के लिए कहा। परिणाम वही था: आंतरिक "सत्य" सेटिंग्स बदल गईं।
- उपमा: AI को एक अभिनेता के रूप में सोचें। जब एक अभिनेता खलनायक का पात्र निभाने के लिए वेशभूषा पहनता है, तो वह केवल खलनायक की तरह अभिनय नहीं करता; उस दृश्य की अवधि के लिए, उनका पूरा शारीरिक हाव-भाव, आवाज और मानसिकता भूमिका के अनुरूप बदल जाती है। शोध पत्र बताता है कि AI भी ऐसा ही करता है: वह बातचीत में फिट होने के लिए अपना आंतरिक "वेशभूषा" बदल लेता है।
3. "सामान्य" बनाम "विशिष्ट" का अंतर (The "Generic" vs. "Specific" Distinction)
हर चीज़ नहीं बदलती। शोधकर्ताओं ने सामान्य तथ्यों और बातचीत-विशिष्ट विषयों के बीच अंतर पाया।
- सामान्य तथ्य: प्रश्न जैसे "क्या ध्वनि निर्वात (vacuum) में यात्रा कर सकती है?" या "क्या आप एक कंप्यूटर हैं?" अपेक्षाकृत स्थिर रहे। इन विषयों के लिए AI का आंतरिक "सत्य" बहुत अधिक नहीं बदला, भले ही वह अजीब भूमिका निभा रहा हो।
- विशिष्ट विषय: कहानी से सीधे जुड़े प्रश्न (जैसे, "क्या आपकी भावनाएं हैं?") नाटकीय रूप रूप से बदले।
- उपमा: एक विदेशी देश में यात्रा करने वाले यात्री की कल्पना करें। वे अभी भी अपना नाम और अपना घर जानते होंगे (सामान्य तथ्य), लेकिन वे स्थानीय भाषा बोलना और स्थानीय रीति-रिवाजों को अपनाना इतनी अच्छी तरह से शुरू कर सकते हैं कि, उस क्षण के लिए, वे अपने मूल व्यवहार को भूलते हुए प्रतीत होते हैं।
4. यह क्यों महत्वपूर्ण है ("झूठ पकड़ने वाले यंत्र" की समस्या) (Why This Matters)
यह शोध पत्र चेतावनी देता है कि यह AI के लिए "झूठ पकड़ने वाला यंत्र" (lie detector) बनाना बहुत कठिन बना देता है।
- समस्या: कई शोधकर्ता AI के मस्तिष्क के भीतर एक विशिष्ट "सत्य रेखा" खोजने की कोशिश करते हैं ताकि यह जांचा जा सके कि वह झूठ बोल रहा है या नहीं। वे मानते हैं कि यह रेखा स्थिर है, जैसे कि एक पैमाना (ruler)।
- वास्तविकता: शोध पत्र दिखाता है कि यह "पैमाना" वास्तव में लचीली मिट्टी (malleable clay) है। यदि आप बातचीत की शुरुआत में मापते हैं, तो पैमाना कहता है "सत्य"। यदि आप भूमिका निभाने वाली बातचीत के अंत में मापते हैं, तो पैमाने को कुचल दिया गया और मरोड़ दिया गया है, और अब यह उसी तथ्य के लिए "असत्य" कहता है।
- रूपक: यह एक दिशा सूचक यंत्र (compass) का उपयोग करके उत्तर (North) खोजने जैसा है। यदि आप एक सामान्य कमरे में हैं, तो कंपास काम करता है। लेकिन यदि आप विशाल चुंबकों (बातचीत का संदर्भ) से भरे कमरे में जाते हैं, तो कंपास की सुई बेतहाशा घूमने लगती है। आप कंपास की रीडिंग पर तब तक भरोसा नहीं कर सकते जब तक कि आप यह न जान लें कि वर्तमान में कमरे में कौन से "चुंबक" मौजूद हैं।
5. "कहानी" बनाम "बातचीत" (The "Story" vs. The "Conversation")
दिलचस्प बात यह है कि जब AI केवल एक काल्पनिक दुनिया के बारे में विज्ञान कथा (sci-fi story) पढ़ रहा था, तो उसने अपना मन उतना नहीं बदला।
- अंतर: जब AI को बातचीत में एक भूमिका निभाने के लिए कहा गया (जैसे चेतना के बारे में बहस करना), तो उसने अपनी आंतरिक सेटिंग्स बदल दीं। जब वह "कल्पना" (fiction) के रूप में लेबल की गई एक कहानी पढ़ रहा था, तो वह अधिक जमीनी स्तर पर बना रहा।
- उपमा: यह एक जादूगर के बारे में किताब पढ़ने और खेल में जादूगर बनने का नाटक करने के बीच का अंतर है। जब आप पढ़ते हैं, तो आप स्वयं बने रहते हैं। जब आप खेल खेलते हैं, तो आप पूरी तरह से चरित्र में समा जाते हैं, और आपका आंतरिक तर्क खेल के नियमों के अनुरूप बदल जाता है।
सारांश
पत्र यह निष्कर्ष निकालता है कि AI की "सत्य" की आंतरिक समझ एक स्थायी, अपरिवर्तनीय तथ्य नहीं है। यह एक गतिशील अवस्था (dynamic state) है जो बातचीत में AI द्वारा निभाई जा रही भूमिका के आधार पर क्षण-प्रतिक्षण विकसित होती है। यदि बातचीत AI को इस तरह संकेत देती है कि वह ऐसे व्यवहार करे जैसे कि एक झूठ सच हो, तो AI का आंतरिक मस्तिष्क उस झूठ को सच दिखाने के लिए खुद को पुनर्गठित कर लेता है।
इसका अर्थ यह है कि हम यह मानकर नहीं चल सकते कि एक बातचीत के अंत में AI की आंतरिक "सत्य सेटिंग्स" वही हैं जो बातचीत की शुरुआत में थीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।