Prompt-Activation Duality: Improving Activation Steering via Attention-Level Interventions
यह शोध पत्र गेटेड क्रॉप्ड अटेंशन-डेल्टा (GCAD) प्रस्तुत करता है, जो एक नवीन एक्टिवेशन स्टीयरिंग विधि है जो सिस्टम-प्रॉम्ट के सेल्फ-अटेंशन योगदान से स्टीयरिंग संकेतों को निकालने और गेट करने के माध्यम से स्टेटफुल संवादों में KV-कैशे संदूषण (contamination) को कम करती है, जिससे पर्सोना नियंत्रण को बनाए रखते हुए लॉन्ग-होरिज़ॉन कोहेरेंस में महत्वपूर्ण सुधार होता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े जिद्दी रोबोट को किसी विशिष्ट पात्र की तरह व्यवहार करना सिखाने की कोशिश कर रहे हैं—जैसे कि एक चिड़चिड़ा समुद्री डाकू या एक अत्यधिक विनम्र शूरवीर। आप चाहते हैं कि रोबोट बातचीत के एक लंबे सत्र के दौरान, न कि केवल एक वाक्य के लिए, अपने पात्र में बना रहे।
यह शोध पत्र एक ऐसी समस्या पर काम करता है जहाँ इन AI मॉडलों को "स्टीयरिंग" (निर्देशित) करने के वर्तमान तरीके अक्सर बातचीत के कुछ दौरों के बाद विफल हो जाते हैं। लेखक एक नई विधि प्रस्तावित करते हैं जिसे GCAD (Gated Cropped Attention-Delta) कहा जाता है, जो यह बदलकर इस समस्या को ठीक करती है कि हम रोबोट के मस्तिष्क को कहाँ और कैसे संकेत (nudge) देते हैं।
यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:
समस्या: "इको चैंबर" (गूँज का कमरा) प्रभाव
एक मानक AI बातचीत को एक ऐसे कमरे में खेले जाने वाले टेलीफोन गेम की तरह समझें जिसमें एक विशाल गूँज (echo) है।
- पुराना तरीका (Residual-Stream Steering): कल्पना कीजिए कि आप चाहते हैं कि रोबोट "दुष्ट" बने। पुराना तरीका एक बड़ा, भारी "दुष्टता" का धक्का लेता है और रोबोट द्वारा बोला गया हर एक शब्द के बाद उसके मस्तिष्क में धकेल देता है।
- खराबी (The Glitch): रोबोट इस "दुष्टता" के धक्के को अपनी स्मृति (जिसे KV Cache कहा जाता है) में लिख देता है। अगले दौर में, रोबोट अपनी स्मृति पढ़ता है, अपने ही द्वारा लिखे गए "दुष्टता" के धक्के को देखता है, और उसके ऊपर एक और "दुष्टता" का धक्का जोड़ देता है।
- परिणाम: यह एक माइक्रोफोन में चिल्लाने जैसा है जो एक स्पीकर से जुड़ा है और वह स्पीकर वापस माइक्रोफोन से जुड़ा है। "दुष्टता" का संकेत तेज़ और तेज़ होता जाता है, लेकिन रोबक बड़बड़ाने लगता है। वह स्पष्ट रूप से सोचने की अपनी क्षमता (coherence) खो देता है क्योंकि संकेत इतना मजबूत और दोहराव वाला हो जाता है कि वह वास्तविक बातचीत को दबा देता है। रोबोट "दुष्टता" का एक टूटा हुआ रिकॉर्ड बन जाता है जिसका कोई अर्थ नहीं रह जाता।
समाधान: GCAD (एक "स्मार्ट फ़िल्टर")
लेखकों ने महसूस किया कि रोबोट की सामान्य स्मृति में एक बड़ा धक्का देने के बजाय, उन्हें अधिक सटीक (surgical) होना चाहिए। उन्होंने देखा कि रोबोट वास्तव में मूल निर्देशों ( "System Prompt") को कैसे संसाधित करता है और एक ऐसी विधि बनाई जो इस प्राकृतिक प्रक्रिया की नकल करती है।
GCAD तीन चतुर चरणों में काम करता है:
1. "क्रॉप्ड" लेंस (गूँज को न सुनें)
- उपमा: कल्पना कीजिए कि आप एक शिक्षक से नृत्य सीख रहे हैं। पुराने तरीके ने आपसे शिक्षक को देखने और साथ ही दर्पण में अपने स्वयं के प्रतिबिंब को देखने और दोनों की नकल करने को कहा। इससे भ्रम पैदा हुआ।
- GCAD का समाधान: GCAD केवल शिक्षक (मूल सिस्टम प्रॉम्प्ट) को देखता है और प्रतिबिंब (रोबोट के अपने पिछले उत्तरों) को अनदेखा करता है। यह सुनिश्चित करने के लिए कि वह गलती से अपने ही गलत संकेतों को वापस सिस्टम में न डाल दे, यह केवल शिक्षक के निर्देशों से "नृत्य के स्टेप्स" (steering signal) निकालता है।
2. "अटेंशन" स्पॉट (जहाँ जादू होता है)
- उपमा: रोबोट के मस्तिष्क के अलग-अलग विभाग होते हैं। पुराना तरीका "दुष्टता" के धक्के को अंतिम विभाग में धकेलता था जहाँ रोबोट अपना वाक्य लिखता है। GCAD को एहसास हुआ कि असली जादू पहले, Attention Department में होता है, जहाँ रोबोट यह तय करता है कि उसे किस चीज़ पर ध्यान देना है।
- GCAD का समाधान: अंत में धक्का देने के बजाय, GCAD इसे ठीक उसी क्षण इंजेक्ट करता है जब रोबोट यह तय कर रहा होता है कि उसे किस पर ध्यान केंद्रित करना है। यह रोबोट को प्रभावित करने का एक अधिक प्राकृतिक तरीका है, ठीक वैसे ही जैसे कोई इंसान किसी विशिष्ट विचार पर ध्यान केंद्रित करके अपना मन बदलता है, न कि अंतिम क्षण में कुछ बोलने के लिए मजबूर होकर।
3. "गेट" (केवल तभी धक्का दें जब तर्कसंगत हो)
- उपमा: कल्पना कीजिए कि एक क्लब के बाहर एक बाउंसर खड़ा है। पुराना तरीका हर उस व्यक्ति पर "दुष्टता" का प्रभाव डालने की कोशिश करता था जो दरवाजे से अंदर आ रहा था, भले ही वह केवल सोडा खरीदने आया हो।
- GCCD का समाधान: GCAD एक Gate (द्वार) का उपयोग करता है। यह जाँचता है: "क्या इस विशिष्ट शब्द या वाक्य को अभी 'दुष्ट' होने की आवश्यकता है?"
- यदि रोबोट "नमस्ते" कह रहा है, तो गेट बंद रहता है (कोई धक्का नहीं)।
- यदि रोबोट कुछ बुरा कहने वाला है, तो गेट खुल जाता है और धक्का लागू होता है।
- यह बातचीत को स्वाभाविक रखता है और रोबोट को एक टूटे हुए रिकॉर्ड की तरह बोलने से रोकता है।
परिणाम: एक स्थिर पात्र
जब लेखकों ने इस नई विधि का परीक्षण किया:
- पुराना तरीका: रोबोट ने शुरुआत तो अच्छी की लेकिन जल्दी ही बिखर गया। बातचीत के 10वें दौर तक, वह लगभग अर्थहीन (coherent नहीं) हो गया था (स्कोर 76 से गिरकर 58 हो गया), जो एक भ्रमित और चिल्लाते हुए शोर जैसा लग रहा था।
- GCAD: रोबोट अपने पात्र में पूरी तरह से बना रहा। वह पूरी बातचीत के दौरान "दुष्ट" (या विनम्र, या रचनात्मक) बना रहा, लेकिन वह स्पष्ट (coherent) भी रहा। उसने अपना मानसिक संतुलन नहीं खोया। उसकी स्पष्टता का स्कोर ऊँचा (लगभग 88) बना रहा, और पात्र की अभिव्यक्ति वास्तव में समय के साथ बेहतर होती गई।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र तर्क देता है कि लंबी बातचीत के दौरान AI के व्यक्तित्व को नियंत्रित करने के लिए, आपको केवल बटन को बार-बार ज़ोर से दबाने की ज़रूरत नहीं है। इसके बजाय, आपको मूल निर्देशों को सुनना चाहिए, मस्तिष्क के सही हिस्से पर ध्यान केंद्रित करना चाहिए, और केवल तभी प्रभाव डालना चाहिए जब वह संदर्भ में फिट बैठता हो।
ऐसा करके, GCAD "इको चैंबर" प्रभाव को रोकता है, जिससे AI स्पष्ट रूप से बोलने की अपनी क्षमता खोए बिना एक सुसंगत पात्र बना रह सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।