Instruction Following by Principled Boosting Attention of Large Language Models
यह शोधपत्र InstABoost का प्रस्ताव करता है, जो एक सरल इन्फरेंस-टाइम हस्तक्षेप (inference-time intervention) है जो एक नियम-प्रतिस्पर्धा सिद्धांत (rule-competition theory) के माध्यम से अटेंशन स्टीयरिंग विधियों को एकीकृत करता है और प्रवाह या संदर्भ प्रासंगिकता से समझौता किए बिना निर्देश पालन को बढ़ाने के लिए इंस्ट्रक्शन-की लॉजिट्स (instruction-key logits) पर एक स्थिर योगात्मक बायस (constant additive bias) लागू करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, अच्छी तरह से प्रशिक्षित रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल) है। आप उसे नियमों का एक समूह देते हैं: "विनम्र रहें," "झूठ न बोलें," और "उपयोगकर्ता के प्रश्न का उत्तर दें।"
आमतौर पर, रोबोट इन नियमों का पालन करता है। लेकिन कभी-कभी, यदि आप उसे एक लंबी, भ्रमित करने वाली कहानी या एक पेचीदा प्रॉम्प्ट देते हैं, तो रोबोट विचलित हो जाता है। वह नियमों को भूल सकता है, तथ्य गढ़ने (hallucinating) लग सकता है, या कहानी के गलत हिस्से पर ध्यान केंद्रित करने के लिए आपके विशिष्ट अनुरोध को अनदेखा कर सकता है। यह एक ऐसे छात्र की तरह है जो गणित का सूत्र जानता है तो है, लेकिन किताब में बने एक मज़ेदार चित्र से इतना विचलित हो जाता है कि वह समस्या को हल करना ही भूल जाता है।
यह पेपर इस बात पर चर्चा करता है कि रोबोट को बिना दोबारा प्रशिक्षित (retrain) किए नियमों पर केंद्रित रखने का एक नया तरीका क्या है। वे इस विधि को INSTABOOST कहते हैं।
सरल उपमाओं (analogies) का उपयोग करते हुए इसका विवरण यहाँ दिया गया है:
1. समस्या: "शोर वाला कमरा"
रोबोट के मस्तिष्क को एक भीड़भाड़ वाले कमरे के रूप में सोचें जहाँ अलग-अलग विचार चिल्ला रहे हैं।
- निर्देश (Instructions) आपका वह स्वर है जो नियम दे रहा है।
- संदर्भ (Context) (उपयोगकर्ता की कहानी या डेटा) अन्य लोगों के बोलने का शोर है।
कभी-कभी, "अन्य लोग" (संदर्भ) इतनी ज़ोर से चिल्लाते हैं कि वे आपकी आवाज़ को दबा देते हैं। रोबोट आपके नियमों के बजाय उस शोर को सुनने लगता है। पिछले तरीकों ने इसे ठीक करने की कोशिश की, लेकिन उनके दो ही तरीके थे:
- शोर को पूरी तरह से म्यूट करना: यह काम करता है, लेकिन कभी-कभी शोर में वे महत्वपूर्ण विवरण भी होते हैं जो प्रश्न का उत्तर देने के लिए आवश्यक होते हैं। यदि आप शोर को बहुत अधिक म्यूट कर देते हैं, तो रोबोट एक सही लेकिन बेकार उत्तर देता है (जैसे "मैं दुखी हूँ" कहना, जबकि प्रश्न था "फ्रांस की राजधानी क्या है?")।
- केवल विशिष्ट कानों में आपकी आवाज़ तेज़ करना: यह बहुत जटिल है और इसके लिए बहुत अधिक परीक्षण और त्रुटि (trial and error) की आवश्यकता होती है कि किन "कानों" (मस्तिष्क के हिस्सों) का उपयोग किया जाए।
2. सिद्धांत: "नियम-आधारित प्रतियोगिता"
लेखकों ने एक सिद्धांत दिया है कि रोबोट वास्तव में दो टीमों के बीच एक प्रतियोगिता चला रहा है:
- टीम निर्देश (Team Instruction): वे नियम जो आपने उसे दिए हैं।
- टीम संदर्भ (Team Context): प्रॉम्प्ट में दिए गए विवरण।
रोबत का "अटेंशन मैकेनिज्म" (attention mechanism) एक रेफरी की तरह है जो तय करता है कि कौन सी टीम जीतेगी। यदि टीम संदर्भ (Team Context) को बहुत अधिक अंक मिलते हैं, तो रोबोट नियमों को अनदेखा कर देता है।
पेपर यह सिद्ध करता है कि यदि आप टीम निर्देश को एक निरंतर बढ़ावा (constant boost) देते हैं (जैसे कि उनके स्कोर में थोड़ा अतिरिक्त भार जोड़ना), तो वे जीतना बहुत कठिन हो जाता है। यह आपकी आवाज़ को मेगाफोन देने जैसा है। भले ही अन्य लोग चिल्ला रहे हों, आपका मेगाफोन यह सुनिश्चित करता है कि आपके नियम स्पष्ट रूप से सुने जाएं।
3. समाधान: INSTABOOST (द "मेगाफोन")
लेखक एक सरल तकनीक प्रस्तावित करते हैं जिसे INSTABOOST कहा जाता है।
यह कोशिश करने के बजाय कि मस्तिष्क के किस हिस्से को बदलना है, वे बस निर्देश वाले शब्दों पर रोबोट द्वारा दिए जाने वाले ध्यान (attention) में एक छोटा सा, निरंतर "बढ़ावा" (boost) जोड़ देते हैं।
- उपमा: कल्पना कीजिए कि रोबोट एक शेफ है जो एक रेसिपी (निर्देश) का पालन कर रहा है और साथ ही काउंटर पर रखे सामान (संदर्भ) को भी देख रहा है।
- पुराने तरीके: पुराने तरीकों ने या तो शेफ की आँखों पर पट्टी बाँधने की कोशिश की ताकि वह केवल रेसिपी को देखे, या रसोई को इस तरह व्यवस्थित करने की कोशिश की कि रेसिपी ही एकमात्र चीज़ दिखाई दे।
- INSTABOOST: बस रेसिपी बुक पर एक चमकदार, उज्ज्वल स्पॉटलाइट लगा देता है। शेफ अभी भी काउंटर पर रखे सामान को देख सकता है (ताकि वह यह न भूल जाए कि वह क्या पका रहा है), लेकिन चमकती हुई रेसिपी बुक को अनदेखा करना असंभव है।
4. यह बेहतर क्यों है
पेपर ने 15 अलग-अलग कार्यों पर इसका परीक्षण किया, जैसे कि रोबोट को "दुखी" महसूस कराना या उसे सुरक्षा नियमों को तोड़ने (jailbreaking) से रोकना।
- "प्रवाह" (Fluency) की समस्या: कुछ पुराने तरीकों ने रोबोट को नियमों का पालन करने के लिए मजबूर करते समय एक टूटे हुए रोबोट जैसा बना दिया (शब्दों को दोहराना, निरर्थक लगना)। INSTABOOST रोबोट को स्वाभाविक और प्रवाहमयी बनाए रखता है।
- "प्रासंगिकता" (Relevance) की समस्या: कुछ तरीके रोबोट को नियमों का पालन करने के लिए इतना सख्त बना देते हैं कि वह वास्तविक प्रश्न का उत्तर देना ही बंद कर देता है (उदाहरण के लिए, यदि आपने उससे पूछा "मैं केक कैसे बनाऊं?" जबकि आपने उसे "दुखी" रहने का निर्देश दिया है, तो वह केवल "मैं दुखी हूँ" कह सकता है और केक के बारे में बताना छोड़ सकता है)। INSTAB स्यूशन यह सुनिश्चित करता है कि रोबोट केक के प्रश्न का उत्तर देते हुए भी "दुखी" बना रहे।
मुख्य निष्कर्ष (The Bottom Line)
INSTABOOST रोबोट के ध्यान के लिए एक सरल, कुशल "वॉल्यूम नॉब" (volume knob) है। यह निर्देशों के वॉल्यूम को बस इतना बढ़ा देता है कि रोबोट आपकी बात सुन ले, लेकिन इतना भी नहीं कि वह उपयोगकर्ता के वास्तविक प्रश्न को सुनना ही बंद कर दे। यह AI को सुरक्षित, विश्वसनीय और आदेशों का पालन करने में बेहतर बनाता है, और इसके लिए उसके मस्तिष्क के पूर्ण पुनर्गठन (overhaul) की आवश्यकता नहीं होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।