Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency
यह शोध पत्र न्यूरो-सिम्बोलिक हिरार्किकल अलाइनमेंट (NSHA) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो इन्फरेंस के दौरान सॉल्वर-गाइडेड कंस्ट्रेंट सेटिस्फेक्शन को डिस्टिलेशन-आधारित प्रशिक्षण के साथ जोड़कर, विभिन्न अधिकार स्तरों वाले निर्देशों के बीच संघर्ष को सुलझाने की लार्ज लैंग्वेज मॉडल्स की क्षमता को बढ़ाता है, जिससे जटिल, बहु-निर्देश परिदृश्यों में तार्किक निरंतरता और कार्य उपयोगिता सुनिश्चित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भ्रमित, रोबोटिक जहाज के कप्तान हैं। यह रोबोट एक व्यस्त महासागर में नेविगेट करने की कोशिश कर रहा है, लेकिन इसे एक साथ चार अलग-अलग लोगों से निर्देश मिल रहे हैं:
- कप्तान (सिस्टम): "हमेशा जहाज को सटीक JSON फॉर्मेट में रखें!" (एक सख्त नियम)।
- यात्री (यूजर): "मुझे डायपर के बारे में एक सादा-टेक्स्ट (plain-text) कहानी चाहिए!" (एक विशिष्ट अनुरोध)।
- नेविगेटर (टूल्स): "यहाँ डायपर की विशेषताओं की एक सूची है।" (तथ्य)।
- क्रू (हिस्ट्री): "हमने पहले बादलों के बारे में बात की थी।" (संदर्भ)।
समस्या:
यात्री कहता है, "सादे टेक्स्ट में लिखें!" लेकिन कप्तान कहता है, "सब कुछ JSON होना चाहिए!" रोबोट फंस जाता है। पहले के रोबोटों के साथ ऐसा होता था:
- वे कप्तान की बात अनसुनी कर देते और नौकरी से हाथ धो बैठते (सुरक्षा उल्लंघन)।
- वे यात्री की बात अनसुनी कर देते और बेकार साबित होते (खराब यूजर एक्सपीरियंस)।
- वे घबरा जाते और एक अस्त-व्यस्त उत्तर देते जो न तो किसी नियम का पालन करता और न ही किसी की बात सुनता।
अधिकांश शोध "दुष्ट हैकर्स" को रोबोट को धोखा देने से रोकने पर केंद्रित है। लेकिन यह पेपर पूछता है: क्या होगा जब अच्छे निर्देशों के बीच सामान्य, रोजमर्रा का टकराव हो?
समाधान: NSHA (द "न्यूरो-सिंबोलिक ट्रैफिक कोप")
लेखकों ने एक नया सिस्टम प्रस्तावित किया है जिसे NSHA (न्यूरो-सिंबोलिक हायरार्किकल अलाइनमेंट) कहा जाता है। इसे एक रोबोट को "ट्रैफिक कोप" (ट्रैफिक पुलिस) और एक "ट्रेनिंग स्कूल" देने के रूप में समझें।
1. द ट्रैफिक कोप (इन्फरेंस टाइम)
जब रोबोट को एक नया अनुरोध मिलता है, तो वह केवल अनुमान नहीं लगाता। वह एक "सॉल्वर" (एक सुपर-स्मार्ट गणितीय कैलकुलेटर की तरह) का उपयोग करके एक त्वरित, तार्किक जांच चलाता है।
- चरण 1: तोड़ना (एटमाइजेशन)। रोबट लंबी, उलझी हुई बातचीत को छोटे, एकल वाक्यों में तोड़ देता है (जैसे, "JSON होना चाहिए," "सादा टेक्स्ट होना चाहिए")।
- चरण 2: लड़ाई को पहचानना (कॉन्फ्लिक्ट डिटेक्शन)। रोबोट पूछता है: "क्या ये दो वाक्य एक-दूसरे से नफरत करते हैं?" (जैसे, "JSON" और "सादा टेक्स्ट" दुश्मन हैं)।
- चरण 3: पदानुक्रम का नियम (द हायरार्की रूल)। रोबोट के पास एक सख्त नियम पुस्तिका है: कप्तान > यात्री > टूल्स।
- यदि कप्तान कहता है "JSON" और यात्री कहता है "सादा टेक्स्ट," तो ट्रैफिक कोप कहता है, "यात्री, आपको दरकिनार किया जाता है। हमें JSON करना होगा।"
- इसके बाद, यह निर्देशों के उस सर्वश्रेष्ठ संभव संयोजन को चुनता है जो आपस में नहीं लड़ते और कप्तान के अधिकार का सम्मान करते हैं।
- चरण 4: उत्तर। रोबोट केवल जीतने वाले निर्देशों के आधार पर उत्तर तैयार करता है।
2. द ट्रेनिंग स्कूल (ट्रेनिंग टाइम)
समस्या यह है कि ट्रैफिक कोप एक बाहरी टूल है। यह धीमा है और इसके लिए अतिरिक्त हार्डवेयर की आवश्यकता होती है। लेखक चाहते थे कि रोबोट स्वयं अपना ट्रैफिक कोप बनना सीख जाए।
- विधि: उन्होंने हजारों अभ्यास उदाहरण उत्पन्न करने के लिए ट्रैफिक कोप का उपयोग किया।
- परिदृश्य: "यहाँ एक टकराव है। सही उत्तर कप्तान का अनुसरण करता है। गलत उत्तर यात्री का अनुसरण करता है।"
- पाठ: उन्होंने रोबोट को (एक तकनीक का उपयोग करके जिसे "डिस्टिलेशन" कहते) इन उदाहरणों को देखने और अधिकार के पैटर्न को सीखने के लिए प्रशिक्षित किया।
- परिणाम: अब, बिना बाहरी ट्रैफिक कोप के भी, रोबोट के मस्तिष्क ने यह नियम आत्मसात कर लिया है: "जब कप्तान और यात्री के बीच लड़ाई हो, तो कप्तान की बात सुनें, लेकिन उन नियमों के भीतर यात्री के लिए मददगार होने की कोशिश करें।"
यह क्यों महत्वपूर्ण है (उपमा)
एक रेस्टोरेंट किचन की कल्पना करें:
- मालिक (सिस्टम): "हम केवल सफेद कटोरे में भोजन परोसते हैं।"
- ग्राहक (यूजर): "मुझे लाल कप में सूप चाहिए!"
- शेफ (मॉडल):
इस पेपर से पहले: शेफ भ्रमित हो सकता है, लाल कप में सूप परोस सकता है (नियम तोड़ना), या ग्राहक को मना कर सकता है (मदद न करना)।
NSHA के साथ:
- लॉजिक चेक: शेफ महसूस करता है, "मालिक का नियम ग्राहक के अनुरोध से ऊपर है।"
- समाधान: शेफ कहता है, "मैं लाल कप का उपयोग नहीं कर सकता, लेकिन मैं आपको सफेद कटोरे में सूप परोसूँगा और इसे खास बनाने के लिए एक विशेष गार्निश जोड़ दूँगा।"
- प्रशिक्षण: अंततः, शेफ इसे स्वाभाविक रूप से सीख जाता है। उसे हर बार मैनेजर के चिल्लाने की जरूरत नहीं होती कि ग्राहक लाल कप मांग रहा है; वह बस पदानुक्रम को जानता है और इसे सुचारू रूप से संभाल लेता है।
मुख्य निष्कर्ष
यह पेपर AI मॉडल्स को ऐसे अच्छे श्रोता बनाना सिखाता है जो जानते हैं कि प्रभारी कौन है। यह सुनिश्चित करता है कि जब कोई यूजर ऐसी चीज़ मांगे जो सुरक्षा या सिस्टम के नियम को तोड़ती हो, तो AI क्रैश होने, यूजर को अनदेखा करने या नियमों को तोड़ने के बजाय विनम्रता से कहे, "मैं वह विशिष्ट कार्य नहीं कर सकता, लेकिन मैं नियमों के भीतर आपकी मदद करने का सबसे अच्छा तरीका यहाँ दे सकता हूँ।"
यह AI को सुरक्षित (यह नियमों का पालन करता है), अधिक उपयोगी (यह अभी भी मदद करने की कोशिश करता है), और अधिक सुसंगत (यह निर्णयों पर बार-बार बदलता नहीं है) बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।