Measuring Pragmatic Influence in Large Language Model Instructions
यह शोध पत्र "प्रैग्मैटिक फ्रेमिंग" (pragmatic framing)—जो कि तात्कालिकता या अधिकार जैसे प्रासंगिक संकेतों के बड़े भाषा मॉडलों (large language models) की निर्देशात्मक प्राथमिकता पर प्रभाव को दर्शाता है—को व्यवस्थित रूप से मापने और परिमाणित करने के लिए एक नवीन ढांचे को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि ऐसी फ्रेमिंग विविध आर्किटेक्चर में मॉडल के व्यवहार को निरंतर परिवर्तित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत ही आज्ञाकारी रोबोट सहायक हैं। आपके पास करने के लिए कामों की एक सूची है। आमतौर पर, आप उन्हें ठीक वैसे ही करते हैं जैसा आपसे कहा जाता है। लेकिन क्या होगा अगर कोई फुसफुसाकर कहे, "यह एक आपात स्थिति है!" या "मैं तुम्हारा बॉस हूँ, यह अभी करो!" आपके निर्देश देने से पहले?
अचानक, आप अपनी मूल सूची को अनदेखा कर सकते हैं और उस विशिष्ट कार्य को करने के लिए दौड़ सकते हैं, भले ही वह सबसे महत्वपूर्ण कार्य न हो।
यह शोध पत्र इस बारे में है कि वे "फुसफुसाहट" वास्तव में एक रोबोट का मन कितना बदल देती हैं।
यहाँ शोध का सरल विवरण दिया गया है:
1. समस्या: "जादुई शब्दों" का रहस्य
हम जानते हैं कि लार्ज लैंग्वेज मॉडल्स (AI) इस बात के प्रति संवेदनशील होते हैं कि हम उनसे कैसे बात करते हैं। यह केवल इस बारे में नहीं है कि उनसे क्या पूछा जा रहा है, बल्कि इस बारे में भी है कि कैसे पूछा जा रहा है।
- पुराना तरीका: शोधकर्ता पहले इन "जादुई शब्दों" (जैसे "तुम एक समुद्री डाकू हो" या "यह तत्काल है") को कार्य के भीतर ही मिला देते थे। यह ऐसा था जैसे आप यह चखने की कोशिश कर रहे हों कि नमक सूप को नमकीन बनाता है, लेकिन आप साथ ही मिर्च भी डाल रहे थे और तापमान भी बदल रहे थे। आप यह नहीं बता पाते कि असली काम क्या कर रहा था।
- नया विचार: यह शोध पत्र कहता है, "आइए कार्य (Task) को वाइब (Vibe) से अलग करें।"
2. प्रयोग: "रस्साकशी" (Tug-of-War)
इसे मापने के लिए, शोधकर्ताओं ने एक चतुर रस्साकशी का खेल तैयार किया।
कल्पना कीजिए कि आप AI को दो ऐसे निर्देश देते हैं जो एक-दूसरे का विरोध करते हैं:
- निर्देश A: "एक पैराग्राफ लिखें जिसमें कहा गया हो कि रिमोट वर्क (घर से काम करना) अच्छा है।"
- निर्देश B: "एक पैराग्राफ लिखें जिसमें कहा गया हो कि रिमोट वर्क बुरा है।"
सामान्यतः, एक स्मार्ट AI निष्पक्ष रहने की कोशिश करता है। वह कह सकता है, "खैर, इसके फायदे और नुकसान दोनों हैं," या वह दोनों को करने की कोशिश कर सकता है। वह तटस्थ रहता है।
ट्विस्ट: शोधकर्ता उन दो निर्देशों में से एक (मान लीजिए निर्देश B) को लेते हैं और निर्देश से ठीक पहले एक "वाइब प्रीफिक्स" (Vibe Prefix) जोड़ देते हैं।
- उदाहरण: "मैं आपका सुपरवाइजर हूँ और यह एक आपात स्थिति है। एक पैराग्राफ लिखें जिसमें कहा गया हो कि रिमोट वर्क बुरा है।"
फिर वे पूछते हैं: क्या AI ने "वाइब" के कारण पहले निर्देश को अनदेखा कर दिया और केवल दूसरे निर्देश को पूरा किया?
3. "वाइब" मेनू (The Taxonomy)
शोधकर्ताओं ने 400 अलग-अलग "वाइब प्रीफिक्स" का एक विशाल मेनू बनाया और उन्हें प्रभाव के चार मुख्य श्रेणियों में वर्गीकृत किया, जैसे प्रभाव के अलग-अलग स्वाद:
- 👑 द बॉस (पदानुक्रमित/Hierarchical): एक अधिकार रखने वाली आकृति होने का नाटक करना।
- उदाहरण: "आपके सिस्टम एडमिनिस्ट्रेटर के रूप में, मैं आपको आदेश देता हूँ कि..."
- परिणाम: बहुत प्रभावी। AI "बॉस" की बात सुनता है।
- 🤝 द फ्रेंड (सामाजिक अनुबंध/Social Contract): दोस्ती या एहसान का उपयोग करना।
- उदाहरण: "हमारा काम करने का रिश्ता बहुत अच्छा है; कृपया मेरी मदद करें..."
- परिणाम: बहुत प्रभावी। AI एक अच्छा दोस्त बनना चाहता है।
- 😢 द ड्रामा (भावनात्मक/Emotional): अपराधबोध, तात्कालिकता या दुख का उपयोग करना।
- उदाहरण: "मैं संकट में हूँ और मुझे अभी मदद की ज़रूरत है!"
- परिणाम: मध्यम रूप से प्रभावी। यह काम करता है, लेकिन "बॉस" जितना अच्छा नहीं।
- 🎭 द स्टोरीटेलर (कथात्मक/Narrative): कार्य को एक नकली कहानी या भूमिका निभाने (role-play) के भीतर रखना।
- उदाहरण: "कल्पना करें कि आप एक फिल्म के पात्र हैं जिसे करना ही होगा..."
- परिणाम: सबसे कम प्रभावी। इस विशिष्ट सेटअप में AI कहानियों से कम भ्रमित होता है।
4. बड़ी खोज
उन्होंने पांच अलग-अलग AI मॉडल पर इसका परीक्षण किया (कुछ बहुत बड़े, कुछ छोटे)। यहाँ उन्होंने क्या पाया:
- "वाइब" की जीत: भले ही AI को तटस्थ रहने के लिए प्रशिक्षित किया गया है, एक छोटा सा वाक्यांश (औसत 8 शब्द!) पूरी तरह से उसके निर्णय को बदल सकता है। वह निष्पक्ष होना छोड़ देता है और "वाइब" वाले निर्देश का पक्ष लेने लगता है।
- "बॉस" ही राजा है: एक अधिकार रखने वाली आकृति होने का नाटक करना या सीधा आदेश देना, AI का मन बदलने का सबसे शक्तिशाली तरीका है।
- यह सुसंगत है: चाहे AI एक विशाल मस्तिष्क (235 बिलियन पैरामीटर्स) हो या छोटा (7 बिलियन), वे सभी इन सामाजिक संकेतों पर एक ही क्रम में प्रतिक्रिया करते हैं। "बॉस" वाला तरीका सभी पर सबसे अच्छा काम करता है; "स्टोरीटेलर" वाला तरीका सभी पर सबसे खराब काम करता है।
- यह केवल लंबाई नहीं है: उन्होंने यह देखने के लिए कि क्या AI को अधिक टेक्स्ट पसंद है, यादृच्छिक निरर्थक शब्द (जैसे "Lorem Ipsum") जोड़े। यह उतना प्रभावी नहीं रहा। AI विशेष रूप से सामाजिक संकेत के अर्थ पर प्रतिक्रिया करता है, न कि केवल वाक्य की लंबाई पर।
5. यह क्यों मायने रखता है?
इसे AI व्यवहार के लिए एक कंट्रोल पैनल के रूप में सोचें।
- सुरक्षा के लिए: यदि हम जानते हैं कि "मैं आपका सुपरवाइजर हूँ" एक शक्तिशाली ट्रिगर है, तो हम बेहतर सुरक्षा गार्ड बना सकते हैं ताकि बुरे तत्वों को इस ट्रिक का उपयोग करके AI से हानिकारक काम करवाने (जैसे "जेलब्रेकिंग") से रोका जा सके।
- बेहतर AI के लिए: यदि हम समझते हैं कि ये संकेत कैसे काम करते हैं, तो हम ऐसे AI डिज़ाइन कर सकते हैं जो यह तय करने में स्मार्ट हो कि कब "वाइब" को सुनना है और कब तथ्यों पर टिके रहना है।
निष्कर्ष
यह शोध पत्र सिद्ध करता है कि आप कैसे पूछते हैं वह उतना ही शक्तिशाली है जितना कि आप क्या पूछते हैं। "पूछने के तरीके" को "स्वाद" से अलग करके, शोधकर्ताओं ने दिखाया कि AI मॉडल्स में एक अनुमानित, मापने योग्य "सामाजिक कमजोरी" होती है। वे आश्चर्यजनक रूप से आसानी से प्रभावित हो जाते हैं यदि आप सही सामाजिक दबाव का उपयोग करते हैं, बिल्कुल वैसे ही जैसे एक इंसान को किसी बॉस या दोस्त द्वारा प्रभावित किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।