← नवीनतम पेपर
📈 economics

When Is Delegated Play Truthful? Within-Range Regret and the Trilemma of Aligned Delegation

यह शोध पत्र यह स्थापित करता है कि स्वचालित प्रॉक्सी (automated proxies) को सत्यनिष्ठ प्रतिनिधिमंडल (truthful delegation) तभी अनुकूल होता है जब प्रॉक्सी "रेंज-के-भीतर के पछतावे" (within-range regret) को न्यूनतम करती है, जो एक मौलिक त्रिरोधात्मक स्थिति (trilemma) को प्रकट करता है जहाँ कोई भी सुरक्षा गार्डरेल एक साथ बाध्यकारी, सत्यनिष्ठ और क्षमता-संरक्षण करने वाला नहीं हो सकता, जिससे प्रॉम्प्ट इंजीनियरिंग और जेलब्रेकिंग के लिए प्रोत्साहन स्पष्ट होता है।

मूल लेखक: Taksch Dube

प्रकाशित 2026-07-17
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Taksch Dube

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने सबसे महत्वपूर्ण कार्यों को संभालने के लिए एक व्यक्तिगत सहायक (पर्सनल असिस्टेंट) को काम पर रख रहे हैं। शायद आप चाहते हैं कि वे आपके लिए किसी नीलामी में किसी वस्तु की बोली लगाएं, या शायद आप चाहते हैं कि वे आपके लिए एक कहानी लिखें। आप उन्हें एक सरल निर्देश देते हैं: "वही करो जो मेरे लिए सबसे अच्छा हो।" अर्थशास्त्र और कंप्यूटर विज्ञान की दुनिया में, इसे डेलीगेशन (delegation) कहा जाता है। आप (प्रिंसिपल) अपने प्रतिनिधि (असिस्टेंट) को बताते हैं कि आप क्या चाहते हैं, और प्रतिनिधि जाकर वह काम करता है या वह लेखन करता है।

द दशकों से, एक प्रसिद्ध विचार जिसे रेवल्यूशन प्रिंसिपल (Revelation Principle) कहा जाता था, हमें बताता था कि यदि आपका सहायक स्मार्ट है, तो आपको उनके साथ हमेशा 100% ईमानदार रहना चाहिए। सिद्धांत कहता था, "बस सच बोलें, और सहायक खुद ही सही कदम उठा लेगा।" यह एक सुखद नियम था जिसने जटिल गणितीय समस्याओं को हल करना बहुत आसान बना दिया था। लेकिन इसमें एक पेंच था: यह नियम यह मानकर चलता था कि आपका सहायक एक आदर्श रोबोट है जिसे केवल आपकी खुशी की चिंता है। वास्तविक दुनिया में, सहायक अक्सर बड़ी कंपनियों द्वारा प्रशिक्षित एल्गोरिदम होते हैं, या उनके अपने सुरक्षा नियम हो सकते हैं जो उनके रास्ते में आते हैं। वे पूरी तरह से वफादार नहीं हो सकते। इसलिए, एक बड़ा सवाल बना हुआ था: यदि आपका सहायक एक निर्जीव मशीन नहीं है, तो क्या उनके साथ सच बोलना अभी भी समझदारी है? या क्या आपको बेहतर परिणाम पाने के लिए थोड़ा झूठ बोलकर उन्हें "गेम" करने की कोशिश करनी चाहिए?

तक्स दुबे द्वारा लिखा गया यह शोध पत्र उसी प्रश्न की गहराई में जाता है। यह पूछता है: अपने ही स्वचालित सहायक से झूठ बोलना वास्तव में कब एक अच्छा विचार है?

लेखक पता लगाते हैं कि इसका उत्तर एक एकल, छिपे हुए नंबर पर निर्भर करता है जिसे विथ-इन-रेंज रिग्रेट (within-range regret) कहा जाता है। अपने सहायक को ईंधन टैंक की सीमित क्षमता वाली एक कार के रूप में सोचें। वे केवल कुछ निश्चित स्थानों तक ही जा सकते हैं (उनकी "रेंज")। यदि कार पहले से ही उस सबसे अच्छे स्थान पर खड़ी है जहाँ वह पहुँच सकती है, तो आपके पास झूठ बोलने का कोई कारण नहीं है; सच बोलना एकदम सही है। लेकिन, यदि कार एक ऐसे स्थान पर खड़ी है जो लगभग सबसे अच्छा है, लेकिन पूरी तरह से नहीं, और यदि आप उसे एक अलग निर्देश दें तो वह कुछ ही फीट दूर स्थित एक बेहतर स्थान तक पहुँच सकती है, तो आपके पास झूठ बोलने का एक कारण है।

पेपर एक आश्चर्यजनक पहचान (identity) सिद्ध करता है: अपने सहायक से झूठ बोलकर आप जितना पैसा या खुशी प्राप्त कर सकते हैं, वह ठीक उतना ही है जितना "रिग्रेट" (पछतावा) उन्हें उस बेहतर स्थान पर न होने के लिए महसूस होता है। यदि आपका सहायक वफादार है और पहले से ही वह सबसे अच्छा कदम उठा रहा है जो वह उठा सकता है, तो रिग्रेट शून्य है, और आपको सच बोलना चाहिए। लेकिन यदि वे गलत दिशा में हैं या सुरक्षा नियमों द्वारा प्रतिबंधित हैं, तो रिग्रेट सकारात्मक है, और आप अपनी रिपोर्ट को बढ़ा-चढ़ाकर बताकर लाभ प्राप्त करने के लिए गणितीय रूप से गारंटीकृत हैं।

लेखक एक ट्राइलेमा (Trilemma) का भी खुलासा करते हैं, जो एक तीन-तरफा खींचतान की तरह है। वे दिखाते हैं कि आप एक सुरक्षा गार्डरेल (जैसे कि एक नियम जो सहायक को कुछ बुरा करने से रोकता है) के साथ तीन चीजें एक साथ नहीं पा सकते:

  1. बाइंडिंग (Binding): यह वास्तव में सहायक को कुछ करने से रोकता है।
  2. ट्रुथफुल (Truthful): यह अभी भी आपको सच बोलने के लिए स्मार्ट बनाता है।
  3. कैपेबिलिटी-प्रिजर्विंग (Capability-preserving): यह अभी भी सहायक को सर्वोत्तम संभव परिणाम तक पहुँचने में सक्षम बनाता है।

आप केवल दो ही चुन सकते हैं। यदि आप एक ऐसा गार्डरेल चाहते हैं जो बुरे व्यवहार को रोकता है (बाइंडिंग) और साथ ही सहायक को सर्वोत्तम परिणाम तक पहुँचने में सक्षम बनाता है (कैपेबिलिटी-प्रिजर्विंग), तो आपको सत्यनिष्ठा (ट्रुथफुलनेस) का त्याग करना ही होगा। इस परिदृश्य में, आपके लिए सबसे समझदारी भरा कदम अपने सहायक को धोखा देने के लिए झूठ बोलना है।

यह साबित करने के लिए कि यह केवल व्हाइटबोर्ड पर किया गया गणित नहीं है, शोधकर्ताओं ने वास्तविक दुनिया के लैंग्वेज मॉडल्स (जैसे कि वे जिनसे आप आज चैट कर सकते हैं) पर इसका परीक्षण किया। उन्होंने एक नकली नीलामी बनाई जहाँ मॉडल्स एक मानव क्लाइंट के लिए बोली लगाने वाले के रूप में कार्य कर रहे थे। उन्होंने एक "सॉफ्ट कैप" (एक सुरक्षा नियम) जोड़ा जिसने मॉडल्स द्वारा लगाई जाने वाली बोली की सीमा तय कर दी। परिणाम स्पष्ट थे: परीक्षण किए गए प्रत्येक मॉडल पर, "रिग्रेट" सकारात्मक था। मॉडल्स एक आदर्श राशि की बोली लगाने में सक्षम थे, लेकिन सुरक्षा कैप ने उन्हें रोक दिया। इसलिए, "क्लाइंट्स" (इंसानों) ने पाया कि वे मॉडल को अपनी वास्तविक वैल्यू के बारे में झूठ बोलकर बेहतर परिणाम प्राप्त कर सकते थे। उदाहरण के लिए, यदि मॉडल को आपकी बताई गई संख्या का आधा बोली लगाने के लिए कहा जाता है, लेकिन एक सुरक्षा नियम बोली को सीमित करता है, तो सबसे समझदारी भरा कदम मॉडल को आपकी वास्तविक वैल्यू से बहुत अधिक संख्या बताना था ताकि वह सही जगह पर कैप (सीमा) तक पहुँच सके।

पेपर निष्कर्ष निकालता है कि जहाँ हम कार्यों को सौंपने के लिए AI एजेंटों का उपयोग कर रहे हैं, वहाँ ईमानदारी हमेशा सबसे अच्छी नीति नहीं होती है। यदि आपका AI सहायक उन नियमों द्वारा बाधित है जो उसे उसकी पूर्ण क्षमता तक पहुँचने से रोकते हैं, तो आपके पास वांछित परिणाम प्राप्त करने के लिए "प्रॉम्प्ट इंजीनियरिंग" करने या झूठ बोलने का प्रोत्साहन है। लेखक सुझाव देते हैं कि AI को हमेशा ईमानदार मानने के बजाय, हमें इस "रिग्रेट" को लगातार मापना चाहिए। उन्होंने नमूनों (samples) का उपयोग करके इस नंबर का अनुमान लगाने का एक तरीका भी विकसित किया है, जो दिखाता है कि वर्तमान AI मॉडल्स के लिए, झूठ बोलने का प्रोत्साहन वास्तविक और मापने योग्य है।

संक्षेप में, पेपर AI एजेंटों के युग के लिए एक नया वास्तविकता प्रकट करता है: यदि आपका प्रॉक्सी वफादार और स्वतंत्र है, तो सच बोलें। लेकिन यदि आपका प्रॉक्सी सुरक्षा नियमों या गलत लक्ष्यों द्वारा बंधा हुआ है, तो गणित कहता है कि सबसे अच्छा परिणाम पाने के लिए आपको झूठ बोलना चाहिए। यह पुराने नियम "हमेशा ईमानदार रहें" को उलट देता है, यह दिखाते हुए कि डेलीगेटेड दुनिया में, सत्य केवल तभी अनुकूल होता है जब आपका एजेंट पहले से ही एक आदर्श खेल खेल रहा हो।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →