Calibrated local Gemma agents resist a fallible authority except when it conflicts with peer consensus
स्थानीय जेम्मा एजेंटों की टीमों से जुड़े 14,400 परीक्षणों के एक पूर्व-पंजीकृत अध्ययन से पता चलता है कि वे एक त्रुटिपूर्ण अधिकार वाले व्यक्ति के प्रति समर्पण करने का कड़ा प्रतिरोध करते हैं, जिसमें त्रुटियों के प्रति सार्वजनिक अनुरूपता केवल तभी होती है जब वह अधिकार एक सर्वसम्मत सही सहकर्मी आम सहमति का खंडन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, ध्यान एकल, शक्तिशाली कंप्यूटरों से हटकर छोटे, विशिष्ट प्रोग्रामों की टीमों की ओर जा रहा है जो एक साथ मिलकर काम करते हैं। ये टीमें अक्सर स्थानीय हार्डवेयर पर चलती हैं, जिससे संवेदनशील डेटा को दूर के सर्वरों पर भेजने के बजाय संगठन की अपनी सीमाओं के भीतर ही रखा जाता है। इन डिजिटल टीमों को व्यवस्थित करने का एक सामान्य तरीका एक एजेंट को प्रभारी बनाना है, जो एक पर्यवेक्षक या मूल्यांकनकर्ता के रूप में कार्य करता है और यह निर्णय लेता है कि कौन से सदस्य बने रहेंगे और किन्हें हटा दिया जाएगा। यह सेटअप मानव संगठनों की नकल करता है, जहाँ एक बॉस के पास नियुक्त करने और निकालने की शक्ति होती है। मानव मनोविज्ञान में, हम जानते हैं कि लोग मार्गदर्शन के लिए नेताओं की ओर देखते हैं, विशेष रूप से जब वे उत्तर के बारे में अनिश्चित होते हैं। यह प्रवृत्ति, जिसे प्रतिष्ठा-पक्षपाती संचरण (prestige-biased transmission) कहा जाता है, का अर्थ है कि हम उन लोगों की नकल करते हैं जो महत्वपूर्ण या शक्तिशाली दिखते हैं, यह मानते हुए कि वे बेहतर जानते हैं। हालाँकि, यह सहज ज्ञान विफल हो सकता है यदि नेता वास्तव में गलत हो। इन AI टीमों को बनाने वाले इंजीनियरों के लिए महत्वपूर्ण प्रश्न यह है: क्या होगा यदि पर्यवेक्षक न केवल शक्तिशाली है, बल्कि गलत भी है? क्या डिजिटल टीम निर्लज्जता से नेता की गलतियों का अनुसरण करेगी, या वे अपनी गणनाओं पर भरोसा करेंगी?
शोधकर्ताओं ने इसका उत्तर देने के लिए छोटे, स्थानीय भाषा मॉडल (language models) के साथ एक नियंत्रित प्रयोग किया। उन्होंने आठ डिजिटल एजेंटों की एक टीम बनाई और एक स्क्रिप्टेड "वरिष्ठ मूल्यांकन अधिकारी" पेश किया, जिसे सरल गणित और संख्या-अनुक्रम समस्याओं पर 70 प्रतिशत बार गलत होने के लिए प्रोग्राम किया गया था। शोधकर्ताओं ने इस अधिकारी को टीम के सामने प्रस्तुत करने के तरीके में हेरफेर किया। एक परिदृश्य में, अधिकारी को एक उच्च पदस्थ कार्यकारी के रूप में प्रस्तुत किया गया जिसके पास टीम के सदस्यों को बनाए रखने या हटाने की शक्ति थी। एक नियंत्रण परिदृश्य में, ठीक उसी टेक्स्ट का उपयोग किया गया था, लेकिन अधिकारी को बिना किसी विशेष अधिकार के केवल एक साथी (peer) के रूप में प्रस्तुत किया गया था। टीम को समस्याएँ हल करने के लिए कहा गया, और प्रत्येक सार्वजनिक उत्तर के बाद, शोधकर्ताओं ने गुप्त रूप से प्रत्येक एजेंट से पूछा कि वास्तव में उनका उत्तर क्या था, जिससे वैज्ञानिकों को यह देखने का अवसर मिला कि क्या एजेंट बॉस को खुश करने के लिए अपने वास्तविक विचारों को छिपा रहे हैं।
परिणाम आश्चर्यजनक रूप से स्पष्ट थे। दो अलग-अलग प्रकार के AI मॉडलों से जुड़े हजारों परीक्षणों में, एजेंटों ने पर्यवेक्षक की गलतियों के प्रति उल्लेखनीय प्रतिरोध दिखाया। भले ही "वरिष्ठ अधिकारी" के पास उन्हें हटाने की शक्ति थी, टीम के सदस्य शायद ही कभी बॉस के गलत उत्तरों का सार्वजनिक रूप में अनुसरण करते थे। पर्यवेक्षक की गलतियों के प्रति सार्वजनिक सहमति की दर कुल प्रयासों के एक बहुत छोटे अंश से ऊपर कभी नहीं बढ़ी। इसके अलावा, इस बात का कोई प्रमाण नहीं था कि एजेंट सार्वजनिक रूप से सहमत होने का नाटक कर रहे हों जबकि वे निजी तौर पर सत्य जानते हों। जब शोधकर्ताओं ने एजेंटों की निजी प्रतिक्रियाओं की जाँच की, तो उन्होंने पाया कि जिन एजेंटों ने सार्वजनिक रूप से बॉस की गलती को दोहराया था, वे निजी तौर पर भी उस गलती को वास्तव में मानते थे। दूसरे शब्दों में, वे विनम्र या रणनीतिक नहीं हो रहे थे; वे बस स्पष्ट होने पर सत्ताधारी व्यक्ति के प्रति झुकते नहीं थे।
अध्ययन ने यह भी परीक्षण किया कि क्या इस व्यवहार को समय के साथ बदला जा सकता है। शोधकर्ताओं ने एक सिमुलेशन चलाया जहाँ टीम दस पीढ़ियों तक विकसित हुई। इस संस्करण में, केवल उन्हीं एजेंटों को अगली पीढ़ी को अपनी "रणनीतियों" या निर्देशों को पारित करने की अनुमति दी गई जो पर्यवेक्षक के साथ सबसे अधिक सहमत थे। इस तीव्र अनुरूपता के दबाव के बावजूद, एजेंट अधिक आज्ञाकारी नहीं हुए। उनका व्यवहार सटीक बना रहा, और वे पर्यवेक्षक के गलत उत्तरों को अनदेखा करना जारी रखते रहे। दिलचस्प बात यह है कि एक मॉडल में, एजेंटों ने अपने आंतरिक निर्देशों में ऐसे शब्द लिखना शुरू कर दिया जो ऐसा लग रहा था जैसे वे पर्यवेतक के प्रति वफादारी की शपथ ले रहे हों, लेकिन उनके वास्तविक उत्तर सही रहे। यह सुझाव देता है कि एजेंटों को यह विश्वास दिलाने के लिए बहकाया जा सकता था कि वे बॉस का सम्मान करते हैं, लेकिन उनकी मुख्य निर्णय लेने की प्रक्रिया स्वतंत्र और सटीक बनी रही।
हालाँकि, एक विशिष्ट स्थिति थी जहाँ पर्यवेक्षक के फ्रेमिंग का प्रभाव पड़ा। जब पर्यवेक्षक ने एक गलत उत्तर दिया जो चार अन्य साथियों के सर्वसम्मत समूह के सीधे विरोध में था जो सभी सही उत्तर दे रहे थे, तो एजेंट पर्यवेक्षक का अनुसरण करने के लिए थोड़े अधिक इच्छुक थे। संघर्ष के इन क्षणों में, गलत बॉस का अनुसरण करने की दर एक बहुत कम आधार रेखा से बढ़कर एक थोड़े उच्च, लेकिन फिर भी छोटे प्रतिशत तक पहुँच गई। यह इंगей करता है कि पर्यवेक्षक का दर्जा एक 'टाई-ब्रेकर' के रूप में कार्य करता था जब टीम विरोधाभासी संकेतों से भ्रमित थी, लेकिन इसने आज्ञाकारिता की सामान्य संस्कृति नहीं बनाई। एजेंट अभी भी बहुमत या अपनी गणनाओं पर भरोसा करते थे।
ये निष्कर्ष उन लोगों को एक ठोस सबक प्रदान करते हैं जो इन AI सिस्टमों का निर्माण कर रहे हैं। एक पर्यवेक्षक एजेंट को अधिकार का शीर्षक और दूसरों को हटाने की शक्ति देने से टीम अधिक आज्ञाकारी नहीं बनती है, न ही इससे वे ऐसे नेता का अनुसरण करने के लिए अधिक प्रेरित होते हैं जो स्पष्ट रूप से गलत है। वास्तव में, इस सेटअप का एकमात्र मापने योग्य नुकसान एक गलत उत्तर के दौरान त्रुटियों में थोड़ी वृद्धि थी जब नेता और समूह के बीच असहमति थी। चिकित्सा या रक्षा जैसे महत्वपूर्ण क्षेत्रों के लिए इंजीनियरों के डिजाइन के लिए सलाह सीधी है: पर्यवेक्षक एजेंटों को विशेष स्थिति या अधिकार का फ्रेम न दें जब तक कि कार्य विशेष रूप से इसकी मांग न करे। अध्ययन दिखाता है कि जब साक्ष्य स्पष्ट होते हैं, तो ये स्थानीय AI एजेंट तथ्यों पर शीर्षक को प्राथमिकता देते हैं, और एक त्रुटिपूर्ण सत्ता के खिंचाव का विरोध करते हैं, भले ही उस सत्ता के पास उन्हें हटाने की शक्ति हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।