Epistemic Sybil Resistance: Multiplying AI Agents Without Multiplying Evidence
यह शोध पत्र मल्टी-एजेंट एआई प्रणालियों में "एपिस्टेमिक सिबिल" (epistemic Sybil) समस्या की पहचान करता है, यह प्रदर्शित करते हुए कि केवल एजेंटों की संख्या बढ़ाने से अनुमान संबंधी विश्वसनीयता में सुधार नहीं होता क्योंकि स्वतंत्र एजेंट अक्सर सहसंबद्ध त्रुटियों और सामान्य साक्ष्यत्मक जड़ों को साझा करते हैं, जिसके लिए ऐसे एकत्रीकरण तरीकों की आवश्यकता होती है जो केवल रिपोर्ट की बहुलता या समानता के बजाय साक्ष्यत्मक वंशावली (evidential ancestry) को ट्रैक करने को प्राथमिकता देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, बड़ी संख्या में सिस्टम इस तरह डिज़ाइन किए जा रहे हैं कि वे टीमों में काम कर सकें। एक समस्या को हल करने के लिए केवल एक कंप्यूटर प्रोग्राम पर निर्भर रहने के बजाय, ये सिस्टम कई डिजिटल एजेंट उत्पन्न करते हैं, जिनमें से प्रत्येक को दस्तावेज़ पढ़ने, डेटा का विश्लेषण करने या एक राय बनाने का कार्य सौंपा जाता है। इस दृष्टिकोण के पीछे का तर्क सहज है: यदि एक विशेषज्ञ अच्छा है, तो एक दर्जन बेहतर होने चाहिए। कई अलग-अलग रिपोर्टों को एकत्र करके और उन्हें संयोजित करके, सिस्टम इस उम्मीद में रहता है कि वह एक ऐसे निष्कर्ष तक पहुँचेगा जो किसी भी एकल एजेंट की तुलना में अधिक सटीक और अधिक आत्मविश्वासी होगा। यह विधि मानव तर्क के एक मौलिक अनुमान पर निर्भर करती है: कि जब कई लोग सहमत होते हैं, तो वे संभवतः सूचना के विभिन्न स्रोतों से जानकारी प्राप्त कर रहे होते हैं। यदि तीन विश्लेषक स्वतंत्र रूप से भविष्यवाणी करते हैं कि एक कंपनी विफल हो जाएगी, तो यह आमतौर पर इसलिए होता है क्योंकि उनमें से प्रत्येक ने अलग-अलग, ठोस साक्ष्य खोजे हैं। हालाँकि, एक नया अध्ययन इस बात को चुनौती देता है कि क्या यह तर्क तब भी सही रहता है जब "विश्लेषक" आर्टिफिशियल इंटेलिजेंस हों। यह शोध एक विशिष्ट भेद्यता (vulnerability) की जांच करता है जहाँ एक सिस्टम को यह विश्वास दिलाने के लिए छला जा सकता है कि उसने बहुत अधिक स्वतंत्र साक्ष्य एकत्र किए हैं, जबकि वास्तव में, उसने केवल एक ही कहानी को अलग-अलग आवाजों में दोहराया हुआ सुना है।
इस समस्या का मूल कारण रिपोर्टों की संख्या और उन रिपोर्टों का आधार बनने वाले मूल तथ्यों की संख्या के बीच का अंतर है। कल्पना कीजिए कि एक कमरा लोगों से भरा है जो एक हाथी के वजन का अनुमान लगाने की कोशिश कर रहे हैं। यदि वे सभी एक ही हाथी को देखते हैं, तो उनके अनुमान वास्तविकता के स्वतंत्र अवलोकन हैं। लेकिन यदि वे सभी उस हाथी की एक ही तस्वीर देखते हैं, और फिर जो वे देखते हैं उसका वर्णन करते हैं, तो वे जानवर को नहीं देख रहे हैं; वे एक प्रति की प्रति को देख रहे हैं। डिजिटल क्षेत्र में, एक AI ऑर्केस्ट्रेटर आसानी से एक साक्ष्य ले सकता है, उसे एक एजेंट को दे सकता है, उस एजेंट के आउटपुट को ले सकता है, उसे दूसरे को दे सकता है, और इसी तरह आगे बढ़ सकता है। प्रत्येक चरण एक नई रिपोर्ट, एक नई आवाज़ और एक नया तर्क बनाता है। एक सिस्टम के लिए जो केवल आवाजों को गिनता है, यह समर्थन के एक विशाल संचय जैसा दिखता है। लेकिन एक ऐसे सिस्टम के लिए जो सूचना के प्रवाह को समझता है, यह केवल एक गलियारे में गूँजते हुए एक ही साक्ष्य का हिस्सा है। शोधकर्ता इस घटना को "एपिस्टेमिक सिबिल" (epistemic Sybil) समस्या कहते हैं। जिस प्रकार कंप्यूटर सुरक्षा में एक "सिबिल अटैक" में एक व्यक्ति वोट में हेरफेर करने के लिए कई लोगों का ढोंग करता है, एक एपिस्टेमिक सिबिल में एक साक्ष्य कई स्वतंत्र तथ्यों का ढोंग करता है।
यह भ्रम कितना खतरनाक हो सकता है, इसका परीक्षण करने के लिए, शोधकर्ताओं ने एक लार्ज लैंग्वेज मॉडल (एक प्रकार का AI जो मानव जैसी टेक्स्ट जनरेट करता है) का उपयोग करके एक नियंत्रित प्रयोग बनाया। उन्होंने एक कंपनी के वित्तीय रिकॉर्ड से संबंधित एक काल्पनिक परिदृश्य बनाया। कंपनी के राजस्व की वास्तविक स्थिति छिपी हुई थी, लेकिन AI एजेंटों को एक दस्तावेज़ दिया गया था जिसमें कच्चे आंकड़े थे। शोधकर्ताओं ने फिर AI को इस दस्तावेज़ से विशिष्ट आंकड़े निकालने और कुल राजस्व की गणना करने के लिए कहा। उन्होंने इस कार्य को हजारों बार चलाया, दो प्रमुख चरों (variables) में हेरफेर करते हुए: सिस्टम को प्राप्त रिपोर्टों की संख्या और उन रिपोर्टों के आधार पर मूल दस्तावेजों की संख्या। एक परीक्षण सेट में, उन्होंने मूल दस्तावेज़ को स्थिर रखा लेकिन AI को उससे अधिक से अधिक रिपोर्ट उत्पन्न करने के लिए कहा। उन्होंने एक रिपोर्ट बनाई, फिर दो, फिर चार, और अंततः उस एकल स्रोत से प्राप्त बत्तीस अलग-अलग रिपोर्टें बनाईं। फिर उन्होंने एक "मानक" सिस्टम की तुलना एक "प्रोवेनेंस-अवेयर" (स्रोत-जागरूक) सिस्टम से की, जो जानता था कि सभी रिपोर्टें एक ही मूल से आई हैं।
परिणाम चौंकाने वाले थे। जब मानक सिस्टम को एक ही दस्तावेज़ से उत्पन्न बत्तीस रिपोर्ट मिलीं, तो वह अत्यधिक आत्मविश्वासी हो गया। उसे लगा कि उसके पास बत्तीस स्वतंत्र साक्ष्य हैं, इसलिए उसने अपने संभावित उत्तरों की सीमा को एक बहुत ही संकीर्ण, सटीक अंतराल तक सीमित कर दिया। वास्तव में, क्योंकि सभी बत्तीस रिपोर्टें उसी एक एकल स्रोत का रूपांतरण थीं, वह उतना ही निश्चित था जितना कि यदि उसने दस्तावेज़ को केवल एक बार पढ़ा होता। शोधकर्ताओं ने इसे यह जाँचकर मापा कि सिस्टम का अनुमानित दायरा वास्तव में सही उत्तर को कितनी बार शामिल करता है। केवल एक रिपोर्ट के साथ, सिस्टम 94 प्रतिशत बार सही था। लेकिन जैसे-जैसे उस एकल स्रोत से रिपोर्टों की संख्या बढ़कर बत्तीस हुई, इसकी सटीकता तेजी से गिर गई। यह केवल 26 प्रतिशत बार ही सही था। सिस्टम स्मार्ट नहीं हुआ था; इसने केवल खुद को यह विश्वास दिला लिया था कि वह अधिक जानता है, क्योंकि इसने एक ही आवाज को बत्तीस बार गिना था।
शोधकर्ताओं ने यह देखने के लिए प्रयोग को उलट दिया कि यदि वे वास्तव में नए साक्ष्य जोड़ते तो क्या होता। उन्होंने मूल दस्तावेजों की संख्या बढ़ाने के लिए रिपोर्टों की संख्या को सोलह पर स्थिर रखा। जब सोलह रिपोर्टें सोलह अलग-अलग, स्वतंत्र स्रोतों से आईं, तो मानक सिस्टम का आत्मविश्वास उसकी सटीकता से मेल खा गया। दोनों सिस्टमों के बीच का अंतर समाप्त हो गया। इससे सिद्ध हुआ कि समस्या रिपोर्टों की संख्या नहीं थी, बल्कि उनके बीच का छिपा हुआ संबंध था। सिस्टम केवल तभी विफल हुआ जब उसने पुनरावृत्ति को स्वतंत्रता समझने की गलती की। अध्ययन ने एक दूसरी परत की जटिलता भी उजागर की। भले ही एजेंट एक ही दस्तावेज़ को पढ़ रहे थे, वे एक जैसे दोष (errors) उत्पन्न नहीं कर रहे थे। क्योंकि वे सभी एक ही अंतर्निहित AI मॉडल द्वारा संचालित थे, वे समान गलतियाँ करने की प्रवृत्ति रखते थे। यदि एक एजेंट ने एक संख्या को गलत पढ़ा, तो अन्य भी उसे उसी तरह गलत पढ़ने की संभावना थी। इस "सह-संबंधित त्रुटि" (correlated error) का अर्थ था कि एक परिष्कृत सिस्टम के बावजूद जो जानता था कि रिपोर्ट एक ही स्रोत से आई हैं, वह अभी भी अपनी सटीकता का अति-अनुमान लगा रहा था। साझा मॉडल एक साझा अंध बिंदु (blind spot) की तरह कार्य करता था, जिससे एक ही दस्तावेज़ को बार-बार पढ़ने से प्राप्त होने वाली सूचना की मात्रा सीमित हो जाती थी।
शायद अध्ययन का सबसे खुलासा करने वाला हिस्सा यह था कि सिस्टम इस समस्या का पता लगाने के लिए स्वयं कैसे प्रयास करते हैं। कई वर्तमान AI रक्षा प्रणालियाँ रिपोर्टों की टेक्स्ट समानता को देखकर डुप्लिकेट जानकारी का पता लगाने की कोशिश करती हैं। यदि दो रिपोर्टें एक जैसी दिखती हैं, तो सिस्टम मान लेता है कि वे एक ही स्रोत से हैं और एक को अनदेखा कर देता है। शोधकर्ताओं ने यह परीक्षण करने के लिए एक परिदृश्य बनाया जहाँ वे तथ्यों को बदले बिना रिपोर्ट लिखने के तरीके को बदल सकते थे। उन्होंने उन रिपोर्टों को लिया जो एक ही स्रोत से आई थीं लेकिन उन्हें पूरी तरह से अलग शब्दावली और वाक्य संरचनाओं का उपयोग करने के लिए मजबूर किया। उन्होंने अलग-अलग स्रोतों से ली गई रिपोर्टों को भी एक ही शब्दावली का उपयोग करने के लिए मजबूर किया। टेक्स्ट समानता पर निर्भर रहने वाला सिस्टम आसानी से धोखा खा गया। इसने एक ही स्रोत से आने वाली अलग-अलग दिखने वाली रिपोर्टों को स्वतंत्र मान लिया, और अलग-अलग स्रोतों से आने वाली समान दिखने वाली रिपोर्टों को डुप्लिकेट मान लिया। साक्ष्य पर सिस्टम का निर्णय लेखन की शैली से पूरी तरह संचालित था, न कि इस बात से कि सूचना कहाँ से आई थी। अध्ययन ने पाया कि लेखन शैली बदलने का सिस्टम द्वारा रिपोर्टों को समूहीकृत (cluster) करने पर भारी प्रभाव पड़ा, जबकि वास्तविक मूल स्रोतों की संख्या बदलने का सिस्टम की धारणा पर लगभग कोई प्रभाव नहीं पड़ा।
ये निष्कर्ष सुझाव देते हैं कि विश्वसनीय AI टीम वर्क का मार्ग केवल अधिक आवाजें जुटाने या डुप्लिकेट्स को पहचानने के लिए स्मार्ट फिल्टर बनाने के बारे में नहीं है। शोधकर्ता तर्क देते हैं कि समाधान के लिए एक ऐसे सिस्टम की आवश्यकता है जो अपनी सूचना की वंशावली (lineage) को समझ सके। इसे न केवल यह जानने की आवश्यकता है कि एक एजेंट ने क्या कहा, बल्कि यह भी कि उस एजेंट को उसकी जानकारी कहाँ से मिली। यदि एक सिस्टम रिपोर्ट की "वंशावली" को ट्रैक कर सकता है—उस मूल दस्तावेज़ या सेंसर तक वापस जा सकता है जिसने श्रृंखला शुरू की थी—तो वह साक्ष्य को सही ढंग से तौल सकता है। वह समझ सकता है कि एक स्रोत से बत्तीस रिपोर्ट मिलना, छत्तीस स्रोतों से एक-एक रिपोर्ट मिलने की तुलना में बहुत कम मूल्यवान है। एजेंटों के बीच छिपे हुए संबंधों को देखने की क्षमता के बिना, एक AI सिस्टम आत्म-धोखे के प्रति संवेदनशील है, जहाँ वह केवल कई अलग-अलग तरीकों से खुद से बात करके एक झूठी निश्चितता का निर्माण करता है। अध्ययन निष्कर्ष निकालता है कि सामूहिक बुद्धिमत्ता के काम करने के लिए, सिस्टम को रिपोर्ट करने वालों की संख्या के बजाय साक्ष्य के मूल को प्राथमिकता देनी चाहिए, यह सुनिश्चित करते हुए कि आत्मविश्वास वास्तविक, स्वतंत्र खोज की नींव पर बना हो, न कि एक ही विचार की गूँज पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।