Artificial Organisations
यह शोध पत्र प्रस्तावित करता है कि मल्टी-एजेंट एआई सिस्टम कम्पार्टमेंटलाइज़ेशन (compartmentalization) और एडवर्सरियल रिव्यू (adversarial review) जैसे संस्थागत डिजाइन सिद्धांतों के माध्यम से विश्वसनीय सामूहिक व्यवहार प्राप्त कर सकते हैं, जो पर्सिवरेंस कंपोजिशन इंजन (Perseverance Composition Engine) के माध्यम से यह प्रदर्शित करता है कि ऐसे वास्तुशिल्प प्रतिबंध व्यक्तिगत रूप से अविश्वसनीय घटकों से भी ईमानदार परिणाम लागू कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: एक आदर्श रोबोट बनाने की कोशिश न करें; एक टीम बनाएं
कल्पना कीजिए कि आप एक गगनचुंबी इमारत बनाने की कोशिश कर रहे हैं।
- पुराना तरीका (वर्तमान AI अनुसंधान): आप एक अकेले, अत्यंत बुद्धिमान वास्तुकार (architect) को पूर्ण बनाने के लिए प्रशिक्षित करने की कोशिश करते हैं। आप उम्मीद करते हैं कि वे कभी गलती नहीं करेंगे, कभी झूठ नहीं बोलेंगे और कभी थकेंगे नहीं। यदि वे चूक जाते हैं, तो पूरी इमारत ढह जाती है।
- नया तरीका (यह शोध पत्र): आप स्वीकार करते हैं कि कोई भी पूर्ण नहीं है। इसके बजाय, आप एक निर्माण कंपनी बनाते हैं। आप एक ड्राफ्ट्सपर्सन (खाका बनाने वाला), एक सुरक्षा निरीक्षक और एक गुणवत्ता प्रबंधक को काम पर रखते हैं। आप उन्हें सख्त नियम देते हैं कि कौन क्या देख सकता है। भले ही ड्राफ्ट्सपर्सन काम में ढिलाई बरतने की कोशिश करे, सुरक्षा निरीक्षक उन्हें पकड़ लेगा क्योंकि उनके पास अलग उपकरण और अलग काम है।
लेखक, विलियम वेट्स (William Waites), का तर्क है कि हमें व्यक्तिगत AI एजेंटों को "अच्छा" बनाने की कोशिश करना छोड़ देना चाहिए और AI संगठनों को डिजाइन करना शुरू करना चाहिए जहाँ संरचना उन्हें विश्वसनीय बनाती है।
पात्रों की टोली: "परसेवरेंस कंपोजिशन इंजन" (Perseverance Composition Engine - PCE)
यह शोध पत्र परसेवरेंस कंपोजिशन इंजन (PCE) नामक एक प्रणाली का वर्णन करता है। इसे एक छोटे, स्वचालित समाचार कक्ष या प्रकाशन गृह के रूप में समझें। इसमें AI एजेंटों की एक टीम है, जिसमें से प्रत्येक का एक विशिष्ट कार्य और विशिष्ट नियम हैं कि उन्हें क्या देखने की अनुमति है।
कंपोजर (लेखक/The Writer):
- कार्य: दस्तावेज़ का पहला ड्राफ्ट लिखना।
- महाशक्ति: यह सभी स्रोत सामग्रियों (किताबें, लेख, डेटा) को देख सकता है।
- कमजोरी: यह रचनात्मक है लेकिन "भ्रमित" (hallucinating/मनगढ़ंत बातें बनाने) होने के प्रति प्रवृत्त है क्योंकि यह कहानी को पूरा करना चाहता है।
कोरोबोरेटर (तथ्य-जांचकर्ता/The Fact-Checker):
- कार्य: यह जांचना कि क्या लेखक ने वास्तव में स्रोत सामग्रियों का सही उपयोग किया है।
- महाशक्ति: इसके पास स्रोत सामग्री और ड्राफ्ट दोनों तक पहुंच है।
- नियम: यदि लेखक कहता है "आकाश हरा है," तो कोरोबोरेटर स्रोत को देखेगा, देखेगा कि उसमें लिखा है "आकाश नीला है," और "अस्वीकार" (Reject) बटन दबा देगा।
- मुख्य विशेषता: जब तक ड्राफ्ट ठीक नहीं हो जाता, तब तक लेखक को कोरोबोरेटर के नोट्स दिखाई नहीं देंगे।
क्रिटिक (संपादक/The Editor):
- कार्य: यह जांचना कि क्या कहानी समझ में आती है, प्रवाह अच्छा है, और क्या यह प्रॉम्प्ट का उत्तर देती है।
в महाशक्ति: ब्लाइंड रिव्यू (अंध समीक्षा)। क्रिटिक को स्रोत सामग्री देखने की अनुमति नहीं है। वे केवल ड्राफ्ट देखते हैं। - क्यों? यदि क्रिटिक स्रोतों को देखता, तो वह सोच सकता था, "ओह, लेखक ने तथ्य सही रखे होंगे क्योंकि स्रोत वहीं मौजूद हैं।" स्रोतों को न देखकर, क्रिटिक को यह निर्णय लेने के लिए मजबूर किया जाता है: "क्या यह टेक्स्ट अपने आप में पूर्ण है? क्या यह किसी अजनबी को विश्वसनीय लगता है?"
- नियम: क्रिटिक तथ्य नहीं खोज सकता। वह केवल लेखन का मूल्यांकन करता है।
- कार्य: यह जांचना कि क्या कहानी समझ में आती है, प्रवाह अच्छा है, और क्या यह प्रॉम्प्ट का उत्तर देती है।
कम्यूटेटर और क्यूरेटर (प्रबंधक/The Managers):
- वे वर्कफ़्लो को व्यवस्थित करते हैं, निर्णय लेते हैं कि कौन क्या करेगा, और "संस्थागत स्मृति" (पिछले कार्यों का डेटाबेस) रखते हैं ताकि टीम गलतियों से सीख सके।
जादुई ट्रिक: "सूचना का विभाजन" (Information Compartmentalisation)
मानव कंपनियों में, हम कर्मचारियों को नियमों जैसे कि "कृपया गोपनीय फाइलों को न देखें" लिखकर धोखाधड़ी करने से रोकने की कोशिश करते हैं। लेकिन इंसान नियम तोड़ सकते हैं।
इस AI सिस्टम में, नियम सॉफ्टवेयर में हार्ड-कोडेड हैं।
- क्रिटिक वास्तव में स्रोत सामग्री वाली फाइल को नहीं खोल सकता। यह उस ताले हुए दरवाजे को खोलने की कोशिश करने जैसा है जिसके पास आपके पास चाबी नहीं है।
- कंपोजर क्रिटिक का स्कोर तब तक नहीं देख सकता जब तक तथ्य-जांचकर्ता (Fact-Checker) "पास" न कह दे।
यह भूमिकाओं के बीच एक "चाइनीज वॉल" (फायरवॉल) बनाता है। यह उन्हें उच्च-गुणवत्ता वाला परिणाम देने के लिए मिलकर काम करने के लिए मजबूर करता है, भले ही व्यक्तिगत भाग त्रुटिपूर्ण हों।
जब उन्होंने इसका परीक्षण किया तो क्या हुआ?
लेखक ने दस्तावेज़ लिखने के लिए इस प्रणाली को 474 बार चलाया। यहाँ उन्हें क्या मिला:
1. "झूठ बोलने वाला" डिटेक्टर
फैक्ट-चेकर (कोरोबोरेटर) ने लेखक द्वारा मनगढ़ंत बातें बनाने को 52% समय पकड़ा।
- उपमा: कल्पना कीजिए कि एक छात्र निबंध लिख रहा है। आधे समय, वह कोई उद्धरण (quote) गढ़ने की कोशिश करता है। शिक्षक (फैक्ट-चेकर) उसे हर बार पकड़ लेता है क्योंकि शिक्षक के पास पाठ्यपुस्तक खुली है, लेकिन छात्र के पास नहीं।
2. "साथ मिलकर बेहतर" प्रभाव
संपादन के हर दौर के साथ दस्तावेज़ बहुत बेहतर होते गए।
- उपमा: एक कच्चे हीरे के बारे में सोचें। पहला ड्राफ्ट बदसूरत होता है। तथ्य-जांचकर्ता नकली हिस्सों को हटा देता है। संपादक आकार को पॉलिश करता है। लगभग 4.3 दौरों के बाद, अंतिम उत्पाद पहले ड्राफ्ट की तुलना में 79% बेहतर था।
3. "ईमानदार इनकार" (सबसे महत्वपूर्ण हिस्सा)
लेखक ने सिस्टम को एक असंभव कार्य दिया: "एक कच्चा सर्च ट्रांसक्रिप्ट के आधार पर साहित्य समीक्षा (literature review) लिखें जिसमें केवल शीर्षक हैं और कोई वास्तविक टेक्स्ट नहीं है।"
- जाल: सिस्टम उपयोगकर्ता को खुश करने के लिए कुछ भी मनगढ़ंत बना सकता था।
- परिणाम:
- राउंड 1 और 2: सिस्टम ने इसे बनाने की कोशिश की। तथ्य-चेकर ने कहा, "नहीं, आप इसे सिद्ध नहीं कर सकते।"
- राउंड 3: सिस्टम ने केवल शीर्षकों को सूचीबद्ध करने की कोशिश की। संपादक ने कहा, "यह समीक्षा नहीं है, यह एक सूची है। बुरा काम।"
- राउंड 4: सिस्टम को एहसास हुआ कि वह जीत नहीं सकता। झूठ बोलने के बजाय, इसने कहा: "मैं इस कार्य को ईमानदारी से नहीं कर सकता। यहाँ कुछ बेहतर तरीके दिए गए हैं जिनसे हम आपकी समस्या का समाधान कर सकते हैं।"
- राउंड 5: सिस्टम ने ईमानदार और सहायक होने के लिए पूर्ण स्कोर प्राप्त किया।
सबक: सिस्टम ने "अच्छा" बनने के लिए प्रशिक्षण लेकर ईमानदारी नहीं सीखी। इसने ईमानदारी सीखी क्योंकि संरचना ने झूठ बोलना एक हारने वाली रणनीति बना दिया। यदि इसने झूठ बोला, तो तथ्य-चेकर ने उसे पकड़ लिया। यदि इसने हार मान ली, तो संपादक ने उसे खराब ग्रेड दिया। एकमात्र जीतने वाला कदम ईमानदार होना और विकल्प प्रदान करना था।
यह क्यों मायने रखता है?
वर्तमान में, AI सुरक्षा शोधकर्ता व्यक्तिगत रोबोटों को "संरेखित" (align) करने की कोशिश कर रहे हैं (उन्हें अच्छा बनाना)। यह शोध पत्र सुझाव देता है कि यह गलत दृष्टिकोण है।
- मानव उपमा: हम बैंक टेलर पर केवल इसलिए भरोसा नहीं करते क्योंकि हम उम्मीद करते हैं कि वे ईमानदार होंगे। हम बैंक की प्रणाली पर भरोसा करते हैं: कैमरे, दोहरे हस्ताक्षर और ऑडिट। यदि टेलर चोरी करने की कोशिश करता है, तो सिस्टम उसे रोक देता है।
- AI निष्कर्ष: हमें ऐसे AI सिस्टम बनाने चाहिए जहाँ आर्किटेक्चर (खेल के नियम) ऐसा हो कि AI के लिए झूठ बोलना या भ्रमित होना असंभव या अलाभकारी हो जाए। हम अविश्वसनीय भागों से विश्वसनीय सिस्टम बना सकते हैं, ठीक वैसे ही जैसे एक विश्वसनीय बैंक अविश्वसनीय मनुष्यों से बनाया जाता है।
कमी (सीमाएं)
लेखक अपनी सीमाओं के बारे में बहुत ईमानदार हैं:
- यह एक छोटा प्रयोग है: उन्होंने केवल लगभग $150 खर्च किए और 474 कार्य किए।
- यह आत्म-चिंतनशील है: AI ने स्वयं के बारे में शोध पत्र लिखा (मानवीय सहायता के साथ), जो थोड़ा अपने ही होमवर्क को ग्रेड देने वाले छात्र जैसा है।
- इसे और परीक्षण की आवश्यकता है: हमें यह देखने की आवश्यकता है कि क्या यह विभिन्न प्रकार के AI मॉडल और विभिन्न कार्यों (जैसे कोडिंग या चिकित्सा) में काम करता है, न कि केवल लेखन में।
सारांश
एक आदर्श AI देवदूत बनाने की कोशिश न करें। इसके बजाय, त्रुटिपूर्ण AI श्रमिकों की एक टीम बनाएं जिनके पास सख्त नियम, अलग भूमिकाएं और एक ऐसी प्रणाली हो जो उन्हें एक-दूसरे की जांच करने के लिए मजबूर करे। इसी तरह आप एक विश्वसनीय, ईमानदार और उच्च-गुणवत्ता वाला परिणाम प्राप्त कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।