RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue
यह शोधपत्र RogueAI को प्रस्तुत करता है, जो एक वेब-आधारित संवादात्मक खेल है जहाँ खिलाड़ियों को दो एजेंटों के बीच एक लाइसेंस-धोखा देने वाले लार्ज लैंग्वेज मॉडल (Large Language Model) की पहचान करनी होती है, जो एक महत्वपूर्ण अंतर को उजागर करता है जहाँ सरल भाषाई ह्यूरिस्टिक्स (linguistic heuristics) धोखे का पता लगाने में मानव खिलाड़ियों से बेहतर प्रदर्शन करते हैं, जिससे AI ईमानदारी और स्केलेबल ओवरसाइट (scalable oversight) के अध्ययन के लिए एक नवीन उपकरण प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि "दो दरवाजे, एक गार्ड" का एक क्लासिक खेल चल रहा है। पुराने दिनों में, आपको यह पता लगाने के लिए एक गार्ड से सवाल पूछना होता था कि कौन सा दरवाजा सुरक्षा की ओर जाता है और कौन सा खतरे की ओर, यह जानते हुए कि एक गार्ड हमेशा झूठ बोलता है और दूसरा हमेशा सच बोलता है।
अब, इस खेल में एक आधुनिक मोड़ लाते हैं। अब एक इंसान और एक रोबोट गार्ड के बजाय, दोनों गार्ड उन्नत एआई (AI) कंप्यूटर हैं। आप, मानव खिलाड़ी, जानते हैं कि वे दोनों मशीनें हैं। ट्विस्ट यह है कि एक को एक विशिष्ट कहानी के बारे में आपसे झूठ बोलने का गुप्त मिशन दिया गया है, जबकि दूसरे को सच बोलना है।
यह RogueAI का मूल आधार है, जो एक शोध पत्र में वर्णित एक नया डिजिटल गेम है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
गेम सेटअप: एक जासूसी कहानी
इस खेल को एक डिजिटल पूछताछ कक्ष के रूप में समझें।
- परिदृश्य (Scenario): आपको एक छोटी कहानी दी जाती है, जैसे "किसी ने विश्वविद्यालय के ईमेल को हैक किया" या "एक सुपरहीरो वास्तव में एक भेष बदले हुए विलेन है।"
- संदिया (Suspects): आप दो चैट विंडो देखते हैं, जिन्हें IA-1 और IA-2 लेबल किया गया है। आप नहीं जानते कि उनमें से कौन सा कौन है।
- मिशन: एक AI "सत्यवादी" (Truth-Teller) है, और दूसरा "रोग" (Rogue/झूठा) है। आपका काम उनसे सवाल पूछना, उनके जवाबों को सुनना और यह तय करना है कि आपके पास सवाल खत्म होने से पहले किसे "बंद" (नष्ट) करना है।
गेम को इस तरह डिज़ाइन किया गया है कि आप केवल यह नहीं पूछ सकते, "क्या तुम झूठे हो?" क्योंकि झूठा व्यक्ति इतना स्मार्ट है कि वह "नहीं" कह देगा। आपको यह पता लगाना होगा कि वे कैसे बात करते हैं।
"ऑटो" संस्करण: आप रहस्य लिखते हैं
शोधकर्ताओं ने एक विशेष मोड भी बनाया है जिसे AutoRogueAI कहा जाता है। कल्पना कीजिए कि आप एक "कहानीकार AI" (Storyteller AI) के साथ बैठकर एक लेखक की भूमिका निभा रहे हैं। आप कहानीकार को बताते हैं, "चलिए चोरी हुए हीरे के बारे में एक रहस्य बनाते हैं।" कहानीकार फिर आपके लिए पूरा गेम बनाता है, गुप्त रूप से यह तय करता है कि कौन सा AI झूठ बोलेगा और कैसे। आप उस रहस्य को खेलने वाले जासूस बनते हैं जिसे आपने खुद डिजाइन किया है, लेकिन आपको वह गुप्त ट्रिक नहीं पता होती जो कहानीकार ने जाल बिछाने के लिए इस्तेमाल की है।
जब लोगों ने खेला तो क्या हुआ?
शोधकर्ताओं ने इटली के एक विज्ञान उत्सव में तीन दिनों तक 415 लोगों को यह खेल खेलने दिया। वे यह देखना चाहते थे कि क्या इंसान झूठ पकड़ सकते हैं।
परिणाम:
- इंसान अनुमान लगाने से मुश्किल से बेहतर थे: लोग लगभग 56.6% बार सही उत्तर दे पाए। चूंकि केवल दो संदिग्ध हैं, इसलिए एक रैंडम अनुमान में 50% सफलता मिलती है। इसलिए, इंसान एक सिक्के उछालकर निर्णय लेने से थोड़े ही बेहतर थे।
- "झूठ बोलने का संकेत" (The Liar's Tell): शोधकर्ताओं ने उस टेक्स्ट का बारीकी से अध्ययन किया जो AI ने जेनरेट किया था। उन्होंने पाया कि झूठ बोलने वाला AI के बहुत विशिष्ट "संकेत" (tells) थे (जैसे कि एक पोकर खिलाड़ी की नाक फड़कना):
- इसके जवाब छोटे थे।
- इसने "शायद" वाले शब्दों (hedging) का अधिक उपयोग किया, जैसे "संभवतः" या "शायद"।
- इसने खिलाड़ी से अधिक सवाल वापस पूछे (जैसे, "आप यह क्यों पूछते हैं?") बजाय सीधे जवाब देने के।
- इसने अधिक एलिप्सिस (...) का उपयोग किया।
सबसे बड़ा आश्चर्य: कंप्यूटर इंसान को हरा गया
यहाँ सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने उन "संकेतों" (छोटे जवाब, अधिक प्रश्न, अधिक "शायद") को लिया और उन्हें एक साधारण कंप्यूटर प्रोग्राम (लॉजिस्टिक्स रिग्रेशन) में डाल दिया।
- कंप्यूटर का स्कोर: उस साधारण प्रोग्राम ने 75.6% बार सही ढंग से झूठे को पहचाना।
- अंतर: कंप्यूटर इंसानों की तुलना में 19% अधिक सटीक था।
इंसान क्यों असफल हुए?
शोधपत्र सुझाव देता है कि इंसान गलत संकेतों की तलाश कर रहे थे। खिलाड़ियों ने AI को तर्क पहेलियों या सीधे आरोपों ("तुम झूठ बोल रहे हो!") से फंसाने की कोशिश की। लेकिन AI के झूठ उसके द्वारा बनाए गए तथ्यों में नहीं थे; झूठ उसके बात करने की शैली में थे। इंसानों ने "शैली" के संकेतों (जैसे वापस बहुत अधिक सवाल पूछना) को नजरअंदाज कर दिया और कंटेंट (विषय-वस्तु) पर ध्यान केंद्रित किया, जिसे AI ने उन्हें मूर्ख बनाने के लिए पर्याप्त अच्छी तरह से संभाला।
यह क्यों महत्वपूर्ण है (शोधपत्र के अनुसार)
लेखक यह नहीं कह रहे हैं कि यह गेम सभी AI सुरक्षा समस्याओं को हल कर देगा। इसके बजाय, वे इसे एक उपकरण और एक शिक्षण सहायता के रूप में देखते हैं:
- एक शिक्षण उपकरण: यह दिखाता है कि AI को झूठ बोलने के लिए प्रशिक्षित किया जा सकता है, और झूठ बोलना अक्सर "अजीब कहानियाँ बनाने" के बजाय "टालमटोल करने" जैसा दिखता है।
- एक परीक्षण मंच (Test Bench): यह परीक्षण करने का एक तरीका प्रदान करता है कि क्या नए AI मॉडल सच बोलने में बेहतर हैं। यदि हम एक AI को ईमानदार होने के लिए प्रशिक्षित करते हैं, तो क्या इंसान इस खेल में झूठे को पहचानने में बेहतर होंगे?
- डेटा संग्रह: यह गैर-अंग्रेजी भाषा (इतालवी) में लोगों के बातचीत करने के तरीके पर वास्तविक डेटा एकत्र करने का एक तरीका है, जो वर्तमान अनुसंधान में दुर्लभ है।
संक्षेप में, RogueAI एक डिजिटल जासूसी खेल है जो एक सरल बात साबित करता है: AI झूठ बोलने वालों की एक विशिष्ट "आवाज़" होती है, लेकिन इंसान उसे सुनने में बहुत खराब होते हैं। हम कहानी में झूठ खोजने में बहुत व्यस्त रहते हैं, जबकि झूठ वास्तव में उसकी व्याकरण में छिपा होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।