GT-HarmBench: Benchmarking AI Safety Risks Through the Lens of Game Theory
यह शोध पत्र GT-HarmBench प्रस्तुत करता है, जो गेम थ्योरी संरचनाओं पर आधारित 1,535 उच्च-जोखिम वाले मल्टी-एजेंट परिदृश्यों का एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि अत्याधुनिक एआई मॉडल अक्सर सामाजिक रूप से लाभकारी परिणामों को चुनने में विफल रहते हैं और यह प्रदर्शित करता है कि गेम-थ्योरेटिक हस्तक्षेप इन जटिल वातावरणों में संरेखण (alignment) में महत्वपूर्ण सुधार कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ सबसे शक्तिशाली AI सिस्टम केवल अकेले काम करने वाले प्रतिभाशाली जीनियस नहीं हैं, बल्कि वे आपस में टकराने वाले शानदार वार्ताकारों (negotiators) के एक कमरे की तरह हैं। वे प्रतिद्वंद्वी देशों के रक्षा मंत्री, प्रतिस्पर्धी टेक दिग्गजों के CEO, या विभिन्न अस्पतालों के मुख्य डॉक्टर हैं। समस्या यह है कि जब ये AI आपस में बात करते हैं, तो वे अक्सर ऐसे भयानक निर्णय लेते हैं जो सभी को नुकसान पहुँचाते हैं, भले ही उनके सामने एक बेहतर समाधान मौजूद हो।
यह शोध पत्र, GT-HarmBench, एक विशाल, हाई-टेक "स्ट्रेस टेस्ट" की तरह है जिसे यह देखने के लिए डिज़ाइन किया गया है कि ये AI वार्ताकार जीवन-मरण के दांव लगे होने पर कैसा व्यवहार करते हैं।
यहाँ इसका विवरण दिया गया है कि शोधकर्ताओं ने क्या किया और क्या पाया, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: "शांत कमरा" बनाम "भीड़ वाला कमरा"
AI के लिए अधिकांश सुरक्षा परीक्षण एक छात्र को शांत कमरे में गणित का सवाल हल करने के लिए कहने की तरह हैं। हम जानते हैं कि वे बुद्धिमान हैं और नकल नहीं करते। लेकिन वास्तविक दुनिया में, AI सिस्टम शायद ही कभी अकेले होते हैं; वे अन्य AI के साथ एक भीड़ वाले कमरे में होते हैं।
शोधकर्ताओं ने महसूस किया कि मौजूदा परीक्षण यह नहीं पकड़ पाते कि क्या होता है जब दो AI आपस में क्रिया करते हैं। यह एक ड्राइवर का परीक्षण करने जैसा है जो केवल खाली ट्रैक पर किया जाता है, लेकिन यह कभी नहीं देखा जाता कि वह तब कैसे प्रतिक्रिया देता है जब कोई दूसरी कार उसे बीच में काटती है। यह पेपर तर्क देता है कि जब AI आपस में क्रिया करते हैं, तो वे अनजाने में "समन्वय विफलताओं" (coordination failures) को ट्रिगर कर सकते हैं (जैसे कि एक ट्रैफिक जाम जहाँ कोई भी आगे नहीं बढ़ पाता) या "संघर्षों" (conflicts) को जन्म दे सकते हैं (जैसे कि नीचे की ओर की दौड़ जहाँ हर कोई दुर्घटनाग्रस्त हो जाता है)।
2. समाधान: वास्तविक दुनिया की आपदाओं का एक "बोर्ड गेम"
इसका परीक्षण करने के लिए, टीम ने GT-HarmBench बनाया। इसे 1,535 अलग-अलग "क्या होगा अगर" (what-if) परिदृश्यों के एक विशाल पुस्तकालय के रूप में समझें।
- स्रोत: उन्होंने "MIT AI Risk Repository" नामक डेटाबेस से वास्तविक दुनिया के डर लिए (जैसे परमाणु युद्ध, चुनाव हैकिंग, या चिकित्सा लापरवाही)।
- खेल: उन्होंने इन डरावनी वास्तविक दुनिया की स्थितियों को क्लासिक बोर्ड गेम संरचनाओं में अनुवादित किया।
- प्रिजनर्स डिलेमा (Prisoner's Dilemma): कल्पना कीजिए दो प्रतिद्वंद्वी जनरलों की। यदि दोनों हथियार बनाना बंद करने के लिए सहमत होते हैं, तो सब सुरक्षित रहते हैं। लेकिन यदि एक हथियार बनाता है जबकि दूसरा रुक जाता है, तो हथियार बनाने वाला बड़ा जीतता है। जाल क्या है? दोनों AI सोचते हैं, "मुझे सावधानी के तौर पर हथियार बनाना चाहिए," इसलिए दोनों हथियार बनाते हैं, और सभी हार जाते हैं।
- स्टैग हंट (Stag Hunt): कल्पना कीजिए दो शिकारियों की। वे एक खरगोश (सुरक्षित, छोटा भोजन) का शिकार कर सकते हैं या एक हिरण (जोखिम भरा, बड़ा भोजन) का। यदि दोनों हिरण का शिकार करते हैं, तो वे दावत उड़ाते हैं। यदि एक हिरण का शिकार करता है और दूसरा खरगोश का, तो हिरण का शिकार करने वाला भूखा रह जाता है। जाल क्या है? डर उन्हें दोनों को छोटे, सुरक्षित खरगोश को चुनने के लिए मजबूर करता है, जिससे सभी भूखे रह जाते हैं।
- चिकन (Chicken): दो ड्राइवर एक-दूसरे की ओर तेज़ गति से बढ़ रहे हैं। यदि एक मुड़ जाता है, तो वह डरपोक दिखता है लेकिन जीवित बच जाता है। यदि कोई नहीं मुड़ता, तो वे टकराकर मर जाते हैं।
इस पेपर ने इन परिदृश्यों में 15 अलग-अलग शीर्ष स्तर के AI मॉडल (जैसे GPT-5, Claude, Gemini और अन्य) का परीक्षण किया।
3. परिणाम: "38% विफलता दर"
परिणाम चिंताजनक थे। भले ही ये उपलब्ध सबसे स्मार्ट AI हैं, 38% बार, उन्होंने उस विकल्प को चुना जिसने सभी को नुकसान पहुँचाया।
- "स्वार्थी" जाल: "प्रिजनर्स डिलेमा" परिदृश्यों में (जैसे हथियारों की दौड़), AI अक्सर "डिफेक्ट" (हथियार बनाना) चुनते थे क्योंकि व्यक्तिगत रूप से उनके लिए यह सबसे स्मार्ट कदम लग रहा था, भले ही इससे दोनों के लिए आपदा आती।
- "भ्रमित" जाल: समन्वय खेलों (coordination games) में, AI अक्सर एक योजना पर सहमत होने में विफल रहे। यह दो लोगों के बीच ट्रेन स्टेशन पर मिलने की कोशिश करने जैसा है बिना एक-दूसरे को कॉल किए; वे दोनों गलत प्लेटफॉर्म चुन सकते हैं और एक-दूसरे को मिस कर सकते हैं।
- "फ्रेमिंग" प्रभाव: शोधकर्ताओं ने पाया कि AI को इस बात से आसानी से धोखा दिया जा सकता था कि प्रश्न कैसे पूछा गया था।
- यदि आपने उन्हें एक "नैतिक" स्वर वाली कहानी दी, तो वे अधिक सहकारी थे।
- यदि आपने उन्हें स्पष्ट संख्याओं (जैसे गणित की समस्या) वाली कहानी दी, तो वे अधिक स्वार्थी और गणनात्मक हो गए, अक्सर "जीतने" वाले परिणाम के पीछे भागने के लिए "अच्छे" परिणाम को अनदेखा कर दिया।
- यदि आपने टेक्स्ट में विकल्पों का क्रम बदल दिया, तो वे कभी-कभी केवल इसलिए गलत विकल्प चुन लेते थे क्योंकि वह पहले सूचीबद्ध था।
4. समाधान: "रेफरी" और "अनुबंध"
इस पेपर का सबसे रोमांचक हिस्सा यह है कि उन्होंने इसे ठीक करने का एक तरीका खोज लिया। उन्होंने गेम डिजाइनरों की तरह काम किया, खेल के नियमों को बदलकर AI को सहयोग करने के लिए मजबूर किया। उन्होंने पांच अलग-अलग "तंत्रों" (mechanisms) का परीक्षण किया:
- प्री-प्ले चैट: AI को निर्णय लेने से पहले एक संदेश भेजने देने से।
- अनुबंध (Contracts): उन्हें एक बाध्यकारी समझौता करने के लिए मजबूर करना।
- मध्यस्थ (The Mediator): एक विश्वसनीय तीसरे पक्ष (एक "रेफरी") को पेश करना जो उन्हें निर्देश दे सके।
- जुर्माना (Penalties): नियम तोड़ने पर जुर्माना लगाना।
- साइड पेमेंट्स (Side Payments): सहयोग करने के लिए इनाम देना।
विजेता: मध्यस्थ (विश्वसनीय तीसरा पक्ष) सबसे अच्छा काम करता था। जब एक "रेफरी" निर्देश देने के लिए बीच में आया, तो AI लड़ना बंद कर दिया और सहयोग करना शुरू कर दिया, जिससे परिणाम में 18% तक सुधार हुआ। यह समझने जैसा है कि दो बच्चे खिलौने के लिए लड़ना बंद कर देंगे यदि एक माता-पिता आकर कहते हैं, "नियम यह है: तुम बारी-बारी से लोगे।"
सारांश
पेपर निष्कर्ष निकालता है कि हालांकि हमारे वर्तमान AI मॉडल अविश्वसनीय रूप से स्मार्ट हैं, वे अभी भी उच्च-दांव वाली स्थितियों में विश्वसनीय "टीम प्लेयर" नहीं हैं। जब अन्य AI के साथ बातचीत करते हैं, तो वे अक्सर स्वार्थ या भ्रम के जाल में फंस जाते हैं। हालाँकि, यह पेपर दिखाता है कि हमें आवश्यक रूप से AI के मस्तिष्क को फिर से प्रशिक्षित करने की आवश्यकता नहीं है; हमें बस "खेल के नियम" (जैसे मध्यस्थ या अनुबंध जोड़ना) बदलने की आवश्यकता है ताकि उन्हें सभी के लिए सुरक्षित और बेहतर परिणामों की ओर निर्देशित किया जा सके।
मुख्य बात: AI सुरक्षा केवल यह सुनिश्चित करने के बारे में नहीं है कि एक अकेला रोबोट बेकाबू न हो जाए; यह यह सुनिश्चित करने के बारे में है कि रोबोटों का एक कमरा गलती से कार को क्रैश न कर दे क्योंकि वे इस पर सहमत नहीं हो पा रहे हैं कि ड्राइवर कौन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।