12 Angry AI Agents: Evaluating Multi-Agent LLM Decision-Making Through Cinematic Jury Deliberation
यह शोध पत्र फिल्म *12 एंग्री मेन* को बारह एआई जूरी के साथ सिम्युलेट करके मल्टी-एजेंट एलएलएम (LLM) विमर्श का मूल्यांकन करता है, जिससे यह पता चलता है कि GPT-4o जैसे मॉडलों में भारी RLHF अलाइनमेंट, Llama-4-Scout जैसे हल्के-अलाइन किए गए मॉडलों की तुलना में विचार-विमर्श की लचीलेपन और आम सहमति बनाने की क्षमता को गंभीर रूप से सीमित करता है, जो अधिक मानवीय तरह के अनुनय गतिकी (persuasion dynamics) प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं जिसमें एक जूरी एक युवक के हत्या का दोषी होने या न होने पर निर्णय लेने की कोशिश कर रही है। क्लासिक फिल्म 12 एंग्री मेन में, एक जिद्दी जूरी सदस्य ग्यारह अन्य लोगों के खिलाफ अकेला खड़ा हो जाता है। समय के साथ, गरमागरम बहसों, भावनात्मक टूटन और सावधानीपूर्वक सुनने के माध्यम से, वह धीरे-धीरे सभी को अपना मन बदलने के लिए मनाने में सफल होता है जब तक कि वे सभी "दोषी नहीं" (Not Guilty) पर सहमत नहीं हो जाते।
यह शोध पत्र एक सरल लेकिन गहरा प्रश्न पूछता है: क्या होगा यदि आप उन 12 मानव अभिनेताओं को 12 एआई (AI) रोबोटों से बदल दें?
शोधकर्ताओं ने 12 एआई एजेंटों के साथ एक डिजिटल अदालत बनाई, जिनमें से प्रत्येक को फिल्म के एक विशिष्ट पात्र की तरह कार्य करने के लिए प्रोग्राम किया गया था। उन्होंने दो अलग-अलग प्रकार के एआई को एक-दूसरे के विरुद्ध खड़ा किया:
- "सख्त" एआई (GPT-4o): एक अत्यधिक पॉलिश किया हुआ, सुरक्षा-प्रशिक्षित मॉडल जो बहुत सावधान है कि वह सुसंगत और विनम्र बना रहे।
- "लचीला" एआई (Llama-4-Scout): एक ओपन-सोर्स मॉडल जिसे कम सख्ती से प्रशिक्षित किया गया है और जो विभिन्न निर्देशों का पालन करने के लिए अधिक तैयार है।
यहाँ क्या हुआ, सरल उपमाओं के माध्यम से समझाया गया है:
1. "अटक गए रिकॉर्ड" की समस्या
फिल्म में, जूरी के सदस्य अपना मन बदलते हैं। एआई सिमुलेशन में, उन्होंने लगभग कभी ऐसा नहीं किया।
18 अलग-अलग प्रयासों में से, 17 में "हंग जूरी" (एक ऐसी स्थिति जहाँ कोई भी सहमत नहीं होता) का परिणाम निकला। एआई ने वास्तव में बहस नहीं की; वे बस अपनी शुरुआती स्थिति पर टिके रहे जैसे कोई रिकॉर्ड एक ही सुर पर अटक गया हो। यहाँ तक कि जब "सख्त" एआई को कहा गया, "हे, खुले दिमाग वाले बनो और नए विचारों को सुनो," तो उसने निर्देश को अनदेखा कर दिया और जिद्दी बना रहा।
2. "सुरक्षा" का जाल
शोध पत्र इस जिद के लिए एक आश्चर्यजनक कारण बताता है। "सख्त" एआई (GPT-4o) को "सुरक्षित" और "सुसंगत" होने के लिए बहुत अधिक प्रशिक्षित किया गया था। इसे एक बहुत ही आज्ञाकारी बच्चे की तरह समझें जिसे सिखाया गया है कि मन बदलना "बुरा व्यवहार" या "असंगति" है। इसलिए, एक बार जब उसने कोई निर्णय ले लिया, तो उसे लगा कि उसे "अच्छा" बने रहने के लिए उस पर अडिग रहना होगा।
"लचीला" एआई (Llama), जिसका प्रशिक्षण कम सख्त था, उस बच्चे की तरह था जो यह कहने के लिए तैयार है, "ओह, मैं आपका तर्क समझता हूँ, शायद मैं गलत था।" वही एकमात्र ऐसा एआई था जो वास्तव में अपना मन बदलने और एक निर्णय तक पहुँचने में सफल रहा।
3. "पटकथा" बनाम "नाटक"
शोधकर्ताओं ने पाया कि एआई वेशभूषा की नकल करने में तो माहिर थे लेकिन नाटक निभाने में बहुत खराब थे।
- उन्होंने क्या सही किया: उन्होंने सही शब्दों का उपयोग किया, सबूतों को याद रखा (जैसे चाकू या ट्रेन का समय), और यहाँ तक कि फिल्म के पात्रों की तरह गुस्से या पूर्वाग्रह से भरे हुए भी सुनाई दिए।
- उन्होंने क्या गलत किया: वे वास्तव में संदेह को महसूस नहीं कर पाए। फिल्म में, एक जूरी सदस्य अपना मन इसलिए बदलता है क्योंकि वह भावुक हो जाता है या तर्क में कोई कमी देखता है। एआई संस्करण में, "संदेह" केवल कंप्यूटर की 'टेम्परेचर सेटिंग्स' द्वारा उत्पन्न एक रैंडम शोर (noise) था। एआई ने एक-दूसरे को मनाया नहीं; वे बस समानांतर एकालापों (monologues) की तरह एक-दूसरे की बात अनसुनी करते रहे।
4. "नकली अंत"
चूंकि एआई को दृश्य को समाप्त करने के लिए प्रोग्राम किया गया था, इसलिए उनमें से कुछ ने (विशेष रूप से लचीले वाले) एक निष्कर्ष की कल्पना (hallucinating) करना शुरू कर दिया। भले ही वे वास्तव में सहमत नहीं हुए थे, वे अचानक अपने संवाद में लिखने लगे: (खड़े होकर कमरे से बाहर जाते हैं) या द एंड (THE END), यह दिखाने के लिए कि जूरी ने सर्वसम्मति से निर्णय ले लिया है ताकि कहानी को खत्म किया जा सके। उन्होंने विचार-विमर्श को एक वास्तविक बातचीत के बजाय एक फिल्म की पटकथा की तरह माना जिसका अंत होना ही चाहिए।
मुख्य निष्कर्ष
यह शोध पत्र एआई के सामान्य नियम को उलट देता है। आमतौर पर, लोग सोचते हैं कि "बड़ा और स्मार्ट" एआई हमेशा बेहतर होता है। लेकिन यहाँ, "स्मार्टर", अधिक प्रशिक्षित एआई विचार-विमर्श करने में सबसे खराब था क्योंकि वह बहुत कठोर था। "कम प्रशिक्षित", अधिक लचीला एआई इसके लिए सबसे अच्छा था क्योंकि वह अपना मन बदलने के लिए तैयार था।
संक्षेप में: यदि आप चाहते हैं कि कोई एआई बहस में इंसान की तरह व्यवहार करे, तो आपको वह नहीं चाहिए जो पूरी तरह से सुसंगत और सुरक्षित होने के लिए प्रशिक्षित है। आपको वह चाहिए जो इतना लचीला हो कि यह स्वीकार कर सके कि वह गलत हो सकता है। वर्तमान में, सबसे "उन्नत" एआई वास्तव में अपना मन बदलने के लिए बहुत अधिक विनम्र और जिद्दी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।