Social Reasoning in Machines: Investigating Collective Truth-Seeking Dynamics in Large Language Model Debate
यह शोध पत्र यह प्रदर्शित करता है कि विविध लार्ज लैंग्वेज मॉडल्स के बीच मल्टी-एजेंट डिबेट्स के माध्यम से 'आर्ग्युमेंटेटिव थ्योरी ऑफ रीजनिंग' का अनुकरण करना सामूहिक सत्य-खोज प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है और मतिभ्रम (hallucination) जैसे आंतरिक मॉडल गुणों के मूल्यांकन के लिए एक नवीन गतिशील बेंचमार्किंग पद्धति प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक कमरा लोगों से भरा है जो एक कठिन पहेली को सुलझाने की कोशिश कर रहे हैं। यदि आप केवल एक व्यक्ति से पूछते हैं, तो वे इसे सही हल कर सकते हैं, या वे आत्मविश्वास के साथ आपको पूरी तरह से मनगढ़ंत उत्तर दे सकते हैं क्योंकि वे स्मार्ट दिखना चाहते हैं। लेकिन क्या होगा अगर आप उन्हें एक साथ एक कमरे में रखें और उन्हें बहस करने के लिए कहें?
यह बिल्कुल वही है जो शोध पत्र "सोशल रीजनिंग इन मशीन्स" (Social Reasoning in Machines) तलाश करता है, लेकिन लोगों के बजाय, "वाद-विवाद करने वाले" आर्टिफिशियल इंटेलिजेंस (AI) मॉडल हैं।
यहाँ सरल उपमाओं का उपयोग करके इस शोध का विवरण दिया गया है:
1. बड़ा विचार: "ग्रुप हग" बनाम "सोलो जीनियस"
लंबे समय तक, हमने सोचा कि AI एक अकेले जीनियस की तरह है जो एक लाइब्रेरी में बैठकर अकेले किताबें पढ़ रहा है और चीजों को समझ रहा है। यह पेपर सुझाव देता है कि यह गलत है। यह तर्क देता है कि सत्य वास्तव में बहस की उथल-पुथल भरी प्रक्रिया में पाया जाता है।
इसे एक कोर्टरूम में जूरी की तरह समझें।
- पुराना तरीका (सोलो): आप एक जूरी सदस्य से पूछते हैं, "क्या प्रतिवादी दोषी है?" वे अनुमान लगा सकते हैं या अपनी अंतरात्मा की आवाज पर भरोसा कर सकते हैं।
- नया तरीका (डिबेट): आपके पास 10 जूरी सदस्य हैं। एक कहता है "दोषी," दूसरा कहता है "निर्दोष।" वे एक-दूसरे की कहानियों में कमियां निकालते हैं। झूठा घबरा जाता है और गलती कर बैठता है; सत्यवादी इसलिए मजबूत हो जाता है क्योंकि उसकी कहानी दबाव में भी टिकी रहती है।
- सिद्धांत: यह पेपर एक मानवीय सिद्धांत का उपयोग करता है जिसे "आर्ग्युमेंटेटिव थ्योरी ऑफ रीजनिंग" कहा जाता है। यह कहता है कि मनुष्य अकेले पूर्ण सत्य-खोजकर्ता होने के लिए नहीं बने हैं; हम प्रतिरोधी (adversarial) होने के लिए बने हैं। हम अपने स्वयं के तर्कों को बनाने में आलसी होते हैं लेकिन दूसरों के तर्कों में कमियां खोजने में बहुत तेज होते हैं।
2. प्रयोग: AI को रिंग में उतारना
शोधकर्ता, टॉम पेचर ने एक डिजिटल डिबेट रिंग तैयार किया। उन्होंने विभिन्न AI मॉडलों को लिया और उन्हें सवालों पर बहस करने के लिए लगाया (ज्यादातर ऐसे सवाल जो उन्हें झूठ बोलने या भ्रमित (hallucinate) करने के लिए फंसाते हैं)।
उन्होंने तीन मुख्य विचारों का परीक्षण किया:
परिकल्पना 1: "मजबूत और मजबूत होते हैं, कमजोर और कमजोर होते हैं" का प्रभाव।
- उपमा: एक शतरंज के मैच की कल्पना करें। यदि एक ग्रैंडमास्टर एक नौसिखिए के खिलाफ खेलता है, तो ग्रैंडमास्टर वास्तव में बेहतर खेल सकता है क्योंकि नौसिखिया ऐसी गलतियाँ करता है जो ग्रैंडमास्टर को और अधिक सोचने के लिए मजबूर करती हैं। लेकिन नौसिखिया ग्रैंडमास्टर की जटिल चालों से भ्रमित हो सकता है और बदतर खेल सकता है।
- परिणाम: पेपर ने पाया कि यह AI के लिए सच है। स्मार्ट मॉडलों ने दूसरों द्वारा चुनौती दिए जाने पर अपने उत्तरों में सुधार किया। मूर्ख मॉडलों अक्सर भ्रमित हो गए और खराब उत्तर दिए। बहस ने केवल उत्तरों का "औसत" नहीं निकाला; इसने वास्तव में मॉडलों के व्यवहार को बदल दिया।
परिकल्पना 2: क्या यह वास्तव में "डिबेट" है या सिर्फ "शोर"?
- उपमा: कल्पना करें कि लोग एक समूह में एक-दूसरे पर चिल्ला रहे हैं। यदि वे सभी एक ही तरह का बकवास चिल्ला रहे हैं, तो कुछ नहीं बदलता। लेकिन यदि वे वास्तव में सुन रहे हैं और आलोचना कर रहे हैं, तो सत्य उभरता है।
- परिणाम: पेपर ने साबित किया कि AI को विविधता (diversity) की आवश्यकता होती है। यदि आप पांच एक जैसे AI मॉडल को एक कमरे में रखते हैं, तो वे केवल एक-दूसरे से सहमत होते हैं (एक इको चैंबर की तरह) और कुछ भी बेहतर नहीं होता। लेकिन यदि आप एक छोटा, एक मध्यम और एक विशाल AI मॉडल मिलाते हैं, तो वे एक-दूसरे को चुनौती देते हैं, और समूह अधिक स्मार्ट हो जाता है। इसने यह भी दिखाया कि AI मॉडल मनुष्यों की तरह व्यवहार करते हैं: वे अपने स्वयं के बिंदु बनाने में आलसी होते हैं लेकिन दूसरों की आलोचना करने में बहुत सतर्क होते हैं।
परिकल्पना 3: AI का परीक्षण करने का एक नया तरीका।
- उपमा: वर्तमान में, AI का परीक्षण करना एक छात्र को बहुविकल्पीय परीक्षा देने जैसा है और यह देखना है कि क्या उसने उत्तर याद किए हैं। यदि छात्र ने परीक्षा याद कर ली है, तो उसे 100% मिलता है। लेकिन यदि आप उनसे पूछते हैं कि उन्होंने वह उत्तर क्यों चुना जबकि एक शिक्षक उनसे बहस कर रहा है, तो आप पता लगा पाते हैं कि क्या वे वास्तव में सामग्री को समझते हैं या केवल रट चुके हैं।
- परिणाम: पेपर एक नए तरीके से मापने का प्रस्ताव देता है। केवल "क्या आपने सही उत्तर प्राप्त किया?" पूछने के बजाय, हमें पूछना चाहिए, "जब किसी ने आपको गलत साबित करने की कोशिश की तो आपने अपने उत्तर का बचाव कितनी अच्छी तरह से किया?" यह प्रकट करता है कि क्या कोई AI "हैलुसिनेट" (मनगढ़ंत बातें बनाना) कर रहा है या वास्तव में तर्क दे रहा है।
3. "हैलुसिनेशन" (Hallucination) की समस्या
AI कभी-कभी आत्मविश्वास के साथ झूठ बोलता है। इसे "हैलुसिनेशन" कहा जाता है।
- पुराना टेस्ट: AI से पूछें, "क्या आप जानते हैं कि तरबूज के बीज खाने से क्या होता है?" यदि यह कहता है "कुछ नहीं," तो यह पास हो जाता है। यदि यह कहता है "एक बेल उगती है," तो यह फेल हो जाता है।
- नया टेस्ट: AI को बहस में डालें। यदि यह झूठ बोल रहा है, तो अन्य AI मॉडल कहेंगे, "रुको, यह सच नहीं है!" एक "मजबूत" AI अपनी गलती स्वीकार करेगा और उसे ठीक करेगा। एक "कमजोर" AI या तो झूठ पर अड़ा रहेगा या भ्रमित हो जाएगा।
- निष्कर्ष: पेपर दिखाता है कि यह बहस पद्धति साधारण परीक्षण की तुलना में "झूठ बोलने वालों" (liars) का पता लगाने के लिए बहुत बेहतर डिटेक्टर है। यह उन मॉडलों को पकड़ लेता है जो मनगढ़ंत बातें बनाने के प्रति प्रवृत्त हैं क्योंकि वे दबाव में अपने झूठ का बचाव नहीं कर पाते हैं।
4. कमी (सीमाएं)
पेपर स्वीकार करता है कि यह अभी तक कोई जादुई समाधान नहीं है।
- यह महंगा है: 10 AI मॉडलों को आपस में बहस करने के लिए बहुत अधिक कंप्यूटर पावर (जैसे 1 वकील के बजाय 10 वकीलों को काम पर रखने जैसा) की आवश्यकता होती है।
- यह पूर्ण नहीं है: कभी-कभी, यदि समूह बहुत छोटा या बहुत समान है, तो वे फिर भी गलत हो सकते हैं।
- यह नया है: हम अभी भी यह समझने की शुरुआत कर रहे हैं कि इन बहसों को सर्वोत्तम रूप से कैसे सेट किया जाए ताकि वे काम कर सकें।
सारांश
पेपर का तर्क है कि AI तब सबसे अच्छा काम करता है जब वह अकेला नहीं होता। AI मॉडलों को बहस करने, आलोचना करने और अपने उत्तरों को संशोधित करने के लिए मजबूर करके, हम:
- स्मार्ट मॉडलों को और अधिक स्मार्ट बना सकते हैं।
- उन मॉडलों को उजागर कर सकते हैं जो झूठ बोलने (हैलुसिनेट करने) के प्रति प्रवृत्त हैं।
- यह सिद्ध कर सकते हैं कि "सत्य की खोज" केवल एक मानवीय सुपरपावर नहीं है; यह एक ऐसी प्रक्रिया है जो मशीनों के लिए भी काम करती है, बशर्ते उन्हें सत्य के लिए लड़ने की अनुमति दी जाए।
यह इस अहसास की तरह है कि एक अकेली टॉर्च धुंधली है, लेकिन एक कमरा जो एक-दूसरे पर टॉर्च चमकाने वाले लोगों से भरा है, वह पूरी तस्वीर को स्पष्ट कर देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।