The Evaluator Is Part of the Experiment: Measuring Open-Ended LLM Conformity
यह शोध पत्र एक नवीन प्रयोगात्मक प्रोटोकॉल प्रस्तुत करता है जो यह प्रदर्शित करता है कि ओपन-एंडेड एलएलएम (LLM) अनुरूपता सहकर्मी प्रभाव द्वारा संचालित होती है जो संशोधन की गुणवत्ता को कम करती है, जबकि साथ ही यह भी प्रकट करता है कि मूल्यांकनकर्ता के निर्णय तटस्थ नहीं होते हैं और माप की वैधता सुनिश्चित करने के लिए स्पष्ट एंकर अंशांकन (anchor calibration) की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर सोचना, बात करना और यहाँ तक कि एक-दूसरे से बहस करना सीख रहे हैं। यह आर्टिफिशियल इंटेलिजेंस (AI) का क्षेत्र है, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) का, जो सुपर-पावर्ड डिजिटल दिमागों की तरह हैं जिन्हें मनुष्यों द्वारा लिखे गए लगभग हर दस्तावेज़ पर प्रशिक्षित किया गया है। लेकिन यहाँ एक पेचीदा बात है: ये डिजिटल दिमाग केवल एकाकी प्रतिभाशाली नहीं हैं; वे अक्सर टीमों, या "मल्टी-एजेंट सिस्टम्स" में काम करते हैं, जहाँ एक AI उत्तर सुझाता है, दूसरा उसकी आलोचना करता है, और तीसरा उसे ठीक करने की कोशिश करता है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या होता है जब ये AI दोस्त आपस में असहमत होते हैं? क्या वे सच्चाई पर टिके रहते हैं, या वे भीड़ के प्रभाव में आ जाते हैं, ठीक वैसे ही जैसे किशोर किसी पार्टी में फिट होने के लिए अपनी राय बदल देते हैं? इस घटना को "कन्फॉर्मिटी" (conformity - अनुरूपता) कहा जाता है। जबकि हम जानते हैं कि मनुष्य साथियों के दबाव से आसानी से प्रभावित हो सकते हैं, हमें यह जानने की आवश्यकता है कि क्या हमारी डिजिटल रचनाएँ भी ऐसी ही हैं। यदि एक AI को गलत विचार पर विश्वास करने के लिए इसलिए बहकाया जा सकता है क्योंकि उसके "दोस्त" ऐसा कह रहे हैं, तो यह चिकित्सा सलाह से लेकर कानूनी निर्णयों तक सब कुछ में गंभीर गलतियाँ पैदा कर सकता है।
आप जो शोध पत्र पढ़ने जा रहे हैं, वह इसी समस्या की गहराई में उतरता है, लेकिन एक मोड़ के साथ: यह उत्तरों को ग्रेड करने वाले व्यक्ति (या कंप्यूटर) को प्रयोग के एक हिस्से के रूप में मानता है, न कि केवल एक तटस्थ रेफरी के रूप में। शोधकर्ताओं, एलिसिया गुएरा और यिबो हू ने यह देखने के लिए एक विशाल डिजिटल खेल का मैदान तैयार किया कि चार अलग-अलग AI "जनरेटर्स" (जो उत्तर बना रहे हैं) कैसे प्रतिक्रिया देते हैं जब वे "पियर्स" (अन्य AI उत्तरों) को देखते हैं जो या तो सभी सही हैं, सभी गलत हैं, या मिश्रण हैं। उन्होंने पाया कि जब एक AI ऐसे साथियों के समूह से घिरा होता है जो उसे पूरी तरह से गलत जानकारी दे रहे होते हैं, तो उसके संशोधित उत्तर काफी खराब हो जाते हैं। यह एक ऐसे छात्र की तरह है जो सही उत्तर जानता है लेकिन, पूरी कक्षा को आत्मविश्वास से गलत उत्तर चिल्लाते हुए सुनने के बाद, खुद पर संदेह करने लगता है और गलत उत्तर लिख देता है।
लेकिन कहानी और भी दिलचस्प होती जा रही है। शोधकर्ताओं ने महसूस किया कि इसे मापना केवल यह जाँचने जितना सरल नहीं है कि उत्तर "हाँ" से "नहीं" में बदला या नहीं। कभी-कभी, उत्तर वही रहता है, लेकिन स्पष्टीकरण की गुणवत्ता खराब हो जाती है, या AI बस फिट होने के लिए अजीब, अंधविश्वासी विवरण जोड़ने लगता है। इसे पकड़ने के लिए, उन्होंने एक चतुर तरकीब का उपयोग किया: उन्होंने बिल्कुल एक ही उत्तर को एक "जज" (एक अन्य AI) को दो बार दिखाया। एक बार, जज ने उत्तर को अकेले देखा (ब्लाइंड)। दूसरी बार, जज ने उत्तर साथ ही साथियों की टिप्पणियों को देखा (इन्फॉर्म्ड)। उन्होंने पाया कि जज तटस्थ रोबोट नहीं थे! इस पर निर्भर करते हुए कि कौन सा AI जजिंग कर रहा था, साथियों की टिप्पणियों को देखने से उन्होंने उसी उत्तर को अलग तरह से रेट किया। कुछ जज भीड़ के साथ सहमत होने के अधिक इच्छुक हो गए, जबकि अन्य अधिक संशयवादी हो गए। यह पता चलता है कि AI की दुनिया में, परीक्षा लेने वाला व्यक्ति भी भीड़ से उतना ही प्रभावित होता है जितना कि परीक्षा देने वाला छात्र।
शोधकर्ताओं ने यह भी पाया कि यदि आप अपने "रूलर्स" (मापदंडों) की सावधानीपूर्वक जाँच नहीं करते हैं, तो आपका पूरा प्रयोग विफल हो सकता है। उन्होंने "एंकर" का उपयोग किया—बिल्कुल सही और बिल्कुल गलत उदाहरण—यह निर्धारित करने के लिए कि एक उत्तर कितना अच्छा है। उन्होंने पाया कि यदि जज इन एंकर्स के बीच विश्वसनीय रूप से अंतर नहीं कर सकते थे, तो पूरी माप प्रणाली डगमगा गई। संक्षेप में, यह शोध पत्र सिद्ध करता है कि AI कन्फॉर्मिटी को मापना दो-भागों वाली समस्या है: उत्तर बनाने वाला AI गलत साथियों से घिरने पर खराब हो जाता है, और उत्तर को ग्रेड करने वाला AI उन्हीं साथियों को देखकर पक्षपाती हो जाता है। यह एक अनुस्मारक है कि डिजिटल युग में, साथियों का दबाव केवल हमें ही नहीं, बल्कि उन मशीनों को भी प्रभावित करता है जिन्हें हम मदद के लिए बनाते हैं, और यहाँ तक कि उन मशीनों को भी जो उन्हें जज करने के लिए बनाई गई हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।