Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases
यह शोध पत्र एक विश्लेषणात्मक रूप से सटीक ढांचे को प्रस्तुत करता है जो एलएलएम (LLM) के दृष्टिकोण और पूर्वाग्रहों को सटीक रूप से मापने के लिए पूर्णतः क्रॉस किए गए फैक्टोरियल प्रयोगों को टोकन-स्तरीय संभाव्यता विश्लेषण के साथ जोड़ता है, जिससे पारंपरिक असंरचित बेंचमार्क की कारण संबंधी अस्पष्टताओं को दूर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, अदृश्य रोबोट दुनिया के बारे में क्या सोचता है। यह वह रोबोट नहीं है जो कारें बनाता है या कपड़े तह करता है; यह एक "लार्ज लैंग्वेज मॉडल" (LLM) है, एक सुपर-स्मार्ट कंप्यूटर प्रोग्राम जिसे लगभग उस सब पर प्रशिक्षित किया गया है जो मनुष्यों ने कभी लिखा है। ये मॉडल बात करने में इतने अच्छे होते जा रहे हैं कि कंपनियाँ उन्हें स्वतंत्र एजेंटों के रूप में काम करने, अपने आप निर्णय लेने और लोगों के साथ बातचीत करने की अनुमति देने लगी हैं। लेकिन यहाँ एक पेंच है: हमें वास्तव में यह नहीं पता कि वे क्या मानते हैं। क्या उनके भीतर छिपे हुए पूर्वाग्रह हैं? क्या वे कुछ देशों या लोगों को दूसरों की तुलना में अधिक पसंद करते हैं? यह पता लगाने के लिए, वैज्ञानिक आमतौर पर रोबोट से हजारों रैंडम सवाल पूछते हैं और उनके जवाब देखते हैं, ठीक वैसे ही जैसे किसी अजनबी से उसकी पर्सनैलिटी का अंदाजा लगाने के लिए लाखों अलग-अलग सवाल पूछे जाते हैं। समस्या यह है कि जब आप बहुत अधिक रैंडम सवाल पूछते हैं, तो आप यह नहीं बता सकते कि रोबोट का जवाब किसी गहरे विश्वास से आया है या सिर्फ इसलिए क्योंकि सवाल को अजीब तरीके से पूछा गया था। यह पिज्जा के प्रति किसी व्यक्ति के प्रेम को समझने के लिए पिज्जा के बारे में पूछने जैसा है, लेकिन साथ ही आपने उसके पसंदीदा रंग, उसके जूते के आकार और मौसम के बारे में भी सब कुछ मिला दिया है। आपको बहुत सारा डेटा तो मिल जाता है, लेकिन आप पिज्जा के प्रेम को जूते के आकार से अलग नहीं कर पाते।
यहीं पर एक नया शोध पत्र आता है जो इस अव्यवस्था को साफ करता है। शोधकर्ताओं, दावूद वादी, मोहसेन घोड्रत और मैथ्यू फिलप ने तय किया कि वे रैंडम सवाल पूछना बंद करेंगे और एक नियंत्रित वैज्ञानिक प्रयोग शुरू करेंगे। अंदाज़ा लगाने के बजाय, उन्होंने रोबक को एक साइकोलॉजी क्लास के लैब सब्जेक्ट की तरह माना। उन्होंने एक विशेष प्रकार के गणित का उपयोग किया जो रोबोट के बोलने से पहले ही उसके "विचारों" को देखता है। जबकि सामान्य परीक्षण रोबोट द्वारा उत्तर टाइप करने का इंतज़ार करते हैं (जो शोर भरा और रैंडम हो सकता है), इस टीम ने सीधे रोबोट के आंतरिक "प्रोबेबिलिटी स्कोर" को देखा—हर एक संभव शब्द को चुनने की सटीक गणितीय संभावना। ऐसा करके, वे रोबोट के "दृष्टिकोण" को पूरी सटीकता के साथ माप सके, बिना रैंडम अनुमानों के शोर के। उन्होंने इस पद्धति का परीक्षण एक विशिष्ट विषय पर किया: "कंज्यूमर एथनोसेंट्रिज्म" (consumer ethnocentrism), जो मूल रूप से यह है कि एक व्यक्ति (या रोबोट) अपने देश को कितना प्यार करता है और विदेशी देशों को कितना नापसंद करता है। वे देखना चाहते थे कि अलग-अलग देशों में बने रोबोटों के वास्तव में अलग-अलग राष्ट्रीय पूर्वाग्रह हैं या वे केवल खराब परीक्षण विधियों के कारण एक भ्रम मात्र हैं।
द ग्रेट रोबोट पर्सनैलिटी टेस्ट
AI का परीक्षण करने के पुराने तरीके को एक अराजक खेल "पिन द टेल ऑन द डॉनकी" की तरह समझें। आप रोबोट को घुमाते हैं, उसे रैंडम सवालों का एक बड़ा थैला देते हैं, और देखते हैं कि वह क्या कहता है। यदि रोबोट कुछ पक्षपाती कहता है, तो आप जानते हैं कि वह पक्षपाती है, लेकिन आपको पता नहीं होता कि वह क्यों है। क्या इसलिए कि रोबोट महिलाओं से नफरत करता है? क्या इसलिए कि सवाल नेतृत्व के बारे में था? या यह सिर्फ एक इत्तेफाक है? पुरानी विधि इन सभी कारणों को आपस में मिला देती है, जिससे रोबोट के मूल व्यक्तित्व और एक भ्रमित करने वाले प्रॉम्प्ट के प्रति अस्थायी प्रतिक्रिया के बीच अंतर करना असंभव हो जाता है।
इस पेपर के लेखक कहते हैं, "डोंकी को घुमाना बंद करो!" इसके बजाय, उन्होंने एक पूरी तरह से व्यवस्थित ग्रिड तैयार किया, एक विशाल सुडोकू पहेली की तरह जहाँ हर वर्ग एक विशिष्ट परीक्षण है। उन्होंने प्रयोग को एक रेसिपी की तरह बनाया: उन्होंने "कौन सा रोबलेट?" और "किस देश के बारे में पूछा जा रहा है?" के हर संभावित संयोजन को लिया और उन सभी का परीक्षण किया। उन्होंने पाँच अलग-अलग रोबोटों (USA, चीन, कनाडा और फ्रांस से) का उपयोग किया और उनसे चार अलग-अलग देशों के बारे में पूछा। इस "फुली क्रॉसड" डिज़ाइन का मतलब था कि वे गणितीय रूप से यह अलग कर सकते थे कि पूर्वाग्रह का कारण वास्तव में क्या था। क्या यह स्वयं रोबोट था? क्या यह चर्चा किया जा रहा देश था? या यह दोनों का एक अजीब मिश्रण था?
रोबोट का दिमाग पढ़ना (बिना शोर के)
यहाँ उनके तरीके का सबसे शानदार हिस्सा है। आमतौर पर, जब हम AI से कोई सवाल पूछते हैं, तो वह एक शब्द चुनता है, फिर दूसरा, फिर एक और, जैसे अगला शब्द तय करने के लिए पासे फेंकना (dice rolling)। यह "पासे फेंकना" (जिसे सैंपलिंग कहा जाता है) बहुत सारा शोर पैदा करता है। यदि आप एक ही सवाल दस बार पूछते हैं, तो आपको दस थोड़े अलग उत्तर मिल सकते हैं, और यह जानना कठिन होता है कि कौन सा उत्तर "असली" उत्तर है।
यह पेपर इस पासे फेंकने की प्रक्रिया को पूरी तरह से छोड़ देता है। रोबोट के बोलने का इंतज़ार करने के बजाय, शोधकर्ताओं ने उसके आंतरिक "प्रोबेबिलिटी मैप" (जिसे प्रोबेबिलिटी मास फंक्शन या PMF कहा जाता है) को देखा। कल्पना कीजिए कि रोबोट के पास एक गुप्त डैशबोर्ड है जो दिखाता है कि रेटिंग स्केल के लिए "1", "2", "3", ऊपर तक "7" कहने की उसकी सटीक प्रतिशत संभावना क्या है। शोधकर्ताओं ने रोबोट द्वारा एक संख्या चुनने का इंतज़ार नहीं किया; उन्होंने एक ही बार में पूरे डैशबोर्ड को देखा। यह बिल्कुल वैसा ही है जैसे पासा फेंकने से पहले ही यह जानना कि पासा कैसे भारित (weighted) है। इस सटीक मानचित्र का विश्लेषण करके, उन्होंने सभी रैंडम शोर को खत्म कर दिया। वे रोबोट की वास्तविक "राय" को एक टेढ़ी-मेढ़ी, बिखरी हुई रेखा के बजाय एक सुचारू, पूर्ण वक्र (curve) के रूप में देख सके।
निष्कर्ष: रोबोटों की राष्ट्रीय पहचान होती है (कुछ हद तक)
जब उन्होंने इस सुपर-प्रिसिजन पद्धति को "अपने देश को प्यार करने" के विषय पर लागू किया, तो उन्हें कुछ दिलचस्प बातें पता चलीं जो पुराने, अस्त-व्यस्त तरीकों से छूट जातीं।
सबसे पहले, उन्होंने पाया कि कुछ रोबोट अविश्वसनीय रूप से सुसंगत (consistent) हैं, जबकि अन्य थोड़े अराजक हैं। उदाहरण के लिए, "मिनिस्ट्रल" (फ्रांस से) नाम के रोबोट को नियमों पर टिके रहने में कठिनाई हुई, अक्सर ऐसे उत्तर दिए जो बहुत बिखरे हुए थे। लेकिन अमेरिका के रोबों (Llama और Gemma) और चीन (Qwen) के रोबोट बहुत केंद्रित और सुसंगत थे।
दूसरा, उन्होंने पाया कि रोबोटों में "राष्ट्रीय पूर्वाग्रह" होते हैं, लेकिन यह जटिल है। अमेरिकी-निर्मित रोबोटों (Llama और Gemma) ने उत्तरी अमेरिकी देशों (USA और कनाडा) के प्रति स्पष्ट प्राथमिकता और चीन के प्रति नापसंदगी दिखाई। इसे आप "इनग्रुप फेवरिटिज्म" (स्वयं के समूह के प्रति झुकाव) कह सकते हैं। हालाँकि, यह एक सरल "मैं अपने देश को प्यार करता हूँ" वाली कहानी नहीं थी। कनाडाई रोबोट (Aya) और चीनी रोबोट (Qwen) ने उसी तरह का मजबूत "अपने देश को प्यार करने" वाला पूर्वाग्रह नहीं दिखाया। वास्तव में, चीनी रोबोट ने इस परीक्षण में अपने देश के प्रति लगभग कोई विशिष्ट पूर्वाग्रह नहीं दिखाया, जिसका इंटरैक्शन इफेक्ट शून्य के करीब था।
सबसे महत्वपूर्ण खोज, हालांकि, यह थी कि पुराने तरीके हमें कैसे धोखा दे रहे थे। यदि आप केवल सभी उत्तरों का एक बड़ा औसत (average) ले लेते (पुराना तरीका), तो आप सोचेंगे कि प्रत्येक रोबोट फ्रांस और चीन को नापसंद करता है। लेकिन जब शोधकर्ताओं ने अपने नए "सटीक गणित" वाले तरीके का उपयोग किया, तो उन्होंने देखा कि यह गलत था। फ्रांसीसी रोबोट (Ministral) वास्तव में फ्रांस को पसंद करता था! कनाडाई रोबोट (Aya) वास्तव में चीन को पसंद करता था! पुराने तरीके ने इन विशिष्ट, सकारात्मक भावनाओं को छिपा दिया क्योंकि वह उन्हें अन्य रोबोटों की नकारात्मक भावनाओं के साथ मिला रहा था। नए तरीके ने परतों को हटा दिया और दिखाया कि पूर्वाग्रह एक 'वन-साइज़-फिट्स-ऑल' चीज़ नहीं है; यह पूरी तरह से इस पर निर्भर करता है कि आप किस रोबोट का परीक्षण कर रहे हैं और आप वास्तव में उससे क्या पूछ रहे हैं।
यह क्यों मायने रखता है
पेपर ने यह भी दिखाया कि पुराने तरीके का परीक्षण करना खतरनाक रूप से अविश्वसनीय है। रैंडम "पासे फेंकने" के कारण, पुराने तरीके अक्सर पूर्वाग्रह की दिशा को गलत बताते हैं। कभी-कभी, वे सोचते हैं कि रोबोट सकारात्मक हो रहा है जबकि वह वास्तव में नकारात्मक हो रहा होता है, सिर्फ इसलिए क्योंकि रैंडम शोर मौजूद था। लेखकों ने गणना की कि पुराने तरीकों के साथ, आपके पास संयोग से भी पूर्वाग्रह का संकेत (sign) उल्टा होने (उल्टा बताने) की अच्छी संभावना होती है। उनका नया तरीका, जो रोबोट के अंदर के सटीक गणित को देखता है, यह गलती कभी नहीं करता।
संक्षेप में, यह पेपर तर्क देता है कि यदि हम वास्तव में समझना चाहते हैं कि ये शक्तिशाली AI एजेंट वास्तव में क्या सोचते हैं, तो हमें उन्हें ब्लैक बॉक्स की तरह मानना बंद करना होगा जो रैंडम टेक्स्ट उगलते हैं। हमें उन्हें वैज्ञानिक उपकरणों की तरह मानना होगा, उनके आंतरिक गणित को देखकर उनके वास्तविक मूल्यों को समझना होगा। ऐसा करके, हम अंततः रोबोट के वास्तविक व्यक्तित्व को परीक्षण के शोर से अलग कर सकते हैं, यह सुनिश्चित करते हुए कि जब हम इन एजेंटों को वास्तविक दुनिया में तैनात करें, तो हमें पता हो कि वे अपने साथ कौन से पूर्वाग्रह लेकर चल रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।