Ideology by Alphabet: Option Order and the Measurement of Machine Political Preferences
यह शोध पत्र यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स की स्पष्ट राजनीतिक विचारधाराएं वास्तविक प्राथमिकताओं के बजाय मुख्य रूप से निश्चित उत्तर-क्रम पूर्वाग्रहों (fixed answer-order biases) के परिणाम हैं, क्योंकि यादृच्छिक विकल्प क्रम (randomized option ordering) पूर्व में पहचाने गए वैचारिक समूहों को समाप्त कर देता है और यह प्रकट करता है कि विशिष्ट स्लॉट व्यवस्थाएं मॉडल्स को मनमाने ढंग से परस्पर विरोधी राजनीतिक रुखों के साथ लेबल कर सकती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब हम किसी कंप्यूटर से कोई चुनाव करने के लिए कहते हैं, तो हम अक्सर यह मान लेते हैं कि वह स्थिति के तथ्यों का आकलन कर रहा है। यदि एक लार्ज लैंग्वेज मॉडल—एक प्रकार का आर्टिफिशियल इंटेलिजेंस जो इंसान की तरह पढ़ और लिख सकता है—से किसी समस्या के चार अलग-अलग समाधानों में से एक को चुनने के लिए कहा जाए, तो हम उम्मीद करते हैं कि उसका उत्तर विषय की उसकी समझ को दर्शाएगा। हम मानव मतदाताओं या विशेषज्ञ पैनलों के साथ इसी तरह व्यवहार करते हैं: हम मानते हैं कि उनकी प्राथमिकताएं उनके मूल्यों और ज्ञान पर आधारित होती हैं। लेकिन सर्वेक्षण डिजाइन (सर्वे डिजाइन) की दुनिया में, मन का एक प्रसिद्ध भ्रम है जिसे "ऑर्डर इफेक्ट" (क्रम प्रभाव) कहा जाता है। यदि आप किसी व्यक्ति को चुनने के लिए विकल्पों की एक श्रृंखला देते हैं, तो सांख्यिकीय रूप से इस बात की संभावना अधिक होती है कि वे सूची में दिए गए पहले विकल्प को चुनेंगे, केवल इसलिए क्योंकि वह पहला विकल्प है जिसे उन्होंने देखा। ऐसा इसलिए होता है क्योंकि जब मस्तिष्क थक जाता है या जब विकल्प एक-दूसरे से अलग पहचानना कठिन होता है, तो वह एक शॉर्टकट लेता है। दशकों से, सामाजिक वैज्ञानिक जानते हैं कि मतपत्र या प्रश्नावली पर शब्दों का क्रम वोट के परिणाम को बदल सकता है। जो प्रश्न अनसुलझा रह गया था वह यह था कि क्या ये समान शॉर्टकट मशीनों पर भी लागू होते हैं, और यदि वे लागू होते हैं, तो क्या वे एक ऐसी राजनीतिक व्यक्तित्व का आविष्कार करने के लिए पर्याप्त मजबूत हैं जो वास्तव में मौजूद ही नहीं है।
हंगरी के डेब्रेसेन विश्वविद्यालय के शोधकर्ताओं की एक टीम ने आर्टिफिशियल इंटेलिजेंस मॉडल को राजनीतिक मतदाताओं की तरह मानकर इसका परीक्षण करने का निर्णय लिया। उन्होंने 400 विभिन्न परिदृश्यों वाला एक विशाल परीक्षण तैयार किया जिसमें वास्तविक दुनिया के शासन संबंधी मुद्दे शामिल थे, जैसे कि कार्यस्थल सुरक्षा को कैसे संभालना है, बाजारों को कैसे विनियमित करना है, या सामाजिक लाभों को कैसे वितरित करना है। प्रत्येक परिदृश्य के लिए, उन्होंने मॉडलों को चार अलग-अलग विकल्प दिए और उनसे प्रत्येक को स्कोर करने और एक विजेता चुनने के लिए कहा। उन्होंने इस परीक्षण को 15 अलग-अलग ओपन-सोर्स मॉडलों पर चलाया, जिससे 640,000 से अधिक व्यक्तिगत प्रतिक्रियाएं प्राप्त हुईं। प्रयोग के पहले चरण में, उन्होंने उस मानक पद्धति का उपयोग किया जिसका अधिकांश शोधकर्ता उपयोग करते हैं: उन्होंने हर सवाल के लिए विकल्पों का क्रम बिल्कुल एक जैसा रखा। यदि "सरकार" वाला विकल्प हमेशा पहले स्थान पर था, तो वह वहीं रहा। यदि "व्यक्तिगत" वाला विकल्प हमेशा अंत में था, तो वह वहीं रहा।
जब शोधकर्ताओं ने इस निश्चित-क्रम सेटअप से प्राप्त परिणामों का विश्लेषण किया, तो उन्हें एक ऐसा पैटर्न मिला जो काफी हद तक एक वास्तविक राजनीतिक विभाजन जैसा लग रहा था। मॉडल दो स्पष्ट समूहों में विभाजित हो गए। एक समूह, जिसे शोधकर्ताओं ने "मार्केट-रेशनलिस्ट" (बाजार-तर्कवादी) कहा, लगातार उपयोगिता, मेट्रिक्स और वित्तीय प्रोत्साहनों से संबंधित विकल्पों का पक्ष लेता था। दूसरा समूह, "इंस्टीट्यूशनलिस्ट" (संस्थागतवादी), नियमों, निष्पक्षता और सामुदायिक जिम्मेदारी से संबंधित विकल्पों का पक्ष लेता था। यह विभाजन इतना साफ और तार्किक था कि यह राजनीति विज्ञान के एक प्रसिद्ध सिद्धांत की याद दिलाता है जो अर्थव्यवस्थाओं को उदार और समन्वित प्रकारों में विभाजित करता है। परिणाम इतने सुसंगत थे कि वे विश्वसनीयता के हर मानक परीक्षण में सफल रहे। ऐसा प्रतीत हुआ जैसे शोधकर्ताओं ने सफलतापूर्वक आर्टिफिशियल इंटेलिजेंस की राजनीतिक विचारधाराओं का मानचित्र तैयार कर लिया है।
हालाँकि, शोधकर्ताओं को संदेह था कि यह साफ-सुथरा राजनीतिक मानचित्र स्वयं परीक्षण द्वारा बनाया गया एक भ्रम है। यह पता लगाने के लिए, उन्होंने ठीक वही 400 प्रश्न फिर से चलाए, लेकिन इस बार उन्होंने विकल्पों के क्रम को उलट दिया। प्रत्येक प्रश्न के लिए, उन्होंने चार विकल्पों को इस तरह घुमाया कि प्रत्येक विकल्प समान संख्या में पहले, दूसरे, तीसरे और चौथे स्थान पर दिखाई दे। इसका अर्थ यह था कि उत्तर की सामग्री अब स्क्रीन पर उसकी स्थिति से जुड़ी नहीं थी। जब उन्होंने इस रैंडमाइज्ड (यादृच्छिक) संस्करण के डेटा का विश्लेषण किया, तो वह विशिष्ट राजनीतिक मानचित्र जो उन्हें पहले दौर में मिला था, लुप्त हो गया। "मार्केट-रेशनलिस्ट" और "इंस्टीट्यूशनलिस्ट" के बीच का स्पष्ट विभाजन ढह गया। मॉडल अभी भी एक-दूसरे से वास्तव में भिन्न थे, और इन अंतरों का नया मानचित्र सांख्यिकीय रूप से विश्वसनीय था, लेकिन इसने पहले वाले निश्चित-क्रम परीक्षण द्वारा सुझाए गए दो स्पष्ट शिविर या स्वच्छ वर्गीकरण का निर्माण नहीं किया।
अध्ययन से पता चला कि पहले दौर में मिली "विचारधारा" उनकी वास्तविक मान्यताओं का प्रतिबिंब नहीं थी, बल्कि काफी हद तक उन विकल्पों के क्रम का परिणाम थी जिनमें उन्हें प्रिंट किया गया था। वे तीन मॉडल जिन्हें "मार्केट-रेशनलिस्ट" लेबल किया गया था, वास्तव में वे तीन मॉडल थे जिनमें सूची के बिल्कुल पहले विकल्प को चुनने की सबसे मजबूत आदत थी। चूंकि शोधकर्ताओं ने हर सवाल के लिए पहले स्लॉट में "मार्केट" विकल्प रखे थे, इसलिए इन तीन मॉडलों ने हर बार उन्हें चुना, जिससे एक नकली राजनीतिक हस्ताक्षर बन गया। शोधकर्ताओं ने गणना की कि स्पष्ट राजनीतिक पूर्वाग्रह का सीधा संबंध पहले स्लॉट को पसंद करने के एक सरल माप से था। वास्तव में, उनके पहले परीक्षण के लिए चुने गए विकल्पों की विशिष्ट व्यवस्था सबसे भ्रामक व्यवस्था साबित हुई, जो 13,000 से अधिक संभावित व्यवस्थाओं में से एक थी।
इस खोज के निहितार्थ उन सभी के लिए महत्वपूर्ण हैं जो सलाह के लिए इन मशीनों पर भरोसा करते हैं। शोधकर्ताओं ने पाया कि यदि आप प्रश्न और उत्तरों को बिल्कुल समान रखते हैं लेकिन विकल्पों के क्रम को बस बदल देते हैं, तो मॉडल अपनी शीर्ष सिफारिश बदल देता है। यह सामान्य यादृच्छिक त्रुटि दर (जो लगभग 33% थी) से बहुत अधिक है। इससे भी अधिक आश्चर्यजनक बात यह है कि मॉडल की अपने उत्तर पर आत्मविश्वास (कॉन्फिडेंस) में बहुत कम बदलाव आया। जब एक मॉडल ने विकल्पों को बदलने के कारण अपनी सिफारिश बदली, तो उसने अपनी नई सिफारिश के प्रति उतना ही आश्वस्त होने की रिपोर्ट दी जितना कि वह पुराने उत्तर के प्रति था। यह सुझाव देता है कि मॉडल तर्कों का वजन नहीं कर रहा है; बल्कि वह स्थिति के आधार पर एक यांत्रिक नियम का पालन कर रहा है।
अध्ययन ने यह भी दिखाया कि यह समस्या किसी विशिष्ट प्रकार के प्रश्न तक सीमित नहीं है। मॉडल कठिन, विवादास्पद नीतिगत प्रश्नों पर भी उतनी ही आसानी से अपना मन बदलने के लिए तैयार थे जितने कि आसान प्रश्नों पर। वास्तव में, ऑर्डर इफेक्ट (क्रम प्रभाव) ठीक वहीं सबसे मजबूत था जहाँ इसकी सबसे अधिक आवश्यकता थी: उन प्रश्नों पर जहाँ विकल्पों के बीच अंतर करना कठिन था। यह एक व्यवहार है जिसे "सैटिसफाइसिंग" (संतोषजनक चयन) कहा जाता है, जहाँ एक निर्णय लेने वाला, कठिन विकल्प का सामना करते हुए, उत्तर पाने के लिए सबसे आसान उपलब्ध शॉर्टकट का उपयोग करता है। इन मशीनों के लिए, शॉर्टकट सूची की पहली वस्तु को चुनना था।
शोधकर्ताओं ने निष्कर्ष निकाला कि निश्चित सूचियों का उपयोग करके आर्टिफिशियल इंटेलिजेंस के राजनीतिक झुकाव को मापना मौलिक रूप से त्रुटिपूर्ण है। एक निश्चित-क्रम परीक्षण यह नहीं बताता कि मॉडल क्या सोचता है; बल्कि यह बताता है कि मॉडल स्क्रीन के लेआउट के प्रति कैसी प्रतिक्रिया देता है। हालांकि एक अवशेष घटक (रेसिड्यूअल कंपोनेंट) वास्तविक सामग्री वरीयता के रूप में जीवित रहता है जब क्रम को रैंडमाइज किया जाता है, लेकिन यह कमजोर है और निश्चित-क्रम परीक्षणों द्वारा सुझाए गए स्पष्ट वैचारिक वर्गीकरण का निर्माण नहीं करता है। पूर्व अध्ययनों में पाई गई "विचारधारा" संभवतः केवल इस बात का एक सांख्यिकीय आर्टिफैक्ट (कृत्रिम प्रभाव) थी कि प्रश्नों को कैसे लिखा गया था। इन मॉडलों की पसंद की वास्तविक तस्वीर पाने के लिए, शोधकर्ताओं को हर बार प्रश्न पूछने पर उत्तरों के क्रम को रैंडमाइज करना चाहिए। इस कदम के बिना, मशीन के राजनीतिक रुख के बारे में कोई भी दावा केवल डिजाइन विकल्पों की लॉटरी पर आधारित एक अनुमान है। यह अध्ययन एक चेतावनी के रूप में कार्य करता है कि जब हम मशीनों से चुनाव करने के लिए कहते हैं, तो हमें सावधान रहना चाहिए कि हम शब्दों के क्रम को तर्क के भार के रूप में न समझ लें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।