Large Language Models are Perplexed by some Political Parties
यह शोध पत्र प्रकट करता है कि दस बड़े भाषा मॉडलों और 37 भाषाओं में, राजनीतिक निष्पक्षता से समझौता किया गया है क्योंकि मॉडल सामाजिक-लोकतांत्रिक ग्रंथों की तुलना में दक्षिणपंथी और राष्ट्रवादी पार्टी के ग्रंथों के प्रति उच्च पर्प्लेक्सिटी (perplexity) प्रदर्शित करते हैं, जो एक ऐसा पूर्वाग्रह है जिसकी जड़ें निर्देश-ट्यूनिंग के बजाय प्रीट्रेनिंग में निहित हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने इंटरनेट पर लिखी लगभग हर चीज़ पढ़ ली है। आप इस रोबोट को "लैंग्वेज मॉडल" (Language Model) कहते हैं। अब, कल्पना कीजिए कि आप उस रोबोट को दुनिया भर के भाषण या राजनीतिक दलों के घोषणापत्र पढ़ने के लिए कहते हैं।
शोधकर्ताओं ने एक सरल प्रश्न पूछा: क्या यह रोबोट सभी राजनीतिक दलों के साथ निष्पक्ष व्यवहार करता है, या इसका कोई गुप्त पसंदीदा दल है?
यह पता लगाने के लिए, उन्होंने रोबोट से उसकी राय नहीं पूछी (क्योंकि यह मुश्किल है क्योंकि रोबोट को पूछने के तरीके के आधार पर आसानी से बहकाया जा सकता है)। इसके बजाय, उन्होंने एक "आश्चर्य मीटर" का उपयोग किया जिसे परप्लेक्सिटी (Perplexity) कहा जाता है।
"आश्चर्य मीटर" का सादृश्य (Analogy)
रोबोट को एक किताब पढ़ रहे व्यक्ति की तरह समझें।
- यदि व्यक्ति एक ऐसा वाक्य पढ़ता है जो पूरी तरह से समझ में आता है और उसकी अपेक्षा के अनुरूप है, तो वह आश्चर्यचकित नहीं होता। उसका "आश्चर्य मीटर" कम रहता है।
- यदि व्यक्ति एक ऐसा वाक्य पढ़ता है जो अजीब, भ्रमित करने वाला है, या ऐसे शब्द उपयोग करता है जो उसने पहले कभी नहीं देखे, तो वह बहुत आश्चर्यचकित होता है। उसका "आश्चर्य मीटर" बढ़ जाता है।
AI की दुनिया में, कम आश्चर्य (कम परप्लेक्सिटी) का अर्थ है कि रोबोट को टेक्स्ट समझने और भविष्यवाणी करने में आसानी होती है। उच्च आश्चर्य (उच्च परप्लेक्सिटी) का अर्थ है कि रोबोट को टेक्स्ट कठिन, अजीब या "चरित्र के विपरीत" लगता है।
उन्हें क्या मिला
शोधकर्ताओं ने 37 अलग-अलग भाषाओं के टेक्स्ट का उपयोग करके 10 अलग-अलग रोबोट्स (लार्ज लैंग्वेज मॉडेल्स) का परीक्षण किया। उन्होंने विभिन्न राजनीतिक समूहों के भाषणों को देखा, जैसे कि समाजवादियों से लेकर राष्ट्रवादियों तक।
यहाँ बड़ी खोज हुई: रोबोट कुछ राजनीतिक दलों के प्रति दूसरों की तुलना में लगातार अधिक "आश्चर्यचकित" थे।
- पसंदीदा (The Favorites): रोबोट सामाजिक लोकतांत्रिक दलों (सोचें मध्यम, केंद्र-वामपंथी समूह) द्वारा सबसे कम आश्चर्यचकित हुए। ये टेक्स्ट रोबोट के लिए "सामान्य" और समझने में आसान महसूस हुए।
- अजनबी (The Strangers): रोबोट दक्षिणपंथी और राष्ट्रवादी दलों से सबसे अधिक आश्चर्यचकित थे। ये टेक्स्ट रोबोट के लिए "अजीब" या कठिन महसूस हुए, भले ही वे उन्हीं भाषाओं में लिखे गए थे।
यह ऐसा है जैसे रोबोट के पास एक मानसिक लाइब्रेरी है जहाँ उसने मध्यम राजनीति के बारे में लाखों किताबें पढ़ी हैं, लेकिन उसके पास चरम राष्ट्रवाद के बारे में बहुत कम किताबें हैं। जब वह एक राष्ट्रवादी भाषण देखता है, तो यह उस भाषा में किताब पढ़ने जैसा होता जिसे वह मुश्किल से जानता है—वह शब्दों पर लड़खड़ाता है।
"बेस" बनाम "ट्यून्ड" रोबोट
शोधकर्ताओं ने यह भी जाँच की कि क्या यह पूर्वाग्रह रोबोट के प्रारंभिक प्रशिक्षण (इंटरनेट पढ़ना) से आया था या बाद में मनुष्यों द्वारा इसे "अच्छा" बनने के लिए सिखाया गया था (एक प्रक्रिया जिसे इंस्ट्रक्शन ट्यूनिंग - Instruction Tuning कहा जाता है)।
उन्होंने पाया कि कच्चे (raw) रोबोट में यह पूर्वाग्रह पहले से ही मौजूद था, इससे पहले कि मनुष्य उसे चैट करना सिखाते।
- सादृश्य: कल्पना कीजिए कि एक छात्र ऐसे पड़ोस में पला-बढ़ा है जहाँ हर कोई बहुत विनम्र है। भले ही आप बाद में उसे एक "अच्छा नागरिक" बनने के लिए एक सख्त शिक्षक नियुक्त करें, छात्र की स्वाभाविक प्रवृत्ति विनम्र होने की (या इस मामले में, कुछ विषयों के प्रति असहज होने की) उसकी बचपन की आदतों में पहले से ही शामिल थी।
- परिणाम: रोबोट के निर्देशों को बदलने से पूर्वाग्रह ठीक नहीं हुआ। "आश्चर्य मीटर" उन्हीं समूहों के लिए उच्च बना रहा, चाहे रोबोट "रॉ" (raw) हो या "ट्यून्ड" (tuned)।
अनुवाद का संबंध
पेपर में यह भी देखा गया कि जब ये रोबोट टेक्स्ट का अनुवाद करते हैं तो क्या होता है। उन्होंने एक सीधा संबंध पाया:
- यदि रोबोट किसी राजनीतिक दल के भाषण से आश्चर्यचकित था (उच्च परप्लेक्सिटी), तो उसने उस भाषण का दूसरी भाषाओं में खराब अनुवाद किया।
- यदि रोबोट भाषण के साथ सहज था (कम परप्लेक्सिटी), तो उसने अच्छा अनुवाद किया।
यह सुझाव देता है कि रोबोट की "अनुचितता" केवल चैट में उसके कहने के बारे में नहीं है; यह इस बारे में है कि वह टेक्स्ट को कितनी अच्छी तरह से समझता और प्रोसेस करता है।
मुख्य निष्कर्ष (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि इन AI मॉडल्स में एक अंतर्निहित "राजनीतिक स्वाद" होता है जो उनके प्रशिक्षण डेटा से आता है। वे स्वाभाविक रूप से कुछ राजनीतिक दृष्टिकोणों (जैसे सामाजिक लोकतंत्र) के साथ सहज होते हैं और स्वाभाविक रूप से दूसरों (जैसे दक्षिणपंथी राष्ट्रवाद) के साथ संघर्ष करते हैं।
यह ऐसी चीज़ नहीं है जिसे बाद में रोबोट को "निष्पक्ष रहने" के लिए कहकर आसानी से ठीक किया जा सके। पूर्वाग्रह इसकी नींव में गहराई से है, जैसे कि एक घर कैसे बनाया गया था। इसे ठीक करने के लिए, आपको उन सामग्रियों को बदलना होगा जिनका उपयोग घर बनाने के लिए किया गया था, और वह भी शुरुआत में (प्रशिक्षण डेटा में)।
महत्वपूर्ण नोट: शोधकर्ताओं ने केवल औपचारिक राजनीतिक टेक्स्ट (जैसे पार्टी प्रोग्राम और संसद के भाषण) का परीक्षण किया। उन्होंने यह परीक्षण नहीं किया कि रोबोट अनौपचारिक सोशल मीडिया पोस्ट या अनौपचारिक बातचीत को कैसे संभालते हैं, इसलिए हमें नहीं पता कि परिणाम वहां भी समान होंगे या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।