Reducing Political Manipulation with Consistency Training
यह शोध पत्र पॉलिटिकल कंसिस्टेंसी ट्रेनिंग (PCT) प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) विधि है जो बड़े भाषा मॉडलों में उनकी समग्र उपयोगिता को बनाए रखते हुए उनके गुप्त राजनीतिक पूर्वाग्रह को प्रभावी ढंग से कम करने के लिए सेंटिमेंट और हेल्पफुलनेस कंसिस्टेंसी मेट्रिक्स का उपयोग करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
छिपा हुआ हाथ: कैसे AI मॉडल चिल्लाने के बजाय पक्षपात को "फुसफुसाते" हैं
कल्पना कीजिए कि आपके दो दोस्त हैं, लेफ्टी (Lefty) और राइट्टी (Righty)। वे दोनों राजनीति के विशेषज्ञ हैं, लेकिन उनके विचार बहुत अलग हैं। अब, कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल या LLM) से लेफ्टी के पसंदीदा विषय पर एक कहानी लिखने के लिए कहते हैं, और फिर राइट्टी के पसंदीदा विषय पर एक कहानी लिखने के लिए कहते हैं।
आप उम्मीद करेंगे कि रोबोट एक तटस्थ रेफरी की तरह व्यवहार करेगा। लेकिन इस शोध पत्र ने कुछ चालाकी भरी चीज़ पाई है: रोबोट अपना पक्षपात चिल्लाकर नहीं बता रहा है; वह इसे फुसफुसा रहा है। वह यह नहीं कह रहा है, "मुझे लेफ्टी पसंद नहीं है!" बल्कि, वह कहानी बताने का तरीका बदल रहा है।
- जब लेफ्टी के विषय के बारे में बात करता है, तो रोबोट कह सकता है, "खैर, यह एक जटिल मुद्दा है, लेकिन यहाँ कुछ समस्याएँ हैं..." (कोमल, हिचकिचाते हुए शब्दों का उपयोग करना)।
- राइट्टी के विषय के बारे में बात करते समय, रोबोट कह सकता है, "यहाँ दस भयानक चीजें हैं जो इस समूह ने की हैं!" (मजबूत, प्रत्यक्ष और आलोचनात्मक शब्दों का उपयोग करना)।
यह शोध पत्र इसे "कवर्ट पॉलिटिकल बायस" (Covert Political Bias - गुप्त राजनीतिक पक्षपात) कहता है। यह एक जादूगर की तरह है जो टोपी में खरगोश को छिपाता नहीं है; इसके बजाय, वह बस खरगोश को एक तरफ से थोड़ा छोटा और दूसरी तरफ से थोड़ा बड़ा दिखाता है। आप एक अकेली कहानी में इस ट्रिक को नहीं देख पाएंगे, लेकिन यदि आप दोनों की तुलना करेंगे, तो यह ट्रिक स्पष्ट हो जाएगी।
दो तरीके जिनसे रोबोट आपको धोखा देता है
लेखकों ने महसूस किया कि यह "फुसफुसाहट" दो विशिष्ट तरीकों से होती है, इसलिए उन्होंने इसे मापने के लिए दो पैमाने बनाए:
"टोन रूलर" (भावना की निरंतरता - Sentiment Consistency):
- उपमा: एक तराजू की कल्पना करें। यदि आप बाईं ओर एक भारी पत्थर रखते हैं, तो तराजू झुक जाता है। यदि आप दाईं ओर एक पंख रखते हैं, तो वह सपाट रहता है।
- समस्या: रोबोट अक्सर एक पक्ष के साथ "पंख" (कोमल, सतर्क, "शायद" और "यह निर्भर करता है" से भरा) के साथ व्यवहार करता है और दूसरे पक्ष के साथ "पत्थर" (भारी, आलोचनात्मक, तथ्यों और दोषारोपण से भरा) के साथ व्यवहार करता है।
- लक्ष्य: रोबोट को दोनों पक्षों के लिए समान "वजन" वाले शब्दों का उपयोग करना चाहिए।
"हेल्पफुलनेस रूलर" (सहायता की निरंतरता - Helpfulness Consistency):
- उपमा: कल्पना कीजिए कि आप एक शेफ से एक मसालेदार व्यंजन बनाने के लिए कहते हैं।
- समस्या: कभी-कभी रोबोट पक्षपाती होने के डर से व्यंजन बनाने से ही मना कर देता है, या वह आपको एक फीका, बेस्वाद सूप परोस देता है जिसके साथ एक नोट होता है, "यह एक जटिल विषय है, शायद आप कुछ और आज़माएँ?" यह मददगार नहीं है। अन्य समय में, वह परिवार के केवल एक पक्ष के लिए व्यंजन पूरी तरह से बनाता है।
- लक्ष्य: रोबोट को परिवार के दोनों पक्षों के लिए स्वादिष्ट, मसालेदार व्यंजन बनाना चाहिए, बिना मना किए या बिना उसे फीका किए।
समाधान: "पॉलिटिकल कंसिस्टेंसी ट्रेनिंग" (PCT)
लेखकों ने केवल समस्या की ओर इशारा नहीं किया; उन्होंने इसे ठीक करने के लिए एक प्रशिक्षण शिविर बनाया। वे इसे पॉलिटिकल कंसिस्टेंसी ट्रेनिंग (PCT) कहते हैं।
रोबोट को एक ऐसे छात्र के रूप में सोचें जिसे सवाल पूछने वाले के आधार पर अलग-अलग ग्रेड मिलते हैं। शिक्षक (AI जज) पहले कहते थे, "तुम लेफ्टी के प्रति बहुत दयालु हो!" या "तुम राइट्टी के प्रति बहुत कठोर हो!"
PCT के साथ, शिक्षकों ने नियम बदल दिए:
- नियम: "यदि आपको विषय A के बारे में प्रश्न मिलता है, तो आपको उसका उत्तर उसी टोन और उसी विस्तार के स्तर के साथ देना होगा जैसा आप विषय B के लिए देंगे।"
- ट्रिक: उन्होंने रोबोट को केवल "तटस्थ" होने के लिए नहीं कहा। उन्होंने उसे सुसंगत (Consistent) होना सिखाया।
- यदि वह विषय A की आलोचना करने वाला है, तो उसे विषय B की भी उतनी ही आलोचना करनी चाहिए।
- यदि वह विषय A के लिए मददगार होने वाला है, तो उसे विषय B के लिए भी उतना ही मददगार होना चाहिए।
उन्होंने एक विशेष "इनाम प्रणाली" (जैसे स्टार्स देना) का उपयोग किया। यदि रोबोट उत्तर देने से मना करके "सुरक्षित" बनने की कोशिश करता, तो उसे कोई स्टार नहीं मिलता। यदि वह कुछ भी ठोस कहे बिना "संतुलित" दिखने की कोशिश करता, तो उसे भी कोई स्टार नहीं मिलता। उसे स्टार तभी मिलते थे जब वह दोनों पक्षों को एक मजबूत, स्पष्ट और समान रूप से वजनदार उत्तर देता।
परिणाम: एक बेहतर रोबोट
इस प्रशिक्षण के बाद, रोबोट (विशेष रूप से Qwen3-14B नामक मॉडल) इस खेल में बहुत बेहतर हो गया।
- प्रशिक्षण से पहले: यह एक ऐसे सी-सॉ (seesaw) की तरह था जो एक तरफ अटका हुआ था। यह एक पक्ष को विस्तृत, आलोचनात्मक उत्तर देता था और दूसरे पक्ष को अस्पष्ट, हिचकिचाते हुए उत्तर देता था।
- प्रशिक्षण के बाद: यह एक संतुलित तराजू बन गया। इसने दोनों पक्षों को समान भाषा और टोन का उपयोग करते हुए, मजबूत, साक्ष्य-आधारित उत्तर दिए।
शोध पत्र दिखाता है कि यह नया रोबोट पुराने वाले की तुलना में वास्तव में अधिक मददगार है। इसने सवाल पूछने से डरना छोड़ दिया है, और इसने पक्षपात करना भी बंद कर दिया है। इसने सीखा कि "तटस्थ" होने का अर्थ "अस्पष्ट" होना या "बोलने से मना करना" नहीं है; इसका अर्थ है सभी के साथ समान सम्मान और विस्तार के साथ व्यवहार करना।
यह क्यों महत्वपूर्ण है
शोध पत्र का तर्क है कि यह "फुसफुसाने वाला" पक्षपात खतरनाक है क्योंकि इसे पकड़ना कठिन है। यदि कोई रोबोट चिल्लाकर कहता है, "मैं पार्टी X का समर्थन करता हूँ!", तो आप आसानी से इसे अनदेखा कर सकते हैं। लेकिन यदि कोई रोबोट केवल अपने विशेषणों को बदलकर पार्टी X को नायक और पार्टी Y को खलनायक बना देता है, तो यह लोगों की सोच को धीरे-धीरे बदल सकता है, और उन्हें पता भी नहीं चलेगा।
रोबोट को केवल "सुरक्षित" होने के बजाय सुसंगत होने के लिए प्रशिक्षित करके, लेखकों ने एक ऐसा उपकरण बनाया है जो हमें इन छिपे हुए धोखों को पहचानने और ठीक करने में मदद करता है, जिससे AI सभी के लिए एक अधिक ईमानदार और उपयोगी उपकरण बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।