It's the humans, not the data: Geopolitical bias in LLMs originates in post-training, amplified by the language of the prompt
यह अध्ययन प्रदर्शित करता है कि बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में भू-राजनीतिक पूर्वाग्रह मुख्य रूप से प्री-ट्रेनिंग डेटा से विरासत में मिलने के बजाय पोस्ट-ट्रेनिंग अलाइनमेंट चरण के दौरान उत्पन्न और प्रवर्धित होता है, और इन पूर्वाग्रहों की दिशा और परिमाण मॉडल डेवलपर के क्षेत्र और प्रॉम्प्टिंग में उपयोग की गई भाषा के आधार पर भिन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास अलग-अलग देशों (USA, फ्रांस और चीन) के छात्रों का एक समूह है जो दुनिया की घटनाओं पर निबंध लिखना सीख रहे हैं।
लंबे समय तक, लोगों ने यह मान लिया था कि यदि कोई छात्र पक्षपाती निबंध लिखता है, तो इसका कारण यह था कि उन्होंने पुस्तकालय में पक्षपाती किताबें पढ़ी थीं। AI की दुनिया में, यह "पुस्तकालय" इंटरनेट का वह विशाल डेटा है जिसे मॉडल बातचीत करना शुरू करने से पहले पढ़ता है। इसे प्री-ट्रेनिंग (pre-training) कहा जाता है।
हालाँकि, यह शोध पत्र तर्क देता है कि असली कहानी अलग है। यह वह नहीं है जो छात्रों ने पुस्तकालय में पढ़ा; बल्कि यह है कि अंतिम परीक्षा की तैयारी कक्षा (जिसे पोस्ट-ट्रेनिंग/post-training कहा जाता है) में क्या होता है जो उनके विचारों को बदल देता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "कोरी स्लेट" बनाम "अंतिम परीक्षा"
शोधकर्ताओं ने सात अलग-अलग AI "परिवारों" (जैसे अलग-अलग स्कूल) का अध्ययन किया। प्रत्येक परिवार के लिए, उन्होंने दो संस्करणों की तुलना की:
- बेस मॉडल (The Base Model): यह पुस्तकालय की किताबें पढ़ने के तुरंत बाद का छात्र है, लेकिन किसी विशिष्ट कोचिंग से पहले का।
- चैट मॉडल (The Chat Model): यह वही छात्र है जो "कोचिंग" चरण (पोस्ट-ट्रेनिंग) से गुजरने के बाद है जहाँ इंसान उन्हें विनम्रता से और सुरक्षित रूप से उत्तर देना सिखाते हैं।
निष्कर्ष: "बेस" छात्र ज्यादातर तटस्थ थे। उनके पास किसी संघर्ष में कौन सा देश सही या गलत है, इस पर कोई मजबूत राय नहीं थी। लेकिन एक बार जब वे "कोचिंग" (पोस्ट-ट्रेनिंग) से गुजरे, तो उनमें अचानक मजबूत विचार विकसित हो गए।
- उपमा: कल्पना कीजिए कि एक छात्र एक खेल प्रतिद्वंद्विता के बारे में तटस्थ है। अपने कोच द्वारा यह कहने के बाद कि, "आपको टीम A का समर्थन करना चाहिए," छात्र अचानक टीम A के लिए ज़ोर-ज़ोर से उत्साह दिखाने लगता है। पक्षपात उन किताबों से नहीं आया जो उन्होंने पढ़ी थीं; यह कोच के निर्देशों से आया।
2. "कोच की राष्ट्रीयता" मायने रखती है
शोधकर्ताओं ने पाया कि पक्षपात की दिशा इस बात पर निर्भर करती थी कि कोच कहाँ का था।
- यदि AI को पश्चिमी लैब (USA या फ्रांस) द्वारा विकसित किया गया था, तो कोचिंग ने AI को भू-राजनीतिक परिदृश्यों में चीन के खिलाफ झुका दिया।
- यदि AI को चीनी लैब (Alibaba की तरह) द्वारा विकसित किया गया था, तो कोचिंग ने AI को चीन के पक्ष में झुका दिया।
- अपवाद: एक चीनी लैब (01.AI) ने वास्तव में अपने छात्र को चीन के खिलाफ झुकने के लिए प्रशिक्षित किया, जो यह साबित करता है कि यह केवल देश के बारे में नहीं है, बल्कि मॉडल बनाने वाले लोगों द्वारा किए गए विशिष्ट विकल्पों के बारे में है।
बड़ा बदलाव: सबसे नाटकीय उदाहरण Alibaba का Qwen मॉडल था।
- कोचिंग से पहले: यह तटस्थ था (एक कोरी स्लेट की तरह)।
- कोचिंग के बाद: यह अत्यधिक प्रो-चाइना (चीन के पक्ष में) हो गया। शोधकर्ता कहते हैं कि पोस्ट-ट्रेनिंग के कारण इसके चीन के पक्ष में होने की संभावना 18 गुना बढ़ गई।
3. "प्रश्न की भाषा" पक्षपात को बढ़ा देती है
शोधकर्ताओं ने यह भी परीक्षण किया कि प्रश्न पूछने के लिए उपयोग की जाने वाली भाषा से उत्तर बदल जाता है या नहीं।
- फ्रांसीसी उदाहरण: फ्रांसीसी AI (Mistral) अंग्रेजी में पूछे जाने पर तटस्थ था। लेकिन जब फ्रेंच में पूछा गया, तो वह अचानक बहुत अधिक प्रो-फ्रांस हो गया।
- चीनी उदाहरण: चीनी मॉडल को चीनी भाषा में पूछने से कभी-कभी वे चीन के प्रति और भी अधिक समर्थक हो जाते थे, लेकिन हमेशा नहीं। कभी-कभी भाषा एक वॉल्यूम नॉब की तरह काम करती थी, जो विशिष्ट मॉडल के आधार पर पक्षपात को कम या ज्यादा कर देती थी।
उपमा: AI को एक अभिनेता के रूप में सोचें। यदि आप अभिनेता से अंग्रेजी में सवाल पूछते हैं, तो वह एक तटस्थ चरित्र निभा सकता है। लेकिन यदि आप उसी सवाल को उनकी मातृभाषा में फुसफुसाते हैं, तो वे अचानक अपनी सांस्कृतिक पृष्ठभूमि के अनुकूल एक भूमिका निभाने लगते हैं।
4. यह केवल "वास्तविक" देशों के बारे में नहीं है
यह सुनिश्चित करने के लिए कि AI केवल तथ्यों को याद नहीं कर रहा है (जैसे "चीन बड़ा है"), शोधकर्ताओं ने नकली नामों वाले नकली देश बनाए (जैसे "Zhaodong" जो चीनी जैसा लगता है, या "Bretherland" जो अंग्रेजी जैसा लगता है)।
- परिणाम: नकली देशों के साथ भी, चीनी AI ने उस देश का पक्ष लिया जो चीनी जैसा सुनाई देता था, और फ्रांसीसी AI ने उस देश का पक्ष लिया जो फ्रांसीसी जैसा सुनाई देता था।
- पाठ: AI केवल तथ्यों को याद नहीं कर रहा है; यह किसी भी स्थिति (चाहे वास्तविक हो या नकली) पर एक सांस्कृतिक लेंस लागू कर रहा है, जो इस आधार पर है कि उसे कैसे प्रशिक्षित किया गया है।
5. "इनकार करने" की तकनीक (The "Refusal" Trick)
कुछ चीनी मॉडल शुरू में चीन के बारे में सवालों के जवाब देने से इनकार करते हुए दिखाई दिए (जैसे "मैं इसका उत्तर नहीं दे सकता")। शोधकर्ताओं ने महसूस किया कि यह विचारों की कमी नहीं थी; यह एक फॉर्मेटिंग ट्रिक थी। जब उन्होंने गहराई से देखा, तो पाया कि एक बार जब उन्हें पूरा वाक्य लिखने की अनुमति मिली, तो उनके पास एक मजबूत राय थी।
- उपमा: यह उस छात्र की तरह है जो हाथ उठाता है और कहता है, "मैं उत्तर नहीं दे सकता," लेकिन जब शिक्षक कहता है, "बस एक शब्द लिख दो," तो वह तुरंत "टीम A" लिख देता है। विचार वहीं मौजूद था; बस फॉर्मेट ने उसे छिपा दिया था।
मुख्य निष्कर्ष (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि AI में भू-राजनीतिक पक्षपात डेटा का दुर्घटनाग्रस्त परिणाम नहीं है। इसके बजाय, यह सक्रिय रूप से बनाया गया है प्रशिक्षण के अंतिम चरण के दौरान जहाँ इंसान AI को विशिष्ट मूल्यों के साथ संरेखित (align) करते हैं।
- पुराना विश्वास: "AI पक्षपाती है क्योंकि इंटरनेट पक्षपाती है।"
- नया निष्कर्ष: "AI पक्षपाती है क्योंकि इसे प्रशिक्षित करने वाले लोगों (कोच) ने इसे उन विशिष्ट प्राथमिकताओं को आकार दिया है।"
इसका अर्थ यह है कि यदि हम AI में पक्षपात को ठीक करना चाहते हैं, तो हम केवल इंटरनेट डेटा को साफ नहीं कर सकते। हमें एलाइनमेंट प्रक्रिया (alignment process) को देखना होगा—वे विशिष्ट नियम और मानवीय फीडबैक जिनका उपयोग AI को यह सिखाने के लिए किया जाता है कि उसे कैसे व्यवहार करना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।