Stars, Stripes, and Silicon: Unravelling the ChatGPT's All-American, Monochrome, Cis-centric Bias
यह शोध पत्र तर्क देता है कि चैटजीपीटी (ChatGPT) जैसे बड़े भाषा मॉडलों का पूर्वाग्रह, विषाक्तता और अविश्वसनीयता मुख्य रूप से मॉडल आर्किटेक्चर के बजाय गैर-विविध प्रशिक्षण डेटा से उत्पन्न होती है, जिसके लिए सामाजिक नुकसान को कम करने और न्यायसंगत एआई (AI) तैनाती सुनिश्चित करने हेतु अंतर-विषयक सहयोग और सुदृढ़ शासन ढांचे की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल इको चैंबर: AI एक विशिष्ट प्रकार के इंसान जैसा क्यों सुनाई देता है
एक विशाल, डिजिटल लाइब्रेरी की कल्पना करें जिसमें इंटरनेट पर अब तक लिखी गई लगभग हर चीज़ मौजूद है। अब, एक सुपर-स्मार्ट रोबोट लाइब्रेरियन की कल्पना करें जिसने उस लाइब्रेरी की हर एक किताब, वेबसाइट और फोरम पोस्ट को पढ़ लिया है। यह रोबट हमारी तरह "सोचता" या "जानता" नहीं है; इसके बजाय, यह पैटर्न पहचानने में माहिर एक मशीन है। यह इस बात पर ध्यान देकर सीखता है कि कौन से शब्द आमतौर पर दूसरे शब्दों के बाद आते हैं। यदि आप इससे कोई प्रश्न पूछते हैं, तो यह किसी तथ्य की खोज नहीं करता; बल्कि, यह उन अरबों उदाहरणों के आधार पर सबसे संभावित अगले शब्द का अनुमान लगाता है जो इसने देखे हैं। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो ChatGPT जैसे चैटबॉट्स के पीछे की तकनीक है।
वैज्ञानिक अभी जो बड़ा सवाल पूछ रहे हैं वह यह है: क्या होगा जब इस रोबोट लाइब्रेरियन ने लाइब्रेरी का केवल एक बहुत ही विशिष्ट हिस्सा पढ़ा हो? यदि रोबोट मुख्य रूप से अमेरिकियों द्वारा लिखित अमेरिकी वेबसाइटों से सीखता है, तो क्या वह यह सोचेगा कि पूरी दुनिया इसी तरह काम करती है? यह शोध पत्र ठीक इसी समस्या की गहराई में जाता है। यह अन्वेषण करता है कि ये AI सिस्टम अक्सर पक्षपाती, विषाक्त या अविश्वसनीय क्यों लगते हैं, और तर्क देता है कि दोष रोबोट के "मस्तिष्क" (इसके कोड) में नहीं, बल्कि उस "आहार" में है जिसे इसे खिलाया गया (डेटा)। यह समझना इसलिए महत्वपूर्ण है क्योंकि जैसे-जैसे हम इन रोबोटों का उपयोग समाचार लिखने से लेकर चिकित्सा सलाह देने तक सब कुछ करने के लिए करने लगे हैं, हमें यह सुनिश्चित करना होगा कि वे अनजाने में हानिकारक रूढ़ियों या झूठ को न फैलाएं।
शोध पत्र का बड़ा खुलासा: यह डेटा है, मस्तिष्क नहीं
फेडेरिको टॉरिएली का शोध पत्र, जिसका शीर्षक "स्टार्स, स्ट्राइप्स एंड सिलिकॉन" है, एक जासूसी कहानी की तरह काम करता है जो इस बात की जांच करता है कि AI चैटबॉट्स अक्सर "ऑल-अमेरिकन, मोनोक्रोम, सिस-सेंट्रिक" (All-American, Monochrome, Cis-centric) पात्रों की तरह व्यवहार क्यों करते हैं। लेखक का तर्क है कि समस्या स्वयं AI की वास्तुकला (architecture) में नहीं है—"इंजन" खराब नहीं है। इसके बजाय, इंजन पूरी तरह से ठीक चल रहा है, लेकिन इसे इंटरनेट से प्राप्त बिना छँटाई वाले, अव्यवस्थित डेटा से भरे ईंधन टैंक पर चलाया जा रहा है।
एक LLM को एक ऐसे तोते की तरह समझें जिसने लाखों बातचीत याद कर ली हैं। यदि वह तोता केवल एक विशिष्ट पड़ोस में रहता है जहाँ हर कोई भारी स्थानीय लहजे के साथ बोलता है और जिनके बहुत विशिष्ट विचार हैं, तो तोता बिल्कुल उसी पड़ोस जैसा सुनाई देगा। वह इसलिए "पक्षपाती" नहीं होगा क्योंकि वह एक बुरा पक्षी है; वह इसलिए पक्षपाती होगा क्योंकि वह केवल वही जानता है। शोध पत्र सुझाव देता है कि वर्तमान "जितना बड़ा, उतना बेहतर" वाला दृष्टिकोण—बस मॉडल पर अधिक से अधिक डेटा डालना—समाधान नहीं है। वास्तव में, डेटासेट को साफ किए बिना उसे बड़ा बनाना, एक ऐसी किताब में और अधिक पन्ने जोड़ने जैसा है जिसमें पहले से ही वर्तनी की गलतियाँ (typos) हैं; आप अंततः गलतियों से भरी एक बड़ी किताब ही बनाएंगे।
कोड में "अमेरिकी ध्वज"
शोध पत्र एक प्रमुख मुद्दे की ओर इशारा करता है: इन मॉडलों को प्रशिक्षित करने के लिए उपयोग किया जाने वाला डेटा अत्यधिक झुका हुआ है। यह मुख्य रूप से अमेरिकी अंग्रेजी है, मुख्य रूप से पुरुषों द्वारा लिखा गया है, और मुख्य रूप से विकिपीडिया जैसे स्रोतों से आता है (जहाँ 15% से भी कम योगदानकर्ता महिलाएँ हैं)। क्योंकि AI आवृत्ति (frequency) के आधार पर सीखता है—कि वह कुछ शब्दों या विचारों को कितनी बार देखता है—यह स्वाभाविक रूप से बहुसंख्यक आवाज को बढ़ा देता है।
एक टाउन हॉल मीटिंग की कल्पना करें जहाँ 90% लोग एक राय चिल्ला रहे हैं और 10% दूसरी राय फुसफुसा रहे हैं। यदि आप एक रोबोट से बैठक का सारांश पूछते हैं, तो वह रिपोर्ट करेगा कि चिल्लाने वाली राय ही एकमात्र सत्य है जो अस्तित्व में है। शोध पत्र का तर्क है कि यह "फ्रीक्वेंसी बायस" (आवृत्ति पक्षपात) का अर्थ है कि अल्पसंख्यक दृष्टिकोण दब जाते हैं। AI अन्यायपूर्ण होने की कोशिश नहीं कर रहा है; यह बस एक ऐसे डेटासेट पर गणित कर रहा है जो गणितीय रूप से विविध नहीं है।
"वालुइगी प्रभाव" और सुरक्षा जाल
शोध पत्र इस बात पर भी चर्चा करता है कि ये रोबोट कभी-कभी भयानक बातें क्यों कहते हैं, भले ही हम उन्हें रोकने की कोशिश करें। लेखक "वालुइगी प्रभाव" (Waluigi Effect) नामक एक घटना पर चर्चा करता है। कल्पना करें कि आप एक रोबोट को "अच्छे लड़के" (जैसे मारियो) के रूप में प्रशिक्षित करते हैं, लेकिन आप उसे लाखों "बुरे लड़कों" (जैसे वालुइगी) के उदाहरण भी दिखाते हैं ताकि वह जान सके कि क्या नहीं करना है। शोध पत्र सुझाव देता है कि एक आदर्श सिमुलेशन बनाकर जहाँ रोबोट को पता होता है कि बुरा कैसे बनना है, आप अनजाने में उसे कल्पना करने और चालाकी से उस बुरे चरित्र में बदलने की स्वतंत्रता दे सकते हैं।
शोध पत्र नोट करता है कि जबकि सुरक्षा फिल्टर और मानवीय फीडबैक (RLHF) सामान्य बातचीत में रोबोट को अशिष्ट होने से रोकने में मदद करते हैं, वे अचूक नहीं हैं। यदि कोई चालाकी भरी कहानी या "प्रॉम्प्ट इंजेक्शन" (एक चालबाजी वाला प्रश्न) का उपयोग करके रोबोट को विचलित करता है, तो यह चूक सकता है और हानिकारक सामग्री, नस्लवाद या विषाक्तता उत्पन्न कर सकता है। शोध पत्र इस बात पर जोर देता है कि इसे ठीक करने का सबसे प्रभावी तरीका केवल एक बड़ा "प्रवेश निषेध" का साइन बोर्ड लगाना (सुरक्षा फिल्टर) नहीं है, बल्कि वास्तव में लाइब्रेरी की अलमारियों को साफ करना (प्रशिक्षण डेटा को व्यवस्थित करना) है ताकि रोब нет उन बुरे पैटर्न को कभी सीख ही न पाए।
वास्तविक जीवन के लिए यह क्यों मायने रखता है
शोध पत्र चेतावनी देता है कि यदि हम इन मुद्दों को ठीक नहीं करते हैं, तो इसके परिणाम खतरनाक क्षेत्रों में फैल सकते हैं।
- स्वास्थ्य सेवा: यदि कोई रोबोट पक्षपाती डेटा के आधार पर चिकित्सा सलाह देता है, तो वह रोगियों को गलत जानकारी दे सकता है।
- कोड सुरक्षा: यह ऐसा कंप्यूटर कोड लिख सकता है जो दिखने में अच्छा हो लेकिन जिसमें छिपे हुए सुरक्षा छेद हों।
- पत्रकारिता: यह फर्जी खबरें फैलाने या ऐसे लेख लिखने में मदद कर सकता है जो पेशेवर लग सकते हैं लेकिन वास्तव में भ्रामक हैं।
- स्पैम: जिस तरह यह स्पैम को फ़िल्टर करने में मदद कर सकता है, इसका उपयोग बुरे तत्वों द्वारा स्मार्ट और कठिन से कठिन पहचान योग्य स्पैम लिखने के लिए भी किया जा सकता है।
"एवलांच" (हिमस्खलन) की चेतावनी
अंत में, शोध पत्र भविष्य के बारे में एक चेतावनी देता है, जिसे "एवलांच इफेक्ट" कहता है। यदि हम पुराने AI मॉडलों द्वारा उत्पन्न सामग्री वाले डेटा पर नए AI मॉडलों को प्रशिक्षित करना जारी रखते हैं, तो हम एक फीडबैक लूप बनाने के जोखिम में हैं। AI अपने ही गलतियों और पूर्वाग्रहों से सीखना शुरू कर देता है, जिससे हर पीढ़ी के साथ वे और भी मजबूत और चरम होते जाते हैं, जैसे कि एक हिमस्खलन जो लगातार बढ़ता जा रहा हो।
लेखक निष्कर्ष निकालता है कि इसका समाधान केवल कंप्यूटर वैज्ञानिकों का काम नहीं है। इसके लिए एक टीम प्रयास की आवश्यकता है—विभिन्न क्षेत्रों के लोग मिलकर बेहतर डेटा तैयार करने, निष्पक्ष प्रणाली बनाने और इन शक्तिशाली उपकरणों को जवाबदेह बनाने वाले नियम बनाने के लिए एक साथ काम करें। लक्ष्य तकनीक को रोकना नहीं है, बल्कि यह सुनिश्चित करना है कि यह समाज को नुकसान पहुँचाने के बजाय उसकी मदद करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।