Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data

लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) उन कई आर्टिफिशियल इंटेलिजेंस टूल्स के पीछे के इंजन हैं जिनका हम आज उपयोग करते हैं, उन चैटबॉट्स से लेकर जो सवालों के जवाब देते हैं, उन सिस्टम्स तक जो कोड लिखने में मदद करते हैं। ये मशीनें कक्षा में नियम सिखाए जाने से नहीं सीखतीं; इसके बजाय, वे इंटरनेट, किताबों और अन्य डिजिटल स्रोतों से टेक्स्ट की विशाल मात्रा को पढ़कर सीखती हैं। इस प्रक्रिया को 'ट्रेनिंग' (प्रशिक्षण) कहा जाता है। एक मॉडल को प्रवाहपूर्ण और ज्ञानवान बनाने के लिए, इसे टेक्स्ट के ऐसे पुस्तकालय का उपभोग करना चाहिए जो इतना बड़ा हो कि उसे पढ़ने में एक मनुष्य का पूरा जीवन बीत जाए। शोधकर्ता लंबे समय से इस बात पर ध्यान केंद्रित कर रहे हैं कि इन मॉडल्स को कैसे बनाया जाता है और उनकी प्रारंभिक शिक्षा के बाद उन्हें कैसे ट्यून किया जाता है ताकि यह सुनिश्चित किया जा सके कि वे सुरक्षित और सहायक हों। हालाँकि, एक महत्वपूर्ण प्रश्न लंबे समय से अनकहा रह गया है: मॉडल वास्तव में शुरू में किस तरह की सामग्री पढ़ रहा है? यदि प्रशिक्षण पुस्तकालय में हानिकारक, घृणास्पद या खतरनाक विचार हैं, तो मॉडल उन्हें दोहराना सीख सकता है, भले ही उसके निर्माता बाद में उसे बेहतर व्यवहार सिखाने का प्रयास करें। यह केवल एक तकनीकी गड़बड़ी नहीं है; यह सार्वजनिक सुरक्षा का मामला है, क्योंकि ये सिस्टम विभिन्न आयु वर्ग के लोगों द्वारा, जिनमें बच्चे भी शामिल हैं, उपयोग किए जा रहे हैं, जो बिना किसी चेतावनी के खतरनाक दृष्टिकोणों का सामना कर सकते हैं।

मैनचेस्टर विश्वविद्यालय के शोधकर्ताओं की एक टीम ने वैज्ञानिक समुदाय के लिए उपलब्ध सबसे महत्वपूर्ण ओपन-सोर्स टेक्स्ट संग्रहों में से एक के प्रशिक्षण डेटा की सामग्री की जांच करने का निर्णय लिया। 'डोल्मा' (Dolma) के रूप में जाना जाने वाला यह संग्रह, OLMo नामक उन्नत भाषा मॉडल्स की एक श्रृंखला का आधार बनता है। शोधकर्ता यह जानना चाहते थे कि क्या इस विशाल पुस्तकालय में चरमपंथी भाषण (extremist speech) मौजूद है—ऐसा टेक्स्ट जो हिंसा, घृणा या लोकतांत्रिक व्यवस्थाओं को उखाड़ फेंकने को बढ़ावा देता है। इसका उत्तर देने के लिए, उन्होंने केवल अनुमान नहीं लगाया या किसी एक कंप्यूटर प्रोग्राम पर भरोसा नहीं किया। इसके बजाय, उन्होंने इन दस्तावेजों को खोजने के लिए एक सावधानीपूर्वक, बहु-चरणीय प्रक्रिया बनाई। उन्होंने डोल्मा संग्रह से 200,000 दस्तावेजों का एक रैंडम सैंपल (यादृच्छिक नमूना) लेकर शुरुआत की, जो उन तीन ट्रिलियन शब्दों का एक छोटा लेकिन सांख्यिकीय रूप से सार्थक हिस्सा है जिन पर मॉडल को प्रशिक्षित किया गया था। फिर उन्होंने इन दस्तावेजों को स्कैन करने के लिए कई अलग-अलग कंप्यूटर मॉडल्स का उपयोग किया, और प्रत्येक से ऐसे टेक्स्ट की पहचान करने के लिए कहा जो चरमपंथ की विशिष्ट परिभाषाओं से मेल खाता हो। ये परिभाषाएं यूनाइटेड किंगडम के आधिकारिक सरकारी दिशानिर्देशों और आतंकवाद एवं राजनीतिक हिंसा के अध्ययन करने वाले शैक्षणिक विशेषज्ञों से ली गई थीं।

प्रक्रिया को 'कंजर्वेटिव' (रूढ़िवादी/सावधानीपूर्ण) बनाया गया था, जिसका अर्थ है कि शोधकर्ता किसी चीज़ को चरमपंथी के रूप में लेबल करने से पहले बहुत सुनिश्चित होना चाहते थे। उन्होंने "यूनियन चेक" नामक तकनीक का उपयोग किया, जहाँ उन्होंने कंप्यूटर मॉडल्स से किसी दस्तावेज़ को तब फ्लैग (चिह्नित) करने के लिए कहा यदि वह चरमपंथ की विभिन्न परिभाषाओं में से किसी से भी मेल खाता हो। इससे यह सुनिश्चित करने में मदद मिली कि कंप्यूटर मॉडल्स कार्य को सही ढंग से समझ रहे हैं। एक बार जब कंप्यूटरों ने संभावित मिलान को फ्लैग कर दिया, तो शोधकर्ताओं ने उन्हें और अधिक सूक्ष्म जांच के लिए प्रस्तुत किया। उन्होंने गलत अलार्म (false alarms) को छानने के लिए एक अधिक शक्तिशाली आर्टिफिशियल इंटेलिजेंस सिस्टम का उपयोग किया, और अंत में, वे एक मानव विशेषज्ञ को लाए जो चरमपंथी भाषण के अध्ययन में विशेषज्ञ है, ताकि फ्लैग किए गए टेक्स्ट के एक छोटे नमूने को बारीकी से पढ़ा जा सके। यह मानव समीक्षा महत्वपूर्ण थी क्योंकि दुनिया में पाया जाने वाला टेक्स्ट अक्सर अव्यवस्थित होता है, कोडेड भाषा से भरा होता है, या ऐसे तरीके से लिखा जाता है जिसे मशीनों के लिए समझना कठिन होता है। विशेषज्ञ ने इन दस्तावेजों को यह पुष्टि करने के लिए पढ़ा कि क्या उनमें वास्तव में वे खतरनाक विमर्श (narratives) मौजूद हैं जिन्हें शोधकर्ता खोज रहे थे।

इस जांच के परिणाम स्पष्ट और चिंताजनक थे। शोधकर्ताओं ने पाया कि डोल्मा प्रशिक्षण संग्रह में लगभग निश्चित रूप से सैकड़ों हजार दस्तावेजों में चरमपंथी सामग्री मौजूद है। अपने रूढ़िवादी अनुमानों के आधार पर, उन्होंने गणना की कि रैंडम सैंपल में से लगभग हर 2,000 दस्तावेजों में से एक में चरमपंथी विमर्श या घृणास्पद भाषण था। जब उन्होंने इस दर को पूरे डेटासेट पर लागू किया, जो अरबों दस्तावेजों का बना है, तो आंकड़ों ने हानिकारक सामग्री के एक विशाल भंडार की ओर इशारा किया। अध्ययन ने खतरनाक सामग्री के विभिन्न प्रकारों की पहचान की, जिसमें हिंसा के सीधे आह्वान, विशिष्ट नस्लीय या धार्मिक समूहों को लक्षित करने वाला घृणास्पद भाषण, और वे विमर्श शामिल हैं जो लोकतांत्रिक संस्थानों को कमजोर करने का प्रयास करते हैं। दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि डेटा को खोजने के लिए उपयोग की गई चरमपंथ की विशिष्ट परिभाषा ने परिणामों को बदल दिया। एक परिभाषा, जो "इन-ग्रुप्स" (अपने समूह) और "आउट-ग्रूप्स" (बाहरी समूह) के बीच संघर्ष पर केंद्रित थी, ने बहुत व्यापक जाल फैलाया और ऐसे कई टेक्स्ट पकड़े जो घृणास्पद तो थे लेकिन राजनीतिक अर्थों में आवश्यक रूप से चरमपंथी नहीं थे। दूसरी परिभाषा, जो आधिकारिक सरकारी मानदंडों पर आधारित थी, अधिक सटीक थी लेकिन फिर भी उसने काफी मात्रा में हानिकारक सामग्री की पहचान की।

एक चौंकाने वाली खोज नमूने में एक विशिष्ट प्रकार के चरमपमता का अभाव था। इंटरनेट की वैश्विक प्रकृति के बावजूद, शोधकर्ताओं को अपने नमूने में जिहादी आतंकवाद से संबंधित लगभग कोई टेक्स्ट नहीं मिला, जिसमें ऐसी किसी घटना के बारे में केवल एक समाचार कहानी दिखाई दी। यह सुझाव देता है कि आतंकवादी संगठनों के संबंध में सख्त नियमों और कॉर्पोरेट नीतियों ने संभवतः उस विशिष्ट प्रकार की सामग्री को सार्वजनिक डेटासेट्स से सफलतापूर्वक हटा दिया है जो इन मॉडल्स को फीड करते हैं। हालांकि, अध्ययन में पाया गया कि दक्षिणपंथी चरमपंथी विमर्श (right-wing extremist narratives) कहीं अधिक प्रचलित थे, जो अक्सर राजनीतिक ब्लॉग, फोरम कमेंट्स और षड्यंत्र सिद्धांतों (conspiracy theories) के रूप में दिखाई देते थे। शोधकर्ताओं ने यह भी नोट किया कि उनके द्वारा पाई गई अधिकांश सामग्री "बॉर्डरलाइन" (सीमावर्ती) थी—ऐसा टेक्स्ट जो अत्यधिक ध्रुवीकृत, हिंसक या घृणास्पद था लेकिन हमेशा चरमपंथ की सख्त कानूनी परिभाषा में फिट नहीं बैठता था। यह ग्रे एरिया (धुंधला क्षेत्र) विशेष रूप से खतरनाक है क्योंकि इसे फ़िल्टर करना कठिन है, फिर भी यह उन मॉडल्स के लिए चरमपंथी विचारों को सामान्य बना सकता है जो इन्हें पढ़ते हैं।

इन निष्कर्षों के निहितार्थ केवल उन तकनीकी विवरणों तक सीमित नहीं हैं कि इन मॉडल्स को कैसे बनाया जाता है। शोधकर्ता तर्क देते हैं कि इस समस्या को केवल मॉडल्स को ठीक करने के प्रयास से हल नहीं किया जा सकता है जो इस डेटा से पहले ही सीख चुके हैं। यदि किसी मॉडल ने हिंसा का आह्वान करने या घृणा को बढ़ावा देने वाले हजारों दस्तावेजों को याद कर लिया है, तो अतिरिक्त सुरक्षा प्रशिक्षण के साथ भी उसे उन पैटर्न को भूलने में कठिनाई हो सकती है। अध्ययन इस बात पर प्रकाश डालता है कि प्रशिक्षण डेटा की संरचना एक मौलिक मुद्दा है जिसके लिए उन लोगों से तत्काल ध्यान देने की आवश्यकता है जो इन सिस्टम्स का निर्माण करते हैं। केवल उन मॉडल्स के व्यवहार पर ध्यान केंद्रित करना पर्याप्त नहीं है जिन्हें रिलीज़ किया जाता है; अंतिम उत्पाद की सुरक्षा काफी हद तक इस बात पर निर्भर करती है कि उसके प्रारंभिक शिक्षण चरण के दौरान उसमें क्या डाला गया था। शोधकर्ता निष्कर्ष निकालते हैं कि आर्टिफिशियल इंटेलिजेंस के प्रशिक्षण पुस्तकालयों में किस प्रकार की सामग्री शामिल करना स्वीकार्य है, इस पर एक व्यापक चर्चा की आवश्यकता है, विशेष रूप से जब उन पुस्तकालयों का उपयोग उन टूल्स को बनाने के लिए किया जाता है जो रोजमर्रा के जीवन में जनता के साथ संवाद करते हैं।