Language-Specific Gaps in AI Safety Training Datasets
यह शोध पत्र निम्न-, मध्य- और उच्च-संसाधन वाली भाषाओं में एआई (AI) सुरक्षा प्रशिक्षण डेटासेट के स्रोत (provenance), एनोटेशन और हानि-वर्गीकरण (harm-taxonomy) कवरेज में मौजूद महत्वपूर्ण, अक्सर अनसुलझे अंतराल को उजागर करता है, जो यह प्रदर्शित करता है कि ये संरचनात्मक कमियाँ—विशेष रूप से अफ्रीकी भाषाओं और विशिष्ट हानि श्रेणियों में—बहुभाषी सुरक्षा दावों को कमजोर करती हैं और मल्टी-टर्न जेलब्रेक हमलों के विरुद्ध निरंतर कमजोरियों में योगदान देती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, हलचल भरे पुस्तकालय के रूप में करें जहाँ हर संभव भाषा में पुस्तकें लिखी गई हैं। लंबे समय तक, पुस्तकालयाध्यक्षों (वे लोग जो AI बना रहे हैं) ने मुख्य रूप से अंग्रेजी बोली, इसलिए उन्होंने सभी सुरक्षा नियम और "प्रवेश निषेध" के संकेत अंग्रेजी में लिखे। हाल ही में, उन्हें एहसास हुआ कि उन्हें अन्य भाषा बोलने वाले पाठकों का स्वागत करने की आवश्यकता है, इसलिए उन्होंने उन संकेतों का अनुवाद करना शुरू कर दिया। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि एक पुस्तकालय कहता है कि उसके पास 20 अलग-अलग भाषाओं के लिए सुरक्षा नियम हैं, इसका मतलब यह नहीं है कि वे नियम वास्तव में वहाँ हैं, या वे उन भाषाओं में अर्थपूर्ण हैं। यह शोध पत्र कंप्यूटर विज्ञान के "AI सुरक्षा" (AI Safety) कोने में गहराई से उतरता है। यह देखता है कि हम कंप्यूटर को विनम्र, सुरक्षित और सहायक होने के लिए कैसे सिखाते हैं, और विशेष रूप से यह जाँचता है कि उन्हें सिखाने के लिए उपयोग की जाने वाली प्रशिक्षण सामग्री वास्तव में गैर-अंग्रेजी भाषियों के लिए पर्याप्त अच्छी है या नहीं। बड़ा सवाल यह है: क्या हम सिर्फ एक संकेत पर अनुवाद का स्टिकर चिपका रहे हैं, या हमने वास्तव में सभी के लिए एक नया, सांस्कृतिक रूप से उपयुक्त नियम संग्रह लिखा है?
इस शोध पत्र के लेखकों ने जासूस खेलने का निर्णय लिया। वे केवल AI कंपनियों की इस बात पर भरोसा नहीं कर सकते थे कि उनके मॉडल सभी के लिए सुरक्षित हैं। इसके बजाय, वे अभिलेखागार में गए और 21 विभिन्न सुरक्षा डेटा संग्रहों (वे "नियम पुस्तकें" जिनका उपयोग AI को प्रशिक्षित करने के लिए किया जाता है) का 25 अलग-अलग भाषा स्लाइसों में ऑडिट किया। उन्होंने संसाधनों के विभिन्न स्तरों का प्रतिनिधित्व करने के लिए तीन भाषाओं पर ध्यान केंद्रित किया: हौसा (कम-संसाधन, एक छोटे गाँव के पुस्तकालय की तरह), स्वाहिली (मध्यम-संसाधन, एक कस्बे के पुस्तकालय की तरह), और फ्रेंच (उच्च-संसाधन, एक विशाल शहर के पुस्तकालय की तरह)।
यहाँ उन्हें जो मिला, वह कुछ ऐसा है जैसे यह पता चलना कि गाँव के पुस्तकालय में "सुरक्षा" अनुभाग लगभग खाली है, जबकि शहर के पुस्तकालय का अनुभाग उन किताबों से भरा है जिन्हें अंग्रेजी से बस फोटोकॉपी किया गया है।
"अनुवाद का जाल" (The Translation Trap)
सबसे बड़ा आश्चर्य यह था कि कई डेटासेट दावा करते हैं कि वे "नेटिव" (वे लोग जिन्होंने उस भाषा में जन्म लिया और पली-बढ़ी है) हैं, लेकिन जब लेखकों ने बारीकी से देखा, तो वे वास्तव में अंग्रेजी से मशीन-अनुवादित थे। यह एक ऐसे रेस्तरां की तरह है जो दावा करता है कि वह "प्रामाणिक स्थानीय व्यंजन" परोस रहा है, लेकिन जब आप रसोई में झाँकते हैं, तो आप देखते हैं कि एक रोबोट दूसरे देश के मेनू का अनुवाद कर रहा है और उसे एक प्लेट पर चिपका रहा है। कम-संसाधन वाली भाषा (हौसा) के लिए, लगभग सारा सुरक्षा डेटा या तो अनुवादित था या कंप्यूटर द्वारा बनाया गया था, न कि मूल भाषियों द्वारा लिखा गया था। इससे भी बुरा यह था कि कुछ मामलों में, अनुवाद इतना खराब था कि वह शोधकर्ताओं द्वारा निर्धारित न्यूनतम स्वीकार्य मानक के स्तर से भी नीचे गिर गया। एक विशिष्ट पाइपलाइन ने हौसा और स्वाहिली दोनों का परीक्षण किया; स्वाहिली संस्करण ने परीक्षण आसानी से पास कर लिया, लेकिन हौसा संस्करण विफल रहा, भले ही उन्होंने बिल्कुल उसी प्रक्रिया का उपयोग किया था। यह साबित करता है कि समस्या यह नहीं है कि भाषा का अनुवाद करना "कठिन" है; बल्कि समस्या यह है कि विशिष्ट भाषा के लिए प्रक्रिया पर्याप्त सावधानीपूर्ण नहीं थी।
"लुप्त अध्याय" की समस्या (The "Missing Chapters" Problem)
लेखकों ने यह भी जाँच की कि क्या सुरक्षा नियमों में सभी खतरनाक विषयों को शामिल किया गया है। उन्हें एक बड़ा अंतर मिला: अफ्रीकी भाषाओं के लिए, आत्म-क्षति (self-harm) या यौन सामग्री (sexual content) के बारे में लगभग कोई मूल नियम नहीं थे। यह ऐसा है जैसे पुस्तकालय में "चोरी न करें" और "लड़ें नहीं" पर पूरा अनुभाग हो, लेकिन "स्वयं को चोट न पहुँचाएँ" और "निजी चीजों को निजी रखें" के शेल्फ पूरी तरह खाली हों। यह एक पूर्ण अंतराल है, केवल एक छोटा सा अंतर नहीं। फ्रेंच के लिए, ये विषय कवर किए गए थे, लेकिन हौसा और स्वाहिली के लिए, डेटा बस मूल रूप में मौजूद ही नहीं था। इसका मतलब यह है कि यदि कोई उपयोगकर्ता अपनी मूल भाषा में इन संवेदनशील विषयों के बारे में AI से पूछता है, तो AI सांस्कृतिक बारीकियों को नहीं समझ पाएगा या गलत उत्तर दे सकता है क्योंकि उसे सही नियम कभी सिखाए ही नहीं गए।
"दोहरी गणना" का भ्रम (The "Double-Counting" Illusion)
लेखकों ने एक और चाल का खुलासा किया जिसे "दोहरी गणना" कहा जाता है। कल्पना कीजिए कि एक पुस्तकालय दावा करता है कि उसके पास 10,000 अद्वितीय पुस्तकें हैं। लेकिन यदि आप ध्यान से देखें, तो आपको एहसास होता है कि उन्होंने बस उन्हीं 1,000 पुस्तकों को लिया, उन्हें अलग-अलग कवर के साथ पुन: लेबल किया, और उन्हें नई पुस्तकों के रूप में गिना। शोधकर्ताओं ने पाया कि स्वाहिली के लिए, कई डेटासेट केवल वही मूल ट्वीट्स या पोस्ट थे जिन्हें विभिन्न समूहों द्वारा पुन: एनोटेट (पुन: लेबल) किया गया था। इसने ऐसा दिखाया जैसे कि बहुत बड़ी मात्रा में डेटा उपलब्ध है, लेकिन वास्तव में, "विविधता" एक भ्रम थी। यह एक ऐसी प्लेलिस्ट की तरह है जिसमें कहा गया है कि इसमें 500 गाने हैं, लेकिन वास्तव में यह वही 50 गाने हैं जिन्हें अलग-अलग नामों के साथ बार-बार बजाया जा रहा है।
"कम-संसाधन" लेबल पूरी कहानी नहीं है
आप सोच सकते हैं, "बेशक, छोटे गाँव के पुस्तकालय में बड़े शहर के पुस्तकालय की तुलना में कम किताबें होंगी।" शोध पत्र इस बात से सहमत है कि कम-संसाधन वाली भाषाओं में डेटा कम होता है, लेकिन यह तर्क देता है कि यह केवल इस बारे में नहीं है कि कितना डेटा है; बल्कि यह इस बारे में है कि किस प्रकार का डेटा है। उन्होंने पाया कि कभी-कभी मध्यम-संसाधन वाली भाषा (स्वाहिली) का गुणवत्ता स्कोर विशिष्ट कार्यों के लिए कम-संसाधन वाली भाषा (हौसा) से भी खराब था, और कभी-कभी उच्च-संसाधन वाली भाषा (फ्रेंच) में उन क्षेत्रों में अंतराल था जहाँ मध्यम-संसाधन वाली भाषा का मजबूत, मूल कवरेज था। यह सुझाव देता है कि समस्या केवल धन या कंप्यूटरों की कमी नहीं है; यह इस बारे में है कि अनुसंधान समुदाय क्या बनाने को प्राथमिकता देते हैं। यदि कोई समुदाय चुनावी दुष्प्रचार (misinformation) की गहरी चिंता करता है, तो वे उसके लिए बेहतरीन डेटा बनाते हैं। यदि वे नहीं करते हैं, तो वह डेटा मौजूद नहीं होता, चाहे उनकी भाषा कितनी भी "समृद्ध" क्यों न हो।
वास्तविक दुनिया का परिणाम
यह क्यों मायने रखता है? शोध पत्र इन गायब या खराब डेटा अंतराल को एक वास्तविक सुरक्षा समस्या से जोड़ता है। शोधकर्ताओं ने पाया है कि जबकि AI मॉडल अफ्रीकी भाषाओं में सरल, एक-वाक्य वाले "जेलब्रेक्स" (AI को कुछ बुरा कहने के लिए बहकाने की तरकीबें) को रोकने में बेहतर हो रहे हैं, वे जटिल, बहु-चरणीय (multi-turn) बातचीत को रोकने में विफल हो रहे हैं। लेखक तर्क देते हैं कि ऐसा इसलिए है क्योंकि उन जटिल बातचीत के लिए प्रशिक्षण डेटा मुख्य रूप से सिंथेटिक (कंप्यूटर द्वारा निर्मित) और अनुवादित है, न कि मूल (native)। यह एक ड्राइवर को लाल बत्ती पर रुकना सिखाने (आसान, एकल चरण) जैसा है, लेकिन उसे अचानक तूफान या फिसलन भरी सड़क (जटिल, बहु-चरणीय) को कैसे संभालना है, यह कभी नहीं सिखाया गया। AI सरल ट्रिक्स को संभाल सकता है लेकिन जब बातचीत जटिल होती है तो वह बिखर जाता है।
निष्कर्ष (The Takeaway)
यह शोध पत्र यह नहीं कहता कि हमें सभी के लिए AI को सुरक्षित बनाने का प्रयास बंद कर देना चाहिए। इसके बजाय, यह कहता है कि हमें यह दावा करने से बचना चाहिए कि "बहुभाषी" होने का अर्थ यह है कि सब कुछ ठीक है। सिर्फ इसलिए कि एक डेटासेट कहता है कि इसमें 14 भाषाएँ शामिल हैं, इसका मतलब यह नहीं है कि सुरक्षा नियम वास्तव में उन सभी के लिए मौजूद हैं। लेखक सुझाव देते हैं कि रचनाकारों को ईमानदार होने की आवश्यकता है: यदि कोई भाषा स्लाइस अनुवादित है, तो कहें कि वह अनुवादित है। यदि कोई विषय गायब है, तो स्वीकार करें कि वह गायब है। वे चाहते हैं कि हम "मुख्य शीर्षक" वाली संख्याओं को गिनना बंद करें और पाई के व्यक्तिगत टुकड़ों (slices) को देखना शुरू करें। जब तक हम ऐसा नहीं करते, AI शायद अंग्रेजी बोलने वालों के लिए सुरक्षित होगा, लेकिन कई अन्य लोगों के लिए, यह अभी भी गायब किताबों और टूटे हुए संकेतों वाले पुस्तकालय में रास्ता खोज रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।