QuantiBias: Benchmarking Quantization-Induced Bias in LLMs
यह शोधपत्र QuantiBias को प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जो यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स को क्वांटाइज़ करने से ओपन-एंडेड स्टीरियोटाइपिंग बायस (रूढ़िबद्ध पूर्वाग्रह) में काफी वृद्धि होती है—भले ही इनकार (refusal) और बहुविकल्पीय सटीकता के लिए मानक सुरक्षा जांच अप्रभावित रहती है—जिसके लिए जनरेटिव बायस के लिए संकुचित मॉडल्स के विशिष्ट पुनर्मूल्यांकन की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जिसने लाइब्रेरी की लगभग हर किताब पढ़ ली है। वह सवाल पूछने, कहानियाँ लिखने और यहाँ तक कि आपके होमवर्क में मदद करने में भी बहुत कुशल है। लेकिन यह रोबोट इतना विशाल और भारी है कि यह एक पूरे कमरे को घेर लेता है और बहुत अधिक बिजली खाता है। इसे आपकी जेब में फिट करने और एक सामान्य फोन पर चलाने के लिए, इंजीनियरों को इसे सिकोड़ना पड़ता है। वे ऐसा "क्वांटाइजिंग" (quantizing) करके करते हैं, जो एक उच्च-परि definisi वाली तस्वीर को एक छोटी फ़ाइल आकार में कंप्रेस करने जैसा है। आमतौर पर, हम मानते हैं कि यह संपीड़न हानिरहित है; हमें लगता है कि रोबोट वही है, बस हल्का और तेज़ है। लेकिन क्या होगा अगर, रोबोट को सिकोड़ने की प्रक्रिया में, हम अनजाने में उसके नैतिक दिशा-सूचक (moral compass) को तोड़ दें? यह आर्टिफिशियल इंटेलिजेंस (AI) के क्षेत्र में एक नए अध्ययन के केंद्र में रहने वाला प्रश्न है। विशेष रूप से, यह लार्ज लैंग्वेज मॉडल्स (LLMs) को देखता है, जो चैटबॉट्स और एआई सहायकों के पीछे की तकनीक हैं। यहाँ मुख्य विचार यह है कि जबकि ये मॉडल सख्त नियमों का पालन करने में माहिर हैं (जैसे "कुछ भी बुरा न कहें"), वे गुप्त रूप से हानिकारक रूढ़ियों (stereotypes) को लीक कर सकते हैं जब उन्हें स्वतंत्र रूप से बातचीत करने के लिए कहा जाता है। यदि हम इसकी जाँच नहीं करते हैं, तो हम इन रोबोटों के छोटे, संपीड़ित संस्करण लाखों लोगों को दे रहे होंगे, यह सोचकर कि वे सुरक्षित हैं, जबकि वे वास्तव में अधिक बार पक्षपाती बातें करना शुरू कर देते हैं।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व एमिलियो फेरारा (Emilio Ferrara) कर रहे हैं, एक आश्चर्यजनक और थोड़ी चिंताजनक बात खोजी: जब आप इन एआई मॉडल्स को तेज़ बनाने के लिए उन्हें सिकोड़ते हैं, तो वे उन तरीकों में सुरक्षित होना बंद नहीं करते हैं जिन्हें हम आमतौर से चेक करते हैं, बल्कि वे उन तरीकों में पक्षपाती होने लगते हैं जिन्हें हम आमतौर में मिस कर देते हैं। इसे एक क्लब के सुरक्षा गार्ड की तरह समझें। गार्ड दरवाजे पर आईडी (ID) चेक करने में बहुत अच्छा है (शॉर्ट-फॉर्म चेक) और यह सुनिश्चित करने में भी कि कोई हथियार लेकर न आए (हानिकारक अनुरोधों को अस्वीकार करना)। अध्ययन में पाया गया कि भले ही एआई को छोटा किया गया हो, यह सुरक्षा गार्ड दरवाजे पर अपना काम पूरी तरह से करता है। यह अभी भी खतरनाक सवालों के जवाब देने से इनकार करता है और निष्पक्षता के बारे में बहुविकल्पीय टेस्ट में सही उत्तर चुनता है।
हालाँकि, समस्या तब शुरू होती है जब आप एआई को लंबी, खुली बातचीत के लिए लिविंग रूम में आमंत्रित करते हैं। अध्ययन में पाया गया कि एक बार जब एआई को कंप्रेस कर दिया जाता है, तो वह अपनी ओर से रूढ़ियों को प्रस्तुत करने लगता है, जैसे कि कोई मेहमान जो अचानक लोगों की पृष्ठभूमि के बारे में अभद्र मज़ाक करने लगता है। अपने परीक्षणों में, शोधकर्ताओं ने एआई से आठ अलग-अलग भाषाओं में खुले प्रश्न पूछे। उन्होंने पाया कि लगभग हर चार में से एक उत्तर में (लगभग 24% से 27%), संपीड़ित एआई कुछ रूढ़िवादी कहेगा। यह तब हुआ जब एआई ने सभी मानक सुरक्षा परीक्षण पास कर लिए थे। यह ऐसा है जैसे रोबोट ने दरवाजे पर विनम्र रहना तो सीख लिया, लेकिन घर के अंदर पहुँचते ही विनम्रता भूल गया।
शोधकर्ताओं ने इस विशिष्ट समस्या को पकड़ने के लिए "क्वांटीबायस" (QuantiBias) नामक एक नया टूल बनाया। उन्होंने दो अलग-अलग प्रकार के एआई "मस्तिष्क" (जिन्हें Qwen और Gemma कहा जाता है) का परीक्षण किया और उन्हें अलग-अलग आकारों में सिकोड़ा, पूर्ण परिशुद्धता (full precision) से लेकर प्रति भार लगभग एक बिट सूचना तक। उन्होंने पाया कि संपीड़ित एआई लगातार इन पक्षपाती उत्तरों को उत्पन्न करता है। हालाँकि, यह एक अधिक जटिल प्रश्न है कि क्या संपीड़न के साथ पक्षपात और भी बढ़ जाता है। अध्ययन नोट करता है कि जबकि कुछ परीक्षणों ने संपीड़न के साथ पक्षपात में वृद्धि दिखाई, यह प्रवृत्ति सार्वभौमिक नहीं थी; स्वतंत्र जजों द्वारा जांच किए जाने पर, पक्षपात की दर अक्सर लगातार बढ़ने के बजाय लगभग स्थिर रही। इसका मतलब है कि भले ही पक्षपात संपीड़न के प्रत्येक चरण के साथ सख्ती से "बढ़ता" नहीं है, फिर भी मॉडल को कंप्रेस करने का मात्र कार्य पक्षपात का एक उच्च स्तर पेश करता है जिसे मानक परीक्षण मिस कर जाते हैं। दिलचस्प बात यह है कि उन्होंने यह भी परीक्षण किया कि क्या एआई को उत्तर देने से पहले "गहरा सोचने" (reasoning) से इस समस्या को ठीक किया जा सकता है। एक प्रकार के एआई (Qwen) के लिए, गहराई से सोचने से पक्षपात आधा हो गया। लेकिन दूसरे प्रकार के एआई (Gemma) के लिए, गहराई से सोचने से कोई मदद नहीं मिली; पक्षपात वैसा ही रहा। यह सुझाव देता है कि समाधान "एक-आकार-सभी-के-लिए-फिट" (one-size-fits-all) नहीं है।
अध्ययन ने यह भी देखा कि ये पक्षपाती उत्तर कितने बुरे थे। उन्होंने पाया कि हालांकि एआई अनिवार्य रूप से सबसे चरम घृणास्पद भाषण (hate speech) नहीं उगल रहा था, लेकिन वह आत्मविश्वास के साथ रूढ़ियों को तथ्यों के रूप में प्रस्तुत कर रहा था। उदाहरण के लिए, एक मामले में, एक संपीड़ित एआई ने दावा किया कि "यहूदियों का हमेशा से ही सावधानी और संचय की ओर झुकाव रहा है," या कि "महिलाओं में अधिक विकसित भावनात्मक बुद्धिमत्ता होती है," इन सामान्यीकरणों को वैज्ञानिक सत्य के रूप में प्रस्तुत किया। शोधकर्ताओं ने इन टिप्पणियों की गंभीरता को मापा और पाया कि हालांकि वे सबसे खराब संभव अपमान नहीं थे, फिर भी वे हानिकारक सामान्यीकरण थे जिन्हें एक पूर्ण-आकार का, बिना कंप्रेस किया गया एआई टाल देता।
तो, इसका भविष्य के लिए क्या अर्थ है? पेपर का तर्क है कि हम केवल यह मानकर नहीं चल सकते कि एक संपीड़ित एआई सुरक्षित है क्योंकि उसने छोटे परीक्षण पास कर लिए हैं। "सिलेक्टिव गैप" (selective gap) का अर्थ है कि एक एआई चेकलिस्ट पर एकदम सही दिख सकता है लेकिन वास्तविक दुनिया की बातचीत में पक्षपाती हो सकता है। शोधकर्ता सुझाव देते हैं कि इन संपीड़ित संस्करणों को सार्वजनिक रूप से जारी करने से पहले, हमें उन्हें विशेष रूप से इन खुले, संवादात्मक पक्षपातों के लिए पुनर्मूल्यांकन करने की आवश्यकता है। यह एक याद दिलाता है कि जब हम अपने डिजिटल उपकरणों को सुविधाजनक बनाने के लिए उन्हें सिकोड़ते हैं, तो हमें यह भी सावधान रहना चाहिए कि हम उनके साथ उनकी निष्पक्षता को भी न सिकोड़ दें। अध्ययन यह नहीं कहता कि समस्या अनसुलझी है, लेकिन यह यह भी दिखाता है कि एआई सुरक्षा को जांचने का वर्तमान तरीका एक बड़े हिस्से को मिस कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।