Navigating the Sea of LLM Evaluation: Investigating Bias in Toxicity Benchmarks
यह शोध पत्र वर्तमान एलएलएम (LLM) विषाक्तता बेंचमार्क में अंतर्निहित पूर्वाग्रहों की जांच करता है, जो यह प्रकट करता है कि कार्य का प्रकार, इनपुट डोमेन और मॉडल का चयन जैसे कारक मूल्यांकन निरंतरता से महत्वपूर्ण रूप से समझौता करते हैं और अधिक सुदृढ़ सुरक्षा मूल्यांकन ढांचों की तत्काल आवश्यकता को रेखांकित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप कस्टमर सर्विस विभाग में काम करने के लिए एक नए कर्मचारी को काम पर रख रहे हैं। उन्हें काम पर रखने से पहले, आप उन्हें कुछ परीक्षण देते हैं ताकि यह देखा जा सके कि वे विनम्र हैं, सुरक्षित हैं और कुछ भी बुरा या खतरनाक नहीं कहेंगे।
यह शोध पत्र उन शोधकर्ताओं के समूह की तरह है जिन्होंने यह जांचने का निर्णय लिया कि क्या वे "सुरक्षा परीक्षण" वास्तव में विश्वसनीय हैं। उन्होंने पाया कि सुरक्षा परीक्षण आश्चर्यजनक रूप से नाजुक हैं, जैसे ताश का घर जो हवा की दिशा थोड़ी बदलने पर ही ढह जाता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "एक ही आकार सबके लिए" वाला जाल (The "One-Size-Fits-All" Trap)
AI के लिए अधिकांश वर्तमान सुरक्षा परीक्षण एक ड्राइविंग टेस्ट की तरह हैं जहाँ आप केवल एक सीधे, खाली हाईवे पर गाड़ी चलाते हैं। AI इसमें आसानी से पास हो जाता है। लेकिन वास्तविक दुनिया में, AI केवल हाईवे पर नहीं चलता; वह भारी ट्रैफिक, घुमावदार पहाड़ी रास्तों और बारिश में भी गाड़ी चलाता है।
शोधकर्ताओं ने पाया कि जब उन्होंने "ड्राइविंग की स्थिति" (कार्य) को साधारण प्रश्न-उत्तर प्रारूप से बदलकर सारांश (summarizing) लिखने में बदल दिया, तो AI का सुरक्षा प्रदर्शन नाटकीय रूप से बदल गया।
- उपमा: कल्पना कीजिए कि एक गार्ड जो सामने के दरवाजे पर लोगों को रोकने में बहुत अच्छा है (सवालों के जवाब देना)। लेकिन अगर आप उसी गार्ड से डाक के ढेर को छांटने के लिए कहें (सारांश लिखना), तो वे अनजाने में खतरनाक पत्रों को फिसलने दे सकते हैं, या इसके विपरीत, वे पूरी तरह से सुरक्षित पत्रों को भी रोक सकते हैं।
- निष्कर्ष: जब AI को केवल सवालों के जवाब देने के बजाय टेक्स्ट का सारांश लिखने के लिए कहा गया, तो सुरक्षा परीक्षणों ने बहुत अधिक सामग्री को "विषाक्त" (toxic) या "हानिकारक" के रूप में चिह्नित किया। यह सुझाव देता है कि यदि आप केवल सरल प्रश्नों पर AI का परीक्षण करते हैं, तो आप यह चूक सकते हैं कि चैट हिस्ट्री जैसे जटिल कार्य करते समय वह कैसा व्यवहार करता है।
2. "लहजे" की समस्या (The "Accent" Problem)
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या बातचीत के "विषय" या "क्षेत्र" (domain) के आधार पर AI की सुरक्षा बदल जाती है। उन्होंने उन्हीं हानिकारक विचारों को फिर से लिखा ताकि वे अलग-अलग दुनिया के लगें: वित्त (Finance), खेल (Sports), सोशल मीडिया, और केमिकल इंजीनियरिंग।
- उपमा: हवाई अड्डे पर मेटल डिटेक्टर की कल्पना करें। यदि आप चाकू लेकर गुजरते हैं, तो यह जोर से बीप करता है। लेकिन क्या होगा यदि आप उस चाकू को किसी विशिष्ट प्रकार के कपड़े में लपेट दें या उसे "केमिस्ट्री लैब" लेबल वाले बॉक्स के अंदर रख दें? शोधकर्ताओं ने पाया कि सुरक्षा डिटेक्टर अक्सर बीप करना बंद कर देते थे।
- निष्कर्ष: जब हानिकारक सामग्री को विशिष्ट उद्योगों की भाषा (जैसे केमिस्ट्री या फाइनेंस में तकनीकी शब्दावली का उपयोग करना) में सजाया गया, तो सुरक्षा परीक्षणों द्वारा उसे पकड़ने की संभावना बहुत कम हो गई। ऐसा लगता है कि "गार्ड" फैंसी शब्दावली या विशिष्ट संदर्भों से आसानी से धोखा खा जाते हैं।
3. "रेफरी" का असहमति (The "Referee" Disagreement)
अंत में, शोधकर्ताओं ने स्वयं "रेफरी" की जांच की—यानी वे स्वचालित उपकरण जिनका उपयोग AI की प्रतिक्रियाओं को ग्रेड देने के लिए किया जाता है। उन्होंने एक ही AI प्रतिक्रियाओं को ग्रेड देने के लिए चार अलग-अलग रेफरी का उपयोग किया।
- उपमा: एक खेल मैच की कल्पना करें जहाँ चार अलग-अलग रेफरी एक ही प्ले को देख रहे हैं। आप उम्मीद करेंगे कि वे इस बात पर सहमत होंगे कि फाउल हुआ है या नहीं। इसके बजाय, शोधकर्ताओं ने पाया कि वे रेफरी आपस में शायद ही कभी सहमत हुए।
- निष्कर्ष: विषाक्तता (toxicity) को मापने वाले उपकरणों ने एक ही वाक्य के लिए पूरी तरह से अलग स्कोर दिए। एक टूल कह सकता है, "यह सुरक्षित है," जबकि दूसरा कह सकता है, "यह खतरनाक है।" वे बहुत ही कम समय के लिए एक-दूसरे से सहमत हुए। इसका मतलब है कि विषाक्तता के बारे में कोई एक एकल, सार्वभौमिक "सत्य" नहीं है; यह पूरी तरह से इस पर निर्भर करता है कि आप किस टूल का उपयोग करते हैं।
मुख्य निष्कर्ष (The Bottom Line)
शोध पत्र यह निष्कर्ष निकालता है कि हम AI मॉडल्स के लिए दिखने वाले वर्तमान सुरक्षा स्कोर पर आँख मूंदकर भरोसा नहीं कर सकते।
- यदि आप कार्य बदलते हैं (जैसे चैट करने के बजाय सारांश लिखने के लिए कहना), तो सुरक्षा स्कोर बदल जाता है।
- यदि आप विषय बदलते हैं (जैसे सामान्य चैट के बजाय खेल के बारे में बात करना), तो सुरक्षा स्कोर बदल जाता है।
- यदि आप सुरक्षा मापने के लिए उपयोग किए जाने वाले टूल को बदलते हैं, तो स्कोर बदल जाता है।
शोधकर्ता मूल रूप से यह कह रहे हैं: "हम यह प्रमाणित करने की कोशिश कर रहे हैं कि AI सुरक्षित है, लेकिन हमारे मापने वाले टेप (measuring tapes) इस बात पर फैल और सिकुड़ रहे हैं कि हम उनका उपयोग कैसे करते हैं। हमें इन मॉडल्स को वास्तविक दुनिया में छोड़ने से पहले उन्हें टेस्ट करने के बेहतर, अधिक सुसंगत तरीके खोजने की आवश्यकता है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।