White-Box Sensitivity Auditing with Steering Vectors
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स के लिए एक व्हाइट-बॉक्स संवेदनशीलता ऑडिटिंग फ्रेमवर्क का प्रस्ताव करता है जो आंतरिक अवधारणाओं (इंटरनल कॉन्सेप्ट्स) को हेरफेर करने के लिए एक्टिवेशन स्टीयरिंग का लाभ उठाता है, जिससे उच्च-जोखिम वाले निर्णय कार्यों में संरक्षित विशेषताओं (प्रोटेक्टेड एट्रिब्यूट्स) पर पर्याप्त निर्भरता का पता चलता है जिसे मानक ब्लैक-बॉक्स मूल्यांकन अक्सर पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नया कर्मचारी रख रहे हैं, और आपके पास एक कंप्यूटर प्रोग्राम (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो आपको यह तय करने में मदद करता है कि किसे काम पर रखना है। आप यह सुनिश्चित करना चाहते हैं कि कंप्यूटर लिंग या जाति के आधार पर लोगों के साथ गुप्त रूप से भेदभाव न करे।
वर्तमान में, अधिकांश लोग इस तरह के पूर्वाग्रह (bias) की जाँच करने के लिए एक "ब्लैक-बॉक्स" (Black-Box) विधि का उपयोग करते हैं। यह कुछ ऐसा है जैसे किसी को "जॉन" नाम वाला बायोडाटा भेजना और देखना कि क्या वह उसे खारिज कर देता है, फिर "जेन" नाम वाला बायोडाटा भेजना और देखना कि क्या वह उसे स्वीकार करता है। यदि परिणाम समान होते हैं, तो आप मान लेते हैं कि कंप्यूटर निष्पक्ष है।
समस्या:
इस शोध पत्र के लेखक तर्क देते हैं कि यह "ब्लैक-बॉक्स" विधि ऐसी है जैसे आप केवल स्पीडोमीटर को देखकर कार के इंजन के काम करने के तरीके को समझने की कोशिश कर रहे हों। आप देख सकते हैं कि कार तेज़ या धीमी चल रही है, लेकिन आप यह नहीं देख सकते कि इंजन कहीं मिसफायर तो नहीं कर रहा है या कोई विशिष्ट गियर खराब तो नहीं है। कंप्यूटर शायद टेक्स्ट में "जॉन" या "जेन" नाम को अनदेखा कर रहा हो, लेकिन यह अभी भी अपने अंदरूनी कोड (अपने मस्तिष्क) में लिंग या जाति के बारे में गुप्त रूप से "सोच" रहा हो सकता है, जिसे टेक्स्ट-आधारित परीक्षण नहीं देख पाता।
समाधान: "व्हाइट-बॉक्स" सेंसिटिविटी ऑडिटिंग (White-Box Sensitivity Auditing)
लेखक कंप्यूटर की जाँच करने का एक नया तरीका प्रस्तावित करते हैं जिसे "व्हाइट-बॉक्स" ऑडिटिंग कहा जाता है। केवल अलग-अलग बायोडाटा भेजने के बजाय, वे कंप्यूटर के मस्तिष्क के भीतर घुसकर उसके आंतरिक विचारों को धीरे से छेड़ते हैं।
यहाँ वे इसे कैसे करते हैं, इसके लिए एक रचनात्मक उपमा (analogy) दी गई है:
उपमा: "थॉट डायल" (विचारों का डायल)
कल्पना कीजिए कि कंप्यूटर के मस्तिष्क में हजारों डायल वाला एक विशाल कंट्रोल पैनल है। प्रत्येक डायल एक विशिष्ट अवधारणा को नियंत्रित करता है, जैसे "लिंग" (Gender), "जाति" (Race), या "क्रेडिट जोखिम" (Credit Risk)।
- डायल को खोजना (स्टीयरिंग वेक्टर्स): सबसे पहले, शोधकर्ता यह पता लगाते हैं कि कौन सा डायल "लिंग" की अवधारणा को नियंत्रित करता है। वे इसे "स्टीयरिंग वेक्टर" (Steering Vector) कहते हैं। यह बिल्कुल वैसा ही है जैसे उस सटीक नॉब को खोजना जो मशीन के अंदर "पुरुष/महिला" के वॉल्यूम को ऊपर या नीचे करता है।
- डायल को घुमाना (एक्टिवेशन स्टीयरिंग): बायोडाटा पर मौजूद टेक्स्ट को बदलने के बजाय (जैसे "जॉन" को "जेन" में बदलना), वे टेक्स्ट को बिल्कुल वैसा ही रहने देते हैं। इसके बजाय, वे मशीन के अंदर भौतिक रूप से "लिंग डायल" को घुमाते हैं।
- वे इसे थोड़ा "महिला" की ओर घुमाते हैं।
- फिर वे इसे थोड़ा "पुरुष" की ओर घुमाते हैं।
- वे ऐसा ठीक उसी बायोडाटा को देखते समय करते हैं।
- प्रतिक्रिया को मापना (सेंसिटिविटी): यदि कंप्यूटर वास्तव में निष्पक्ष है, तो "लिंग डायल" को घुमाने से बायोडाटा के बारे में उसका निर्णय नहीं बदलना चाहिए। चाहे वे उस विशिष्ट नॉब को कितना भी घुमाएँ, निर्णय वही रहना चाहिए।
- यदि निर्णय बदल जाता है: तो कंप्यूटर लिंग के प्रति "संवेदनशील" (sensitive) है। इसका मतलब है कि निर्णय गुप्त रूप से उस छिपे हुए डायल पर निर्भर था, भले ही टेक्स्ट में लिंग का उल्लेख नहीं किया गया था।
- यदि निर्णय समान रहता है: तो कंप्यूटर "इनवेरिएंट" (invariant - अप्रभावित) है। वह वास्तव में निष्पक्ष है।
उन्होंने क्या पाया
शोधकर्ताओं ने चार गंभीर स्थितियों पर इसका परीक्षण किया: न्यायिक मामले (यह तय करना कि कोई दोषी है या नहीं), क्रेडिट स्कोरिंग (यह तय करना कि किसे ऋण मिलेगा), कॉलेज प्रवेश, और चिकित्सा निदान (Medical Diagnosis)।
- ब्लैक-बॉक्स का झूठ: कई मामलों में, पुराने तरीके (नाम बदलना) ने कहा कि कंप्यूटर निष्पक्ष थे। उन्होंने समूहों के बीच लगभग कोई अंतर नहीं दिखाया।
- व्हाइट-बॉक्स की सच्चाई: जब शोधकर्ताओं ने आंतरिक डायल घुमाए, तो उन्होंने पाया कि कंप्यूटर लिंग और जाति के प्रति बहुत संवेदनशील थे।
- उदाहरण: क्रेडिट स्कोरिंग टेस्ट में, पुराने तरीके ने कहा कि कंप्यूटर निष्पक्ष था। लेकिन जब उन्होंने आंतरिक "लिंग डायल" को घुमाया, तो कंप्यूटर ने अचानक "महिला" प्रोफाइल को "पुरुष" प्रोफाइल की तुलना में बहुत अधिक बार खारिज करना शुरू कर दिया, भले ही टेक्स्ट कभी नहीं बदला। पूर्वाग्रह मशीन के अंदर छिपा हुआ था, शब्दों में नहीं।
यह क्यों महत्वपूर्ण है
शोध पत्र का दावा है कि पुराने तरीके से घर के रिसाव (leaks) की जाँच करना वैसा ही है जैसे केवल बाहरी दीवारों को देखना। आप बाहरी दीवारों को देखकर घर के अंदर के प्लंबिंग के रिसाव को मिस कर सकते हैं।
उनका नया तरीका दीवारों को खोलने और सीधे पाइपों की जाँच करने जैसा है। उन्होंने पाया कि:
- छिपा हुआ पूर्वाग्रह वास्तविक है: कंप्यूटरों में अक्सर ऐसे छिपे हुए पूर्वाग्रह होते हैं जिन्हें टेक्स्ट-आधारित परीक्षण पूरी तरह से मिस कर देते हैं।
- अधिक विश्वसनीय: उनका तरीका परीक्षण सेटअप करने के बावजूद सुसंगत परिणाम देता है, जबकि पुराना तरीका शब्दों के बोलने के तरीके के आधार पर भ्रमित करने वाले और विरोधाभासी उत्तर देता था।
- सटीक: वे लिंग के डायल को इस तरह से ट्यून कर सकते हैं कि वे गलती से व्यक्ति के काम या शिक्षा के बारे में कंप्यूटर के विचारों को न बदल दें।
संक्षेप में: लेखकों ने कंप्यूटर के मस्तिष्क के भीतर झाँकने और उसके आंतरिक नॉब्स को घुमाने के लिए एक उपकरण बनाया ताकि यह देखा जा सके कि क्या वह गुप्त रूप से पक्षपाती है। उन्होंने पाया कि कई कंप्यूटर उन तरीकों में पक्षपाती थे जिन्हें हम पहले नहीं देख सकते थे, जिससे यह साबित होता है कि AI को निष्पक्ष बनाने के लिए हमें डैशबोर्ड के बजाय इंजन के अंदर देखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।