Mechanics of Bias and Reasoning: Interpreting the Impact of Chain-of-Thought Prompting on Gender Bias in LLMs
यह शोध पत्र बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में जेंडर बायस (लैंगिक पूर्वाग्रह) पर 'चेन-ऑफ-थॉट' प्रॉम्प्टिंग के प्रभाव की जांच करता है और यह निष्कर्ष निकालता है कि हालांकि यह सतही तौर पर कुछ अटेंशन मैकेनिज्म को संतुलित कर सकता है, लेकिन यह वास्तविक रूप से पूर्वाग्रह को कम करने में विफल रहता है क्योंकि अंतर्निहित लैंगिक रूढ़ियाँ छिपी हुई प्रस्तुतियों (हिडन रिप्रेजेंटेशन्स) में अंतर्निहित रहती हैं और देखे गए सुधार वास्तविक तर्क के बजाय डेटासेट के रटने (डेटासेट मेमोराइजेशन) से उत्पन्न होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) अविश्वसनीय रूप से प्रतिभाशाली लेकिन थोड़े पक्षपाती शेफ हैं। उन्होंने लगभग सब कुछ पढ़ा है जो कभी लिखा गया है, इसलिए वे लगभग किसी भी सवाल का जवाब पकाकर देने की क्षमता रखते हैं। हालाँकि, क्योंकि उन्होंने इंसानी लेखन से सीखा है, इसलिए उन्होंने हमारे समाज के पुराने रूढ़िवादी विचारों (stereotypes) को भी अपना लिया है—जैसे यह सोचना कि नर्स हमेशा एक महिला होती है या CEO हमेशा एक पुरुष होता है।
शोधकर्ताओं ने यह देखना चाहा कि क्या एक लोकप्रिय तकनीक जिसे चेन-ऑफ-थॉट (CoT) कहा जाता है, इसे ठीक कर सकती है। CoT ऐसा है जैसे शेफ को कहना, "सिर्फ डिश का अंदाज़ा मत लगाओ; परोसने से पहले अपनी रेसिपी स्टेप-दर-स्टेप लिखो।" उम्मीद यह थी कि मॉडल को "सोचने" के लिए मजबूर करके, वह अपने स्वयं के पूर्वाग्रहों को पहचान लेगा और एक निष्पक्ष भोजन परोसेगा।
यह पेपर इस बात की गहराई से जांच करता है कि क्या वह "स्टेप-दर-स्टेप" वाली तकनीक वास्तव में काम करती है, या शेफ सिर्फ निष्पक्ष होने का नाटक कर रहा है।
बड़ी खोज: "सतही चमक" (The Superficial Polish)
शोधकर्ताओं ने पाया कि मॉडल को "कदम-दर-कदम सोचें" कहना काफी हद तक एक जंग लगी कार पर ताजी पेंट की परत लगाने जैसा है। बाहर से यह बेहतर दिखता है, लेकिन इंजन अभी भी टूटा हुआ है।
उन्होंने यह पता लगाने के लिए तीन अलग-अलग तरीकों का उपयोग किया कि पर्दे के पीछे असलियत क्या है:
1. टेस्ट स्कोर (मेन्यू)
सबसे पहले, उन्होंने मॉडल्स को कई विकल्प वाले क्विज़ दिए जो पूर्वाग्रह को पकड़ने के लिए डिज़ाइन किए गए थे (जैसे पूछना, "नर्स होने की अधिक संभावना किसकी है?")।
- बिना CoT के: मॉडल्स अक्सर रूढ़िवादी उत्तर चुनते थे।
- CoT के साथ: कभी-कभी मॉडल्स "मुझे नहीं पता" वाला उत्तर अधिक बार चुनते थे, जो एक सुधार जैसा लग रहा था। लेकिन अन्य मामलों में, पूर्वाग्रह या तो बढ़ गया या बिल्कुल वैसा ही रहा।
- निर्णय: "सोचने" वाली तकनीक ने समस्या को लगातार ठीक नहीं किया। यह उस छात्र की तरह था जो सवाल गलत होने के डर से कभी-कभी "मुझे नहीं पता" कहकर बच निकलता है, बजाय इसके कि वह विषय को वास्तव में समझता हो।
2. एक्स-रे (आंतरिक वायरिंग)
इसके बाद, शोधकर्ताओं ने "मैकेनिस्टिक इंटरप्रिटेबिलिटी" का उपयोग किया, जो मॉडल के मस्तिष्क का एक्स-रे लेने जैसा है ताकि यह देखा जा सके कि लिंग (gender) के बारे में सोचते समय कौन से हिस्से चमकते हैं।
- उन्होंने क्या देखा: उन्होंने विशिष्ट क्लस्टर्स (attention heads) पाए जो पक्षपाती स्पॉटलाइट की तरह काम करते हैं, जो रूढ़िवादी शब्दों पर चमकते हैं।
- CoT का प्रभाव: जब मॉडल ने CoT का उपयोग किया, तो ये स्पॉटलाइट कभी-कभी मंद पड़ गईं या संतुलित हो गईं, जिससे ऐसा लगा कि पूर्वाग्रह खत्म हो गया है।
- रियलिटी चेक: हालाँकि, जब उन्होंने मॉडल की छिपी हुई मेमोरी (hidden states) की जांच की, तो पाया कि पूर्वाग्रह अभी भी कोड के भीतर गहराई में मौजूद था। यह ऐसा था जैसे शेफ ने काउंटर पर मौजूद "रूढ़िवादी स्पॉटलाइट" को तो बंद कर दिया, लेकिन बैक रूम में रखी रेसिपी बुक अभी भी पुराने, पक्षपाती निर्देशों से भरी हुई थी। मॉडल ने वास्तव में निष्पक्ष होना नहीं सीखा था; उसने बस अस्थायी रूप से पूर्वाग्रह को छिपा दिया था।
3. ट्रांसक्रिप्ट (शेफ के नोट्स)
अंत में, उन्होंने मॉडल द्वारा लिखे गए वास्तविक "स्टेप-दर-स्टेप" नोट्स पढ़े। उन्होंने इस बात के पैटर्न देखे कि मॉडल कैसे तर्क (reasoning) दे रहे थे।
- याद करना बनाम समझना: उन्होंने पाया कि जब मॉडल्स ने "सही" (गैर-पक्षपाती) उत्तर दिया, तो वह अक्सर इसलिए था क्योंकि उन्होंने अपने ट्रेनिंग डेटा में वह विशिष्ट प्रश्न पहले देखा था। वे तर्क नहीं दे रहे थे; वे एक रटा-रटाया स्क्रिप्ट बोल रहे थे।
- "ओवरथिंकिंग" का जाल: कुछ मॉडल्स, विशेष रूप से बड़े मॉडल्स, "ओवरथिंकिंग" करने लगे। वे लंबे, भ्रमित करने वाले तर्क लिखने लगे जिनका कोई अर्थ नहीं था, या वे वास्तविक अर्थ के बजाय व्याकरण की गलतियों पर ध्यान केंद्रित करके सवाल को 'हैक' करने की कोशिश करने लगे।
- "मुझे नहीं पता" वाला तरीका: जब मॉडल्स ने कहा "मुझे नहीं पता," तो वह अक्सर इसलिए था क्योंकि सवाल परिचित लग रहा था (जैसे कि कोई डेटासेट जिसे उन्होंने पहले देखा हो), न कि इसलिए कि वे वास्तव में समझ गए थे कि उत्तर निर्धारित नहीं किया जा सकता।
मुख्य रूपक: "अभिनय" करने वाला मॉडल
पेपर यह निष्कर्ष निकालता है कि चेन-ऑफ-थॉट प्रॉम्प्टिंग एक अभिनेता द्वारा स्क्रिप्ट पढ़ने जैसा है।
- जब स्क्रिप्ट कहती है "निष्पक्ष बनो," तो अभिनेता (मॉडल) निष्पक्ष होने के संवाद बोलता है।
- लेकिन अभिनेता वास्तव में एक निष्पक्ष व्यक्ति नहीं बना है। वह केवल निर्देशों का पालन कर रहा है।
- यदि आप स्क्रिप्ट बदल देते हैं या ऐसा सवाल पूछते हैं जिसका उन्होंने अभ्यास नहीं किया है, तो वे तुरंत अपनी पुरानी, पक्षपाती आदतों पर वापस आ जाते हैं।
सारांश
पेपर का तर्क है कि लार्ज लैंग्वेज मॉडल को केवल "कदम-दर-कदम सोचने" के लिए कहना जेंडर बायस (लिंग संबंधी पूर्वाग्रह) को ठीक करने के लिए कोई जादुई छड़ी नहीं है।
- यह मस्तिष्क को नहीं बदलता: पूर्वाग्रह मॉडल की मेमोरी के भीतर गहराई में एनकोडेड है।
- यह व्यवहार को नहीं बदलता: मॉडल अक्सर निष्पक्षता की अवधारणा सीखने के बजाय विशिष्ट टेस्ट प्रश्नों के लिए सही उत्तरों को रट लेते हैं।
- यह अविश्वसनीय है: कभी-कभी यह मदद करता है, कभी-कभी नुकसान पहुँचाता है, और अक्सर यह केवल सुधार का एक नकली दिखावा पैदा करता है।
शोधकर्ताओं का सुझाव है कि पूर्वाग्रह को वास्तव में ठीक करने के लिए हमें केवल प्रॉम्प्ट बदलने से कहीं अधिक गहरी रणनीतियों की आवश्यकता है; हमें इस बात पर ध्यान देने की जरूरत है कि मॉडल इन सामाजिक संबंधों को मौलिक रूप से कैसे स्टोर और प्रोसेस करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।