Faithful-Patchscopes: Understanding and Mitigating Model Bias in Hidden Representations Explanation of Large Language Models
यह शोध पत्र पैचस्कोप्स (Patchscopes) ढांचे में एक व्यवस्थित अविश्वसनीयता की पहचान करता है जहाँ लार्ज लैंग्वेज मॉडल्स (Large Language Models) प्रासंगिक हिडन रिप्रेजेंटेशन्स (contextual hidden representations) के बजाय अंतर्निहित भाषाई पूर्वाग्रहों पर निर्भर करते हैं, और लॉजिट्स (logits) को पुन: कैलिब्रेट करने तथा स्पष्टीकरण की विश्वसनीयता को महत्वपूर्ण रूप से सुधारने के लिए बालोर (BALOR) पद्धति का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य चित्र: एक AI के "मन" को पढ़ना
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक विशाल, जटिल फैक्ट्री की तरह है। जब आप उससे कोई सवाल पूछते हैं, तो वह केवल सोचता नहीं है; वह परतों (layers) के माध्यम से सूचनाओं को प्रोसेस करता है, जिससे आंतरिक "ब्लूप्रिंट्स" (जिन्हें हिडन रिप्रेजेंटेशन कहा जाता है) बनते हैं जो आपके अनुरोध के विशिष्ट विवरणों को संजो कर रखते हैं।
हाल ही में, शोधकर्ताओं ने Patchscopes नामक एक उपकरण का आविष्कार किया है। Patchscopes को एक "मन पढ़ने वाली मशीन" के रूप में समझें। यह इन आंतरिक ब्लूप्रिंट्स में से एक को लेता है, उसे एक नए प्रश्न में डालता है, और AI से पूछता है कि उस ब्लूप्रिंट का अर्थ सरल भाषा में क्या है।
समस्या: यह पेपर तर्क देता है कि यह मन पढ़ने वाली मशीन अक्सर अविश्वसनीय (unfaithful) होती है। यह हमेशा उस ब्लूप्रिंट में मौजूद जानकारी के बारे में सच नहीं बताती। इसके बजाय, यह अक्सर आपके द्वारा दिए गए विशिष्ट विवरणों को अनदेखा कर देती है और बस वही दोहराती है जो वह आमतौर पर सोचती है।
उपमा: "ब्रोकोली" का पूर्वाग्रह (The "Broccoli" Bias)
इस समस्या को समझने के लिए, कल्पना कीजिए कि आप एक रोबोट को बैंगनी ब्रोकोली की तस्वीर दिखा रहे हैं।
- वास्तविकता: तस्वीर में, ब्रोकोली स्पष्ट रूप से बैंगनी है। रोबोट का आंतरिक "ब्लूप्रिंट" इस छवि के लिए रंग "बैंगनी" को सही ढंग से एनकोड करता है।
- रोबोट की आदत: हालाँकि, वास्तविक दुनिया में (और रोबोट के प्रशिक्षण के दौरान उपयोग किए गए विशाल डेटा में), ब्रोकोली लगभग हमेशा हरी बताई जाती है। रोबोट की एक मजबूत आदत है: ब्रोकोली = हरी।
- विफलता: जब आप Patchscopes का उपयोग करके रोबोट से पूछते, "इस ब्रोकोली का रंग क्या है?" उस बैंगनी ब्लूप्रिंट के आधार पर, रोबोट बैंगनी साक्ष्य को अनदेखा कर देता है। वह कहता है, "हरा।"
रोबोट अपनी "हरा" वाली आदत में इतना डूबा हुआ है कि वह अपनी ही स्मृति में मौजूद वास्तविक साक्ष्य को दबा देता है। पेपर इसे इम्बैलेंस्ड लिंग्विस्टिक पैटर्न्स (जहाँ "हरी ब्रोकोली" को "बैंगनी ब्रोकोली" की तुलना में 100 गुना अधिक बार देखा गया हो) के कारण होने वाला मॉडल बायस (Model Bias) कहता है।
समाधान: BALOR (द "फैक्ट-चेकर")
लेखकों ने इसे ठीक करने के लिए BALOR (बायस एलाइनमेंट थ्रू लॉजिट रीकैलिब्रेशन) नामक एक नया तरीका प्रस्तावित किया है।
BALOR को एक स्मार्ट फैक्ट-चेकर के रूप में समझें जो एक समानांतर सिमुलेशन चलाता है। यह कैसे काम करता है, यहाँ देखें:
- "पूर्वाग्रही" अनुमान: रोबोट बैंगनी ब्रोकोली को देखता है और अपनी बुरी आदतों पर भरोसा करते हुए सोचता है, "यह शायद हरा है।"
- "तुलनात्मक" अनुमान: BALOR रोबोट से दूसरा सवाल पूछता है: "यदि मैंने तुम्हें तस्वीर नहीं दिखाई होती, और बस सामान्य रूप से ब्रोकोली के बारे में पूछा होता, तो तुम क्या कहते?" रोबोट कहता है, "हरा" (क्योंकि यह उसका डिफ़ॉल्ट बायस है)।
- गणितीय जादू: BALOR इन दोनों उत्तरों की तुलना करता है। वह महसूस करता है: "रोबोट दोनों मामलों में 'हरा' कह रहा है। लेकिन पहले मामले में, उसके पास बैंगनी तस्वीर थी! तथ्य यह है कि उसने फिर भी 'हरा' कहा, इसका मतलब है कि उसका पूर्वाग्रह बहुत अधिक है।"
- सुधार: BALOR "डिफ़ॉल्ट बायस" को "तस्वीर-आधारित उत्तर" से घटा देता है। यह अनिवार्य रूप से कहता है, "ठीक है, हम जानते हैं कि तुम अपनी आदतों के कारण 'हरा' कहना चाहते हो। लेकिन चूंकि तस्वीर 'बैंगनी' कहती है, इसलिए आइए 'बैंगनी' के संकेत को बढ़ाएं और 'हरा' की आदत को रद्द करें।"
इस प्रक्रिया में रोबोट के आत्मविश्वास स्तरों (जिन्हें लॉगिट्स कहा जाता है) पर गणित लागू करके, BALOR रोबोट को अपने सामान्य व्यवहार के बजाय विशिष्ट संदर्भ (बैंगनी ब्रोकोली) पर ध्यान देने के लिए मजबूर करता है।
उन्होंने क्या पाया
शोधकर्ताओं ने चार अलग-अलग AI मॉडल्स (जैसे Llama और Qwen) पर रंगों, लिंग और संस्कृति से जुड़े कठिन सवालों के एक डेटासेट का उपयोग करके परीक्षण किया।
- समस्या वास्तविक है: बिना मदद के, AI के स्पष्टीकरण 18% से 28% बार गलत थे क्योंकि वह अपने पूर्वाग्रहों के वश में होता रहा।
- BALOR काम करता है: अपने इस "फैक्ट-चेकर" तरीके का उपयोग करके, उन्होंने सटीकता में महत्वपूर्ण सुधार किया। कुछ मामलों में, AI वास्तविक जानकारी के प्रति 33% अधिक निष्ठावान (faithful) हो गया।
- सर्जरी की आवश्यकता नहीं: अन्य तरीकों के विपरीत जिनमें पूरे AI को फिर से प्रशिक्षित (retraining) करने की आवश्यकता होती है (जो महंगा है और AI के सोचने के तरीके को बदल देता है), BALOR प्रक्रिया के बिल्कुल अंत में एक फिल्टर की तरह काम करता है। यह AI के मस्तिष्क को बदले बिना उत्तर को ठीक करता है।
सारांश
यह पेपर दिखाता है कि AI मॉडल अक्सर इस बात के बारे में झूठ बोलते हैं कि वे आंतरिक रूप से क्या "जानते" हैं, क्योंकि वे अपने प्रशिक्षण की आदतों को लेकर बहुत जिद्दी होते हैं। लेखकों ने एक उपकरण (BALOR) बनाया है जो एक रेफरी की तरह काम करता है, जो यह पहचान लेता है कि कब AI सबूतों को अनदेखा कर अपनी आदतों का पालन कर रहा है, और गणितीय रूप से उसे सच बोलने के लिए प्रेरित करता है। यह उन उपकरणों को बहुत अधिक विश्वसनीय बनाता है जो यह समझाने की कोशिश करते हैं कि AI कैसे सोचता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।