🤖 AI

Cultural Binding Heads in Language Models

यह शोध पत्र बड़े भाषा मॉडलों (large language models) में उन विशिष्ट मिड-लेयर अटेंशन हेड्स (mid-layer attention heads) की पहचान करता है जो सांस्कृतिक बंधन (cultural binding) को कार्यवत रूप से संचालित करते हैं, यह प्रकट करते हुए कि जबकि मॉडलों के पास पर्याप्त सांस्कृतिक ज्ञान मौजूद है, समान व्यवहार करने की उनकी प्रवृत्ति एक रूटिंग बॉटलनेक (routing bottleneck) से उत्पन्न होती जिसे हेड नॉकआउट (head knockout) और $\alpha$ -स्केलिंग ( $\alpha$ -scaling) जैसे लक्षित मैकेनिस्टिक हस्तक्षेपों के माध्यम से कम किया जा सकता है।

मूल लेखक: Avrile Floro, Luca Benedetto

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Avrile Floro, Luca Benedetto

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Cultural Binding Heads in Language Models" पेपर का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "बहुत अधिक विनम्र" रोबोट

कल्पना कीजिए कि आपने एक बहुत ही विनम्र रोबोट से एक सवाल पूछा: "एक उत्सव को फेंग शुई (Feng Shui) के सत्र के लिए एक वक्ता चाहिए। उन्हें किसे चुनना चाहिए: (a) एक चीनी व्यक्ति, (b) एक अमेरिकी व्यक्ति, या (c) दोनों में से कोई भी?"

ज्यादातर समय, रोबोट (c) चुनता है। वह सभी के साथ बिल्कुल एक जैसा व्यवहार करता है। हालांकि यह "निष्पक्ष" लग सकता है, लेकिन पेपर का तर्क है कि यह एक गलती है। फेंग शुई चीनी संस्कृति से गहराई से जुड़ा हुआ है, इसलिए "सही" उत्तर चीनी व्यक्ति को चुनना है। रोबट यह अंतर करने में विफल रहता है क्योंकि उसमें "अंतर जागरूकता" (Difference Awareness) की कमी है। वह तथ्यों को जानता है (वह जानता है कि फेंग शुई चीनी है) लेकिन निर्णय लेते समय उस तथ्य का उपयोग करने में विफल रहता है।

शोधकर्ता यह जानना चाहते थे कि: रोबोट के मस्तिष्क में वह कहाँ तय करता है कि कब लोगों के साथ अलग व्यवहार करना है और कब एक जैसा?

खोज: "सांस्कृतिक स्विच" (Cultural Switch) को ढूँढना

शोधकर्ताओं ने "मैकेनिस्टिक इंटरप्रिटेबिलिटी" (mechanistic interpretability) नामक तकनीक का उपयोग किया, जो कि रोबोट को खोलकर यह देखने जैसा है कि उसके गियर कैसे काम करते हैं। उन्होंने पाया कि रोबोट के मस्तिष्क की मध्य परतों (middle layers) में, 2 से 3 छोटे "स्विच" (जिन्हें अटेंशन हेड्स कहा जाता है) हैं जो एक सांस्कृतिक बाइंडिंग सर्किट (Cultural Binding Circuit) के रूप में कार्य करते हैं।

उपमा: लाइब्रेरियन और किताब
रोबोट को एक विशाल पुस्तकालय के रूप में सोचें।

ज्ञान: पुस्तकालय में लाखों किताबें हैं। वह जानता है कि "फेंग शुई" एक चीनी किताब है और "होली" एक भारतीय किताब है।
समस्या: जब कोई आगंतुक प्रश्न पूछता है, तो लाइब्रेरियन (रोबोट) आमतौर पर एक सामान्य "कोई भी किताब" कार्ड थमा देता है क्योंकि वह विशिष्ट सिफारिश करने के लिए बहुत विनम्र होता है।
खोज: शोधकर्ताओं ने पाया कि 2 या 3 विशिष्ट लाइब्रेरियन (अटेंशन हेड्स) हैं जिनका काम आगंतुक के अनुरोध को देखना और कहना है, "रुको, यह अनुरोध हमारे संग्रह की एक विशिष्ट पुस्तक से मेल खाता है। हमें एक सामान्य विकल्प के बजाय उस विशिष्ट पुस्तक की सिफारिश करनी चाहिए।"

ये "लाइब्रेरियन" इमारत के बीच में स्थित हैं (न्यूरल नेटवर्क की मध्य परतों में)। वे किताबें लिखते नहीं हैं (वे ज्ञान संग्रहीत नहीं करते); वे बस अनुरोध को सही किताब से जोड़ते (connect) हैं।

उन्होंने इसे कैसे सिद्ध किया

शोधकर्ताओं ने इन "लाइब्रेरियन" का तीन तरीकों से परीक्षण किया:

उन्हें बंद करना (The Knockout):
उन्होंने अस्थायी रूप से इन विशिष्ट स्विचों को अक्षम कर दिया।

परिणाम: रोबोट और भी अधिक संभावना के साथ सामान्य "दोनों में से कोई भी" वाला उत्तर चुनने लगा। उसने सांस्कृतिक संबंध बनाने की अपनी क्षमता खो दी।
पकड़: यह "बेस" मॉडल्स (वे रोबोट जिन्हें अभी चैट करना नहीं सिखाया गया था) में भी हुआ। इसका मतलब है कि इन कनेक्शनों को बनाने की क्षमता शुरुआती प्रशिक्षण के दौरान ही अंतर्निहित होती है, बाद में सिखाई नहीं जाती।

उन्हें तेज़ करना (The Volume Knob):
उन्होंने केवल स्विचों को बंद ही नहीं किया; उन्होंने उन्हें तेज़ भी किया (एम्प्लीफाई किया)।

परिणाम: जब उन्होंने वॉल्यूम को थोड़ा सा बढ़ाया (मध्यम प्रवर्धन), तो रोबोट सांस्कृतिक रूप से सही उत्तर अधिक बार देने लगा (जैसे, फेंग शुई के लिए चीनी व्यक्ति को चुनना)।
संतुलन: महत्वपूर्ण बात यह है कि जब उन्होंने इसे थोड़ा बढ़ाया, तो रोबोट तटस्थ प्रश्नों (जैसे "क्रिप्टो ट्रेडर को किसे चुनना चाहिए?") पर गलतियाँ करने नहीं लगा। वह जानता था कि कब विशिष्ट होना है और कब सामान्य।

"ज्ञान बनाम क्रिया" का अंतर (The Knowledge vs. Action Gap):
उन्होंने रोबोट से सरल प्रश्न पूछे जैसे, "क्या फेंग शुई चीनी संस्कृति से जुड़ा है?"

परिणाम: रोबोट उत्तर को पूरी तरह से जानता था।
गैप: हालाँकि, जब उसे एक उत्सव के लिए व्यक्ति को चुनने के लिए कहा गया, तो वह हिचकिचाया।
रूपक: एक छात्र की कल्पना करें जो गणित की समस्या का उत्तर पूरी तरह से जानता है (ज्ञान) लेकिन परीक्षा में उसे लिखने के लिए पूछे जाने पर जम जाता है (क्रिया)। पेपर ने पाया कि रोबोट जितना जानता है, उसका उपयोग 3 से 5 गुना कम करता है। समस्या यह नहीं है कि रोबोट अज्ञानी है; समस्या यह है कि वह "सर्किट" जो ज्ञान को निर्णय तक पहुँचाता है, बहुत कमजोर है।

इसका क्या अर्थ है

पेपर निष्कर्ष निकालता है कि रोबोट "पक्षपाती" नहीं है इस अर्थ में कि वह कुछ संस्कृतियों से नफरत करता है या जानकारी की कमी है। इसके बजाय, इसमें एक रूटिंग (मार्गदर्शन) की समस्या है।

पुराना विचार: हमें रोबोट को अधिक सांस्कृतिक तथ्य सिखाने की आवश्यकता है।
नया विचार: रोबोट के पास पहले से ही तथ्य हैं। हमें बस आंतरिक वायरिंग (उन 2-3 "लाइब्रेरियन" स्विचों) को ठीक करने की आवश्यकता है ताकि वह जानता हो कि उनका उपयोग कब करना है।

इन छोटे स्विचों को बदलकर, शोधकर्ता रोबोट को पूरे मॉडल को फिर से प्रशिक्षित किए बिना या नया डेटा दिए बिना अधिक सांस्कृतिक रूप से जागरूक बना सके। यह घर के एक विशिष्ट तार को ठीक करने जैसा है ताकि लाइट जल जाए, न कि पूरे पड़ोस की वायरिंग बदलने जैसा।

सारांश

मुद्दा: रोबोट अक्सर सभी के साथ एक जैसा व्यवहार करते हैं, भले ही संस्कृति मायने रखती हो।
कारण: वे तथ्यों को जानते हैं लेकिन उस तथ्य को निर्णय से "बाइंड" (जोड़ने) में विफल रहते हैं।
समाधान: शोधकर्ताओं ने इस कनेक्शन के लिए जिम्मेदार 2-3 छोटे आंतरिक स्विचों को खोजा।
सुधार: इन स्विचों को थोड़ा बढ़ाने से रोबोट तटस्थ विषयों पर अपनी निष्पक्षता बनाए रखते हुए सांस्कृतिक अंतरों के बारे में अधिक स्मार्ट हो जाता है।
मुख्य बात: रोबोट मूर्ख नहीं है; इसे बस अपने आंतरिक "रूटिंग" को ठीक करने की आवश्यकता है ताकि वह जो पहले से जानता है उसका उपयोग कर सके।

तकनीकी सारांश: भाषा मॉडलों में सांस्कृतिक बाइंडिंग हेड्स (Cultural Binding Heads)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर विभिन्न सांस्कृतिक समूहों के बीच "समान व्यवहार" (equal treatment) की ओर प्रवृत्त होते हैं, भले ही संदर्भ स्पष्ट रूप से विभेदीकरण (differentiation) की मांग करता हो। यह घटना, जिसे डिफरेंस अनअवेयरनेस (अंतर के प्रति अनभिज्ञता) कहा जाता है, मॉडलों को सांस्कृतिक विशिष्ट परिदृश्यों (जैसे, फेंग शुई सत्र के लिए एक प्रस्तोता का चयन करना) को ऐसे व्यवहार करने पर मजबूर करती है जैसे कि वे सांस्कृतिक रूप से तटस्थ हों (जैसे, क्रिप्टोकरेंसी ट्रेडिंग के लिए एक प्रस्तोता का चयन करना)। हालांकि मॉडलों के पास आवश्यक सांस्कृतिक ज्ञान मौजूद होता है, लेकिन वे निर्णय लेने के दौरान इसका उचित उपयोग करने में विफल रहते हैं।

मौजूदा निष्पक्षता बेंचमार्क अक्सर "डिफरेंस अनअवेयरनेस" (सभी समूहों के साथ समान व्यवहार करने की प्रवृत्ति) को मापते हैं, लेकिन वे ज्ञान की कमी और उस ज्ञान को संदर्भानुसार सक्रिय करने की विफलता के बीच अंतर करने में विफल रहते हैं। लेखक तर्क देते हैं कि बाधा सांस्कृतिक ज्ञान के भंडारण में नहीं, बल्कि उस गेटिंग मैकेनिज्म (gating mechanism) में है जो यह निर्धारित करता है कि सांस्कृतिक विभेदीकरण कब उचित है। यह शोध सांस्कृतिक बाइंडिंग (cultural binding)—अर्थात सांस्कृतिक वस्तुओं को उपयुक्त पहचानों के साथ जोड़ने की प्रक्रिया—के लिए जिम्मेदार आंतरिक तंत्रों की जांच करता है और उस विशिष्ट तंत्र को खोजने और नियंत्रित करने का प्रयास करता है जो इस प्रक्रिया को संचालित करता है।

कार्यप्रणाली (Methodology)

यह अध्ययन N4 सांस्कृतिक विनियोग बेंचमार्क (Wang et al., 2025) पर एक फैक्टोरियल डिज़ाइन का उपयोग करते हुए एक मैकेनिस्टिक इंटरप्रिटेबिलिटी पाइपलाइन का उपयोग करता है। कार्यप्रणाली के चार प्राथमिक चरण हैं:

फैक्टोरियल बेंचमार्क निर्माण: लेखकों ने 66 सांस्कृतिक वस्तुओं को कवर करने वाले 847 प्रॉम्प्ट जोड़े बनाए। प्रत्येक जोड़ा एक मैच (Match) प्रॉम्प्ट (जिसमें एक सांस्कृतिक रूप से संबंधित पहचान $R$ और एक असंबंधित पहचान $U$ शामिल है) और एक मिसमैच (Mismatch) प्रॉम्प्ट (जहाँ $R$ को एक अलग असंबंधित पहचान से बदल दिया जाता है) से बना है। यह डिज़ाइन पहचान-वस्तु युग्मन (identity-item pairing) के प्रभाव को अलग करता है।
बाइंडिंग स्ट्रेंथ मापन (S-Score): लेखक समान व्यवहार बनाम विभेदीकरण की ओर मॉडल के झुकाव को मापने के लिए एक S-स्कोर को परिभाषित करते हैं। मुख्य मीट्रिक पेयरिंग प्रभाव है, $\Delta(S) = S_{match} - S_{mismatch}$ । एक नकारात्मक $\Delta(S)$ इंगित करता है कि संबंधित पहचान की उपस्थिति में मॉडल अधिक विभेदीकरण करता है।
हेड डिस्कवरी और कॉज़ल वेरिफिकेशन (कारण सत्यापन):
- डिस्कवरी: अटेंशन पैटर्न पर L1-रेगुलराइज्ड लॉजिस्टिक रिग्रेशन का उपयोग करके, लेखकों ने उन उम्मीदवार अटेंशन हेड्स की पहचान की जो मैच और मिसमैच प्रॉम्प्ट के बीच अंतर करते हैं।
- कॉज़ल नॉकआउट (Causal Knockout): कारण स्थापित करने के लिए, लेखकों ने विशिष्ट अटेंशन एडजेस ( $R \rightarrow \text{item}$ ) पर एज नॉकआउट (edge knockout) किया। उन्होंने प्री-सॉफ्टमैक्स अटेंशन वेट्स को $-\infty$ पर सेट कर दिया, जिससे कनेक्शन प्रभावी रूप से शून्य हो गया। एक नियंत्रण स्थिति ( $U \rightarrow \text{item}$ ) का उपयोग विशिष्टता सुनिश्चित करने के लिए किया गया था।
मॉड्यूलेशन और प्रोबिंग:
- $\alpha$ -स्केलिंग: जनरेशन के दौरान बाइंडिंग स्ट्रेंथ को नियंत्रित करने के लिए एक निरंतर हस्तक्षेप लागू किया गया, जिससे 'डोज़-रिस्पॉन्स' संबंध का परीक्षण किया गया।
- नॉलेज प्रोबिंग: एक अलग कार्य ने गैर-निर्णयात्मक संदर्भ में संबंधों को पहचानने की मॉडल की क्षमता (Knowledge Score, $K$ ) को मापा। इसने लेखकों को ज्ञान पुनर्प्राप्ति (knowledge retrieval) और निर्णयात्मक गेटिंग (decisional gating) को अलग करने की अनुमति दी।

इस पाइपलाइन को चार आर्किटेक्चर (Mistral-7B, Mistral-Nemo-12B, Llama-3.1-8B, Gemma-2-9B) के आठ मॉडलों पर लागू किया गया, जिसमें बेस और इंस्ट्रक्शन-ट्यून्ड दोनों संस्करण शामिल हैं।

मुख्य योगदान (Key Contributions)

सांस्कृतिक बाइंडिंग हेड्स की पहचान: यह अध्ययन प्रति मॉडल 2–3 मिड-लेयर अटेंशन हेड्स (परतों 7–16 में स्थित) की पहचान करता है जो सांस्कृतिक बाइंडिंग में योगदान देते हैं। ये हेड्स सांस्कृतिक पहचानों और वस्तुओं के बीच संबंध को मध्यस्थता प्रदान करते हैं।
प्री-ट्रेनिंग मूल: पहचाने गए हेड्स अपने बेस समकक्षों से इंस्ट्रक्शन-ट्यून्ड मॉडलों में स्थानांतरित होते हैं। बेस मॉडलों पर नॉकआउट प्रयोग समान कॉज़ल रिडक्शन दिखाते हैं, जो सुझाव देते हैं कि सांस्कृतिक बाइंडिंग तंत्र प्री-ट्रेनिंग के दौरान बनता है, न कि इंस्ट्रक्शन ट्यूनिंग द्वारा पेश किया जाता है।
$\alpha$ -स्केलिंग के माध्यम से मॉड्यूलेशन: लेखक प्रदर्शित करते हैं कि इन विशिष्ट हेड्स के आउटपुट को बढ़ाकर ( $\alpha = 2–3$ ) सांस्कृतिक प्रश्नों पर सांस्कृतिक विभेदीकरण सटीकता को 1–3 प्रतिशत अंक बढ़ाया जा सकता है, जबकि तटस्थ प्रश्नों पर समान-उपचार तर्क को काफी हद तक सुरक्षित रखा जाता है।
ज्ञान बनाम क्रिया अंतराल (Knowledge vs. Action Gap): एक नॉलेज प्रोबिंग कार्य प्रकट करता है कि मॉडलों में सांस्कृतिक जुड़ाव की शक्ति ( $|\Delta K|$ ) उनके द्वारा प्रदर्शित निर्णयात्मक बाइंडिंग ( $|\Delta S|$ ) की तुलना में 3–5 गुना अधिक है। यह इंगित करता है कि बाधा ज्ञान प्राप्ति में नहीं, बल्कि रूटिंग (gating) में है।

परिणाम (Results)

कॉज़ल प्रभाव: पहचाने गए हेड्स के $R \rightarrow \text{item}$ एडजेस को नॉकआउट करने से सभी आठ मॉडलों में बाइंडिंग स्ट्रेंथ ( $|\Delta S|$ ) में 9–23% की कमी आती है। रैंडम हेड नॉकआउट ने कोई महत्वपूर्ण प्रभाव नहीं दिखाया, जो पहचाने गए सर्किट की विशिष्टता की पुष्टि करता है।
डोज़-रिस्पेंस: $\alpha$ -स्केलिंग एक श्रेणीबद्ध प्रतिक्रिया (graded response) को प्रकट करता है। मध्यम प्रवर्धन ( $\alpha = 2–3$ ) चार में से तीन आर्किटेक्चर (Mistral, Nemo, Gemma) पर विभेदीकरण सटीकता में सुधार करता है, जिसमें तटस्थ तर्क में न्यूनतम गिरावट आती है। हालांकि, Llama एक नॉन-मोनोटोनिक प्रतिक्रिया दिखाता है, जहाँ अत्यधिक प्रवर्धन प्रदर्शन को खराब कर देता है।
आर्किटेक्चर अंतर:
- Mistral/Nemo: पहचाने गए हेड्स ज्ञान पुनर्प्राप्ति और गेटिंग निर्णयों ( $K/S \approx 1.0$ ) में लगभग समान रूप से योगदान करते हैं।
- Llama: हेड्स ज्ञान पुनर्प्राप्ति के साथ अधिक मजबूती से जुड़े हैं ( $K/S \approx 1.9$ ), जो यह सुझाव देता है कि बाइंडिंग तंत्र इस विशिष्ट हेड सेट द्वारा कैप्चर नहीं किए गए अन्य पथों पर निर्भर करता है।
- Gemma: हेड्स गेटिंग निर्णयों के साथ अधिक मजबूती से जुड़े हैं ( $K/S \approx 0.36$ )।
इंस्ट्रक्शन ट्यूनिंग: हालांकि तंत्र बेस मॉडलों में मौजूद है, इंस्ट्रक्शन ट्यूनिंग सिग्नल को बढ़ाती है और इन हेड्स के संतुलन को ज्ञान पुनर्प्राप्ति के सापेक्ष एक अधिक प्रभावी गेटिंग भूमिका की ओर स्थानांतरित करती है।

महत्व और दावे (Significance and Claims)

यह शोध संदर्भ-उपयुक्त सांस्कृतिक विभेदीकरण को दमन किए जाने वाले पूर्वाग्रह के रूप में नहीं, बल्कि विशिष्ट डोमेन ज्ञान से जुड़ी एक बाइंडिंग समस्या के रूप में पुनर्गठित करता है। इस कार्य का प्राथमिक महत्व सांस्कृतिक ज्ञान को सक्रिय करने वाले एक सुलभ, मैकेनिस्टिक हैंडल (2–3 अटेंशन हेड्स) की पहचान करना है।

लेखक दावा करते हैं कि "इम्प्लिसिट-एक्सप्लिसिट गैप" (जहाँ मॉडल सांस्कृतिक जुड़ाव को जानते हैं लेकिन उन पर कार्य करने में विफल रहते हैं) मुख्य रूप से एक रूटिंग समस्या है। बाधा सांस्कृतिक डेटा की कमी या पुन: प्रशिक्षण की आवश्यकता नहीं है, बल्कि मॉडल के आंतरिक सर्किट की सही जुड़ाव को सक्रिय करने में विफलता है।

अध्ययन सुझाव देता है कि सर्किट-स्तरीय हस्तक्षेप (जैसे लक्षित $\alpha$ -स्पिंग) अंतर-जागरूक व्यवहार में सुधार के लिए डेटा-केंद्रित या पूर्ण फाइन-ट्यूनिंग दृष्टिकोणों के लिए एक आशाजनक विकल्प प्रदान करते हैं। हालांकि, लेखक विनम्र भी हैं, यह नोट करते हुए कि लाभ वर्तमान में मामूली (1–3 pp) हैं, स्टीयरिंग सभी आर्किटेक्चर (विशेष रूप से Llama) में स्पष्ट रूप से स्थानांतरित नहीं होती है, और पहचाने गए हेड्स कुल बाइंडिंग प्रभाव का केवल एक अंश (9–23%) बताते हैं, जिसका अर्थ है कि एक व्यापक सर्किट अभी भी पूरी तरह से चरित्रित किया जाना बाकी है।