Attributing Culture-Conditioned Generations to Pretraining Corpora

यहाँ ICLR 2025 में प्रकाशित शोध पत्र "Attributing Culture-Conditioned Generations to Pretraining Corpora" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ओपन-एंडेड जनरेटिव कार्यों (जैसे, कथा लेखन, संवाद) में महत्वपूर्ण सांस्कृतिक पूर्वाग्रह प्रदर्शित करते हैं। विशेष रूप से, वे कम प्रचलित संस्कृतियों के लिए सीमित ज्ञान दिखाते हैं और टेम्पलेटेड, जेनेरिक आउटपुट उत्पन्न करते हैं, जबकि उच्च-आवृत्ति (high-frequency) वाली संस्कृतियों का अत्यधिक प्रतिनिधित्व करते हैं। हालांकि पिछले कार्यों ने यह स्थापित किया है कि ये पूर्वाग्रह प्रीट्रेनिंग कॉर्पोरा (pretraining corpora) में असमान प्रतिनिधित्व से उत्पन्न होते हैं, लेकिन इस संबंध में एक सूक्ष्म समझ की कमी है कि मॉडल के आउटपुट में विशिष्ट सांस्कृतिक जुड़ाव कैसे बनते हैं।

मूल समस्या यह है कि यह अंतर करना असंभव है कि मॉडल द्वारा किसी सांस्कृतिक प्रतीक (जैसे, जापान के लिए "किमोनो") का उत्पादन निम्नलिखित में से किसके कारण है:

1. मेमोराइजेशन (Memorization): प्रीट्रेनिंग डेटा से संस्कृति-प्रतीक युग्मों (culture-symbol pairs) का सीधा स्मरण।
2. जनरलाइजेशन (Generalization): कमजोर जुड़ावों या उच्च-आवृत्ति वाले शब्दों से प्रसार (diffusion) के आधार पर अनुमान।
3. बायस (Bias): मॉडल द्वारा विशिष्ट सांस्कृतिक प्रॉम्प्ट के बावजूद उच्च-आवृत्ति वाले टोकन को प्राथमिकता देना।

2. कार्यप्रणाली: MEMOED फ्रेमवर्क (Methodology: The MEMOED Framework)

लेखक MEMOED (MEMOrization from pretraining document) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे संस्कृति-आधारित जनरेशन को प्रीट्रेनिंग डेटा के विशिष्ट पैटर्नों के साथ जोड़ने (attribute करने) के लिए डिज़ाइन किया गया है। यह अध्ययन OLMo-7B और इसके प्रीट्रेनिंग कॉर्पस, Dolma का उपयोग करता है, जो ओपन-सोर्स और इंडेक्स्ड हैं, जिससे डॉक्यूमेंट-लेवल ट्रेसिंग संभव हो पाती है।

A. डेटा संग्रह (Data Collection)

• दायरा (Scope): भोजन और कपड़ों के विषयों पर 110 संस्कृतियाँ।
• जनरेशन (Generation): मॉडल को एक विशिष्ट संस्कृति के लिए भोजन/कपड़ों का वर्णन करने के लिए प्रॉम्प्ट दिया गया (जैसे, "मेरा पड़ोसी [संस्कृति] है। वह शायद ... खाना पसंद करता है")।
• एक्सट्रैक्शन (Extraction): प्रति जेंडर सेटिंग 100 जनरेशन (प्रति संस्कृति कुल 300) को "प्रतीकों" (जैसे विशिष्ट व्यंजन या वस्त्र) को निकालने के लिए LLAMA-3-70b का उपयोग करके प्रोसेस किया गया।

B. जुड़ावों का वर्गीकरण (Classification of Associations)

यह फ्रेमवर्क संस्कृति-प्रतीक जुड़ावों को चार प्रकारों में वर्गीकृत करता है:

1. मेमोराइज्ड एसोसिएशन (Memorized Association): प्रतीक और संस्कृति प्रीट्रेनिंग डेटा में एक सार्थक संदर्भ के भीतर बार-बार सह-घटित (co-occur) होते हैं।
2. डिफ्यूज एसोसिएशन (Diffuse Association): ऐसे प्रतीक (जैसे, "चावल," "टी-शर्ट") जो किसी भी एकल संस्कृति के प्रीट्रेनिंग दस्तावेजों में विशिष्ट आधार के बिना >50% संस्कृतियों के लिए उत्पन्न होते हैं।
3. क्रॉस-कल्चर जनरलाइजेशन (Cross-Culture Generalization): संस्कृति A के लिए मेमोराइज किया गया प्रतीक संस्कृति B के लिए उत्पन्न होता है (जैसे, कोरिया के लिए "किमोनो" उत्पन्न होना)।
4. वीक एसोसिएशन जनरलाइजेशन (Weak Association Generalization): मेमोराइज किए गए प्रतीकों से अनुमानित व्यापक अवधारणाएँ (जैसे, "किमोनो" से अनुमानित "रोब/चोगा")।

C. MEMOED पाइपलाइन (तकनीकी कोर) (The MEMOED Pipeline)

यह निर्धारित करने के लिए कि क्या कोई प्रतीक मेमोराइज्ड है, MEMOED प्रीट्रेनिंग दस्तावेजों का विश्लेषण करता है:

1. प्रासंगिकता फ़िल्टरिंग (Relevance Filtering): एक दस्तावेज़ $D$ को योगदान देने वाला माना जाता है यदि संस्कृति $C$ और प्रतीक $S$ एक विशिष्ट दूरी के भीतर दिखाई देते हैं और दस्तावेज़ $C$ के लिए विषयगत रूप से प्रासंगिक है।
   • डिस्टेंस मेट्रिक्स (Distance Metrics): न्यूनतम टोकन दूरी ($d_{TOK}$) और न्यूनतम वाक्य दूरी ($d_{SENT}$)।
   • संदर्भ प्रासंगिकता (Context Relevance): इसे डॉक्यूमेंट-सिग्नल टू नॉइज़ रेशियो ($d_{SNR}$) के माध्यम से मापा जाता है। यह दस्तावेज़ में लक्षित संस्कृति $C$ की आवृत्ति बनाम अन्य सभी संस्कृतियों की आवृत्ति के लॉग-अनुपात की गणना करता है। उच्च $d_{SNR}$ इंगित करता है कि दस्तावेज़ विशेष रूप से $C$ के बारे में है।
2. कंट्रीब्यूशन स्कोर (Contribution Score - CS): योगदान देने वाले दस्तावेजों का उन कुल दस्तावेजों के अनुपात में जहाँ प्रतीक दिखाई देता है।
3. Z-Score थ्रेशोल्डिंग (Z-Score Thresholding): एक विशिष्ट प्रतीक उत्पन्न करने वाली सभी संस्कृतियों के लिए CS की गणना की जाती है। यदि किसी संस्कृति का CS एक आउटलायर (Z-score $\ge$ 2.6) है, तो उस प्रतीक को उस संस्कृति के लिए मेमोराइज्ड के रूप में वर्गीकृत किया जाता है।

D. गैर-मेमोराइज्ड जुड़ावों का विश्लेषण (Analyzing Non-Memorized Associations)

• डिफ्यूज एसोसिएशन (Diffuse Association): डिफ्यूज प्रतीकों की आवृत्ति की तुलना मेमोराइज्ड प्रतीकों से करके "ओवरशैडोइंग रेशियो" (Overshadowing Ratio) के माध्यम से विश्लेषण किया जाता है।
• क्रॉस-कल्चर जनरलाइजेशन (Cross-Culture Generalization): स्रोत संस्कृति, लक्षित संस्कृति और प्रतीक जहाँ सह-घटित होते हैं, उन दस्तावेजों पर टॉपिक मॉडलिंग (LDA) का उपयोग करके जांचा जाता है ताकि साझा विषयगत कीवर्ड (जैसे, "धर्म" जो हिजाब, ईरान और सऊदी अरब को जोड़ता है) मिल सकें।
• वीक एसोसिएशन (Weak Association): मेमोराइज्ड प्रतीकों को परिभाषित करने के लिए मॉडल को प्रॉम्प्ट करके और यह जाँचकर मान्य किया जाता है कि क्या उत्पन्न "कमजोर" प्रतीक उनके व्यापक परिभाषाओं से मेल खाते हैं।

3. मुख्य परिणाम (Key Results)

A. मेमोराइजेशन फ्रीक्वेंसी-डिपेंडेंट है (Memorization is Frequency-Dependent)

• प्रीट्रेनिंग में एक संस्कृति के लिए दस्तावेजों की संख्या और उसके लिए उत्पन्न मेमोराइज्ड प्रतीकों की संख्या के बीच एक मजबूत सकारात्मक सहसंबंध है (भोजन: Spearman $\rho=0.67$; कपड़े: $\rho=0.54$)।
• लॉन्ग-टेल संस्कृतियाँ (प्रीट्रेनिंग में कम-आवृत्ति वाली) प्रशिक्षण के दौरान "पीरियोडिक फॉरगेटिंग" (periodic forgetting) का शिकार होती हैं, जिसके परिणामस्वरूप लगभग शून्य मेमोराइज्ड प्रतीक होते हैं। कपड़ों के लिए, ~60% संस्कृतियों में कोई मेमोराइज्ड प्रतीक नहीं थे।

B. मेमोराइज्ड प्रतीकों की प्रकृति (The Nature of Memorized Symbols)

• केवल एम्ब्लेमैटिक नहीं: MEMOED उन मेमोराइज्ड प्रतीकों की पहचान करता है जो सांस्कृतिक रूप से एम्ब्लेमैटिक (प्रतीकात्मक) नहीं हैं बल्कि केवल डेटा में बहुत अधिक आवृत्ति वाले हैं (जैसे, जापान के लिए "बिजनेस सूट", भारत के लिए "वेस्टर्न ब्राइडल गाउन")।
• ह्यूमन अलाइनमेंट (Human Alignment): फ्रेमवर्क का वर्गीकरण मानव एनोटेटरों के साथ अच्छी तरह से संरेखित होता है (कपड़ों के लिए भारित F1: 0.845, भोजन के लिए: 0.670)।

C. डिफ्यूज एसोसिएशन फ्रीक्वेंसी-ड्रिवन है (Diffuse Association is Frequency-Driven)

• डिफ्यूज प्रतीक (जैसे, "चिकन," "चावल") प्रीट्रेनिंग डेटा में मेमोराइज्ड प्रतीकों की तुलना में 1000 गुना अधिक बार दिखाई देते हैं।
• यह विशाल आवृत्ति अंतर मॉडल को सैंपलिंग के दौरान विशिष्ट सांस्कृतिक ज्ञान के ऊपर जेनेरिक, उच्च-आवृत्ति वाले टोकन के साथ "ओवरशैडो" (अतिछादन) करने के लिए मजबूर करता है।

D. क्रॉस-कल्चर जनरलाइजेशन पैटर्न (Cross-Culture Generalization Patterns)

• हाई-टू-लो फ्लो (High-to-Low Flow): उच्च प्रीट्रेनिंग आवृत्ति वाली संस्कृतियों के लिए अन्य संस्कृतियों के लिए उनके मेमोराइज्ड प्रतीक उत्पन्न होने की अधिक संभावना होती है। इसके विपरीत, कम-आवृत्ति वाली संस्कृतियों के लिए उच्च-आवृत्ति वाली संस्कृतियों से प्रतीक प्राप्त करने की अधिक संभावना होती है।
• थीमैटिक को-ऑकरेंस (Thematic Co-occurrence): जनरलाइजेशन अक्सर प्रीट्रेनिंग में साझा विषयों के कारण होता है (जैसे, "इस्लामिक राजनीति" के विषय के तहत ईरान और सऊदी अरब दोनों के बारे में चर्चा करने वाले दस्तावेजों में "हिजाब" का दिखना)।

E. जुड़ावों का वितरण (Distribution of Associations)

• डिफ्यूज एसोसिएशन का प्रभुत्व (Diffuse Association Dominance): हालांकि डिफ्यूज प्रतीक अद्वितीय प्रतीकों का एक छोटा हिस्सा बनाते हैं, वे कुल जनरेटेड रिस्पॉन्स में 79.2% (भोजन) और 91.12% (कपड़े) का हिस्सा हैं।
• मेमोराइजेशन की कमी (Memorization Scarcity): मेमोराइज्ड प्रतीक भोजन प्रतिक्रियाओं के लिए औसतन केवल 4.12% और कपड़ों के लिए 0.76% होते हैं।
• वैरिएंस (Variance): उच्च-आवृत्ति वाली संस्कृतियाँ (जैसे, मैक्सिको) उच्च मेमोराइजेशन दर (~42%) दिखाती हैं, जबकि अन्य (जैसे, त्रिनिदाद) 0% दिखाती हैं।

4. मुख्य योगदान (Key Contributions)

1. MEMOED फ्रेमवर्क: एक नवीन, पुनरुत्पादक (reproducible) विधि जो LLM जनरेशन को विशिष्ट प्रीट्रेनिंग दस्तावेजों के साथ जोड़ने (attribute करने) का कार्य करती है, जो मेमोराइजेशन और जनरलाइजेशन के बीच अंतर करती है।
2. ग्रैनुलर टैक्सोनॉमी (Granular Taxonomy): संस्कृति-प्रतीक जुड़ावों के चार अलग-अलग प्रकारों की पहचान, जो "बायस बनाम नो बायस" के द्विआधारी (binary) दृष्टिकोण से आगे बढ़ती है।
3. असमानता का अनुभवजन्य प्रमाण (Empirical Evidence of Imbalance): मात्रात्मक प्रमाण कि LLMs कम-आवृत्ति वाली संस्कृतियों के लिए उच्च-आवृत्ति, डिफ्यूज प्रतीकों पर बहुत अधिक निर्भर करते हैं, जिससे "नॉलेज कोलैप्स" (ज्ञान पतन) होता है जहाँ विशिष्ट सांस्कृतिक विवरण खो जाते हैं।
4. सहसंबंध विश्लेषण (Correlation Analysis): प्रीट्रेनिंग डेटा की आवृत्ति और मॉडल की मेमोराइज बनाम जनरलाइज करने की क्षमता के बीच मजबूत सांख्यिकीय लिंक स्थापित करना।

5. महत्व और निहितार्थ (Significance and Implications)

• पूर्वाग्रह का निदान (Diagnosis of Bias): यह पेपर एक नैदानिक उपकरण प्रदान करता है कि मॉडल किसी विशिष्ट संस्कृति पर क्यों विफल होता है (डेटा की कमी के कारण मेमोराइजेशन का अभाव) बनाम वह जेनेरिक सामग्री क्यों बनाता है (उच्च-आवृत्ति वाले डिफ्यूज प्रतीकों द्वारा ओवरशैडोइंग)।
• शमन रणनीतियाँ (Mitigation Strategies): निष्कर्ष बताते हैं कि केवल फाइन-ट्यूनिंग पर्याप्त नहीं हो सकती; प्रभावी शमन के लिए लॉन्ग-टेल संस्कृतियों के लिए डेटा ऑग्मेंटेशन या उच्च-आवृत्ति वाले डिफ्यूज जुड़ावों के अनलर्निंग (unlearning) की आवश्यकता है ताकि मॉडल को विशिष्ट सांस्कृतिक ज्ञान प्राप्त करने के लिए मजबूर किया जा सके।
• भविष्य का अनुसंधान (Future Research): यह फ्रेमवर्क "डेटा एट्रिब्यूशन" में एक मिसाल कायम करता है, जो केवल आउटपुट मेट्रिक्स के बजाय मॉडल व्यवहार को सीधे प्रीट्रेनिंग कॉर्पस सांख्यिकी से जोड़ने वाले शोध को प्रोत्साहित करता है।

सीमाएँ (Limitations): वर्तमान में यह अध्ययन खोज योग्य (searchable), ओपन प्रीट्रेनिंग डेटा की आवश्यकता के कारण OLMo-7B तक सीमित है। हालांकि, यह कार्यप्रणाली अन्य मॉडल्स के लिए सैद्धांतिक रूप से हस्तांतरणीय है जिनके पास सुलभ प्रीट्रेनिंग कॉर्पस है।