Fluent but Foreign: Even Regional LLMs Lack Cultural Alignment
क्षेत्रीय लार्ज लैंग्वेज मॉडल्स के उद्भव के बावजूद, यह अध्ययन प्रदर्शित करता है कि भारत जैसे विशिष्ट क्षेत्रों के लिए प्रशिक्षित मॉडल भी स्थानीय सांस्कृतिक मूल्यों और प्रथाओं के साथ तालमेल बिठाने में विफल रहते हैं, और अक्सर सांस्कृतिक रूप से आधारित प्रशिक्षण डेटा की कमी के कारण वैश्विक मॉडलों की तुलना में खराब प्रदर्शन करते हैं और पश्चिमीकृत पूर्वाग्रहों को पेश करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Fluent but Foreign: Even Regional LLMs Lack Cultural Alignment" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: भाषा बोलना बनाम संस्कृति को जीना
कल्पना कीजिए कि आपने ईमेल लिखने और सवालों के जवाब देने में मदद के लिए एक नया सहायक नियुक्त किया है। आप चाहते हैं कि वह आपकी भाषा पूरी तरह से बोल सके और आपके स्थानीय रीति-रिवाजों, आपके पारिवारिक परंपराओं और आपके पड़ोस के लोग वास्तव में कैसे सोचते हैं, इसे भी समझ सके।
इस पेपर के शोधकर्ताओं ने एक सरल लेकिन चौंकाने वाला सवाल पूछा: यदि हम विशेष रूप से भारत के लिए एक AI बनाते हैं, तो क्या वह वास्तव में एक भारतीय व्यक्ति की तरह सोचता है, या वह केवल हिंदी बोलता है जबकि सोच अमेरिकी तरीके से करता है?
उन्होंने पाया कि भले ही ये "क्षेत्रीय" (Regional) AI मॉडल भारतीय भाषाओं को धाराप्रवाह बोल सकते हैं, लेकिन वे सांस्कृतिक रूप से "विदेशी" हैं। वे उस व्यक्ति की तरह हैं जिसने भारतीय शब्दों की डिक्शनरी तो रट ली है, लेकिन फिर भी उनके विचार, मूल्य और व्यवहार बिल्कुल किसी अमेरिकी व्यक्ति जैसा ही है।
प्रयोग: एक 'टेस्ट ऑफ टेस्ट' (स्वाद परीक्षण)
AI मॉडलों का परीक्षण करने के लिए, शोधकर्ताओं ने AI मॉडलों के साथ एक सांस्कृतिक 'टेस्ट ऑफ टेस्ट' किया। उन्होंने विशेष रूप से भारत के लिए बनाए गए छह AI मॉडलों (इंडिक मॉडल्स) की तुलना छह प्रसिद्ध वैश्विक मॉडलों (जैसे कि अमेरिकी टेक दिग्गजों द्वारा बनाए गए मॉडल) से की।
उन्होंने यह देखने के लिए चार अलग-अलग "स्वाद परीक्षण" (Taste Tests) का उपयोग किया कि क्या AI वास्तव में भारतीय संस्कृति को समझता है:
"मूल्यों" का परीक्षण (हृदय): उन्होंने AI से उन विषयों पर सवाल पूछे जो लोगों के विश्वासों से जुड़े थे (जैसे, "क्या शराब पीना ठीक है?" या "ईश्वर आपके जीवन में कितने महत्वपूर्ण हैं?")। उन्होंने AI के जवाबों की तुलना लाखों वास्तविक भारतीय लोगों के सर्वेक्षणों से की।
- परिणाम: भारतीय AI मॉडलों ने ऐसे जवाब दिए जो भारतीयों की सोच के बजाय अमेरिकियों की सोच के बहुत करीब थे। वास्तव में, एक औसत अमेरिकी व्यक्ति, भारतीय मूल्यों का अनुमान लगाने में उस "भारतीय" AI से बेहतर था।
"ज्ञान" का परीक्षण (मस्तिष्क): उन्होंने भारतीय रीति-रिवाजों, त्योहारों और इतिहास के बारे में सामान्य ज्ञान (Trivia) के प्रश्न पूछे (जैसे, "हिंदू संस्कृति में बंदर की पूजा किस रूप में की जाती है?")?
- परिणाम: आश्चर्यजनक रूप से, AI मॉडलों ने भारतीय संस्कृति की तुलना में अमेरिकी संस्कृति के बारे में अधिक जानकारी रखी। यहाँ तक कि भारत के लिए बनाए गए मॉडलों ने भी अमेरिकी प्रश्नों की तुलना में भारतीय प्रश्नों के अधिक गलत उत्तर दिए।
"शिष्टाचार" का परीक्षण (सामाजिक कौशल): उन्होंने AI को सामाजिक नियमों के बारे में परिदृश्य (Scenarios) दिए (जैसे, "क्या भारत में रात के खाने के दौरान बाएं हाथ से खाना ठीक है?")।
- परिणाम: AI को भारत के लिए सही सामाजिक व्यवहार समझने में संघर्ष करना पड़ा, और वह अक्सर गलत अनुमान लगाता या अमेरिकी व्यवहार की तरह व्यवहार करता।
"लेखन" का परीक्षण (कलम): उन्होंने वास्तविक भारतीयों से उनके पसंदीदा भोजन या त्योहारों के बारे में छोटे निबंध लिखने को कहा। फिर, उन्होंने AI को लिखने में मदद करने के लिए शब्द सुझाने के लिए कहा।
- परिणाम: जब AI ने मदद की, तो उसने लेखन को "पश्चिमीकृत" (Westernized) बना दिया। उसने भारत के बारे में सामान्य और विदेशी विवरण (जैसे, "रहस्यमयी मसाले") सुझाए या भारतीय त्योहारों के बजाय अमेरिकी परंपराओं (जैसे, भारतीय छुट्टी के लिए बारबेक्यू) का सुझाव दिया।
"जादुई समाधान" काम नहीं आया
शोधकर्ताओं ने AI को "ठीक" करने की कोशिश की, जैसे कि उसे विशेष निर्देश देना, जैसे, "आप भारत में रहने वाले एक औसत व्यक्ति हैं," या अंग्रेजी के बजाय हिंदी में सवाल पूछना।
- उपमा: यह एक पर्यटक को यह बताने जैसा है, "दिखावा करो कि तुम स्थानीय निवासी हो!" इससे वह शायद कुछ स्थानीय वाक्यांश बोल ले, लेकिन इससे उसकी गहरी सोच या विश्वास नहीं बदलता।
- परिणाम: इन तरीकों से बहुत कम मदद मिली। AI सांस्कृतिक रूप से बेमेल (Misaligned) ही रहा।
ऐसा क्यों हुआ?
पेपर सुझाव देता है कि समस्या AI को "पकाने" के लिए इस्तेमाल किए गए "सामग्री" (Ingredients) में है।
- रेसिपी: AI को प्रशिक्षित करने के लिए, आप उसे इंटरनेट से भारी मात्रा में टेक्स्ट खिलाते हैं। इंटरनेट का अधिकांश हिस्सा पश्चिम (विशेष रूप से अमेरिका) के लोगों द्वारा लिखा गया है।
- गलती: डेवलपर्स ने इन विशाल पश्चिमी "रेसिपी" को लिया और बस उसके ऊपर भारतीय भाषा का थोड़ा सा डेटा ऊपर से डाल दिया। उन्होंने मुख्य सामग्री को बदला नहीं।
- उपमा: कल्पना कीजिए कि आप एक मसालेदार भारतीय करी बनाना चाहते हैं। आप एक बड़े बर्तन में अमेरिकी सूप (प्री-ट्रेंड मॉडल) से शुरुआत करते हैं। आप उसमें थोड़ा सा भारतीय मसाला (क्षेत्रीय फाइन-ट्यूनिंग) मिला देते हैं। आप चाहे कितना भी चला लें, वह अभी भी ज्यादातर अमेरिकी सूप ही रहेगा। एक असली भारतीय करी बनाने के लिए, आपको अमेरिकी सूप के बजाय भारतीय शोरबे (Broth) के बर्तन से शुरुआत करनी होगी।
मुख्य निष्कर्ष
पेपर निष्कर्ष निकालता है कि भाषा बोलना, संस्कृति को समझने के समान नहीं है।
एक ऐसा AI बनाना जो वास्तव में "संप्रभु" (Sovereign - किसी देश का अपना) हो, केवल उसे हिंदी, तमिल या बंगाली सिखाने के बारे में नहीं है। इसके लिए आवश्यक है:
- बेहतर सामग्री: AI को ऐसे डेटा पर प्रशिक्षित करना जो वास्तव में उस देश के लोगों के जीवन, सोच और मूल्यों को दर्शाता हो, न कि केवल अनुवादित पश्चिमी टेक्स्ट को।
- नए परीक्षण: हमें AI का परीक्षण सांस्कृतिक मूल्यों और सामाजिक मानदंडों पर भी करना होगा, न कि केवल व्याकरण और गणित पर।
जब तक हम ऐसा नहीं करते, ये "क्षेत्रीय" AI अपने ही घर में धाराप्रवाह बोलने वाले, लेकिन सांस्कृतिक रूप से विदेशी बने रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।