Figurative and Cultural Knowledge in LLMs: Investigating Cross-Domain Transfer through Fine-Tuning
यह शोध पत्र इस बात की जांच करता है कि क्या सांस्कृतिक डेटा पर फाइन-ट्यूनिंग करने से एलएलएम (LLMs) में लाक्षणिक भाषा की समझ में सुधार होता है, जिसमें यह पाया गया है कि जहाँ कविता प्रशिक्षण मुहावरों की समझ को एक हस्तांतरणीय तरीके से बेहतर बनाता है, वहीं सांस्कृतिक फाइन-ट्यूनिंग अक्सर कहावतों की व्याख्या को खराब कर देती है और सांस्कृतिक विसर्जन तथा लाक्षणिक भाषा प्राप्ति के बीच एक जटिल, गैर-रेखीय संबंध को प्रकट करती है जिसे केवल फाइन-ट्यूनिंग के माध्यम से सीधे तौर पर नहीं पकड़ा जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा केवल शब्दों को व्यवस्थित करने के नियमों का एक समूह नहीं है; यह एक समुदाय के इतिहास, मूल्यों और साझा अनुभवों का एक जीवंत संग्रह है। यह विशेष रूप से लाक्षणिक भाषा (figurative language) के लिए सच है—वे मुहावरे, लोकोक्तियाँ और कविताएँ जो अर्थ समझने के लिए सांस्कृतिक संदर्भ पर निर्भर करती हैं। "it's raining cats and dogs" जैसा वाक्यांश उस व्यक्ति के लिए निरर्थक है जिसने कभी इस अभिव्यक्ति को नहीं सुना है, लेकिन एक मूल वक्ता के लिए, यह तुरंत भारी बारिश की एक विशिष्ट छवि प्रस्तुत करता है। आर्टिफिशियल इंटेलिजेंस (AI) के लिए, जो विशाल मात्रा में टेक्स्ट को प्रोसेस करके सीखता है, इस प्रकार की भाषा में महारत हासिल करना एक बड़ी बाधा है। हालाँकि आधुनिक AI मॉडल धाराप्रवाह पढ़ और लिख सकते हैं, वे अक्सर उन गहरे, गैर-शाब्दिक अर्थों को समझने में संघर्ष करते हैं जो किसी संस्कृति के ताने-बाने में बुने होते हैं। शोधकर्ता लंबे समय से यह सवाल पूछते आए हैं कि क्या AI को किसी संस्कृति के दैनिक जीवन और परंपराओं के बारे में सिखाना उसे उसके रूपकों (metaphors) को समझने में मदद करेगा, या क्या रूपकों की व्याख्या करना सीखने से उसे सांस्कृतिक तथ्यों को समझने में मदद मिलेगी।
शोधकर्ताओं की एक टीम ने अरबी भाषा का उपयोग करके इस संबंध का परीक्षण करने के लिए एक प्रयोग किया, जो विविध बोलियों और एक गहरी साहित्यिक परंपरा वाली भाषा है। उन्होंने चार अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ काम किया, जो कई आधुनिक AI अनुप्रयोगों को संचालित करने वाली शक्तिशाली कंप्यूटर प्रणालियाँ हैं। यह देखने के लिए कि क्या सांस्कृतिक ज्ञान और लाक्षणिक समझ आपस में जुड़े हुए हैं, शोधकर्ताओं ने नियंत्रित प्रयोगों की एक श्रृंखला आयोजित की। उन्होंने इन मॉडल्स को लिया और उन्हें विशिष्ट प्रकार के डेटा पर अतिरिक्त प्रशिक्षण, या "फाइन-ट्यूनिंग" (fine-tuning) दी। एक समूह में, उन्होंने मॉडल्स को सांस्कृतिक ज्ञान के हजारों उदाहरण दिए, जैसे कि अरब जगत के सामाजिक रीति-रिवाज, क्षेत्रीय प्रथाएं और रोजमर्रा का जीवन। दूसरे समूह में, उन्होंने मॉडल्स को लाक्षणिक भाषा पर प्रशिक्षित किया, जिसमें कहावतों, मुहावरों और कविता से भरे डेटासेट शामिल थे। उन्होंने एक नियंत्रण समूह (control group) को भी शामिल किया जिसे सामान्य अरबी व्याकरण पर प्रशिक्षित किया गया था, ताकि यह सुनिश्चित किया जा सके कि कोई भी परिवर्तन विशिष्ट प्रशिक्षण सामग्री के कारण था न कि केवल अधिक अरबी सीखने की प्रक्रिया के कारण।
परिणामों ने एक जटिल और कुछ हद तक आश्चर्यजनक तस्वीर पेश की। शोधकर्ताओं ने पाया कि मॉडल को संस्कृति के बारे में सिखाने से वह स्वतः ही मुहावरों या लोकोक्तियों को समझने में बेहतर नहीं हुआ। वास्तव में, जो मॉडल पहले से ही अरबी में विशेषज्ञ थे, उन्हें सांस्कृतिक डेटा पर प्रशिक्षित करने से कभी-कभी उनका प्रदर्शन खराब हो गया। ये मॉडल, जिन्होंने संभवतः अपने प्रारंभिक प्रशिक्षण के दौरान पहले से ही काफी सांस्कृतिक ज्ञान आत्मसात कर लिया था, चुनिहीं गए सांस्कृतिक तथ्यों के संपर्क में आने पर भ्रमित होते प्रतीत हुए। इसके विपरीत, सांस्कृतिक डेटा पर मॉडल्स को प्रशिक्षित करने से उन्हें सांस्कृतिक तथ्यों के बारे में सामान्य प्रश्नों के उत्तर देने में भी मदद नहीं मिली। दोनों प्रकार के ज्ञान—सांस्कृतिक तथ्य और लाक्षणिक अर्थ—एक दूसरे का समर्थन उस तरह नहीं कर पाए जैसा कि शोधकर्ताओं को उम्मीद थी।
हालाँकि, एक स्पष्ट अपवाद सामने आया जो विशेष रूप से ध्यान देने योग्य था। जब शोधकर्ताओं ने मॉडल्स को विशेष रूप से कविता पर प्रशिक्षित किया, तो मॉडल मुहावरों को समझने में काफी बेहतर हो गए। यह सुधार मापने योग्य और सांख्यिकीय रूप से विश्वसनीय था, जिसमें एक विशिष्ट मॉडल ने सटीकता में उल्लेखनीय उछाल दिखाया। महत्वपूर्ण बात यह है कि यह सुधार तब नहीं हुआ जब मॉडल्स को सामान्य अरबी टेक्स्ट या व्याकरण पर प्रशिक्षित किया गया था, जिससे पता चलता है कि यह सुधार काव्य सामग्री से आया था, न कि केवल अधिक अरबी शब्दों को देखने से। कविता, जो अपनी कल्पना (imagery), लय और गैर-शाब्दिक अर्थों पर निर्भर करती है, ने मॉडल्स को एक व्यापक कौशल सिखाया: शब्दों के शाब्दिक अर्थ से परे जाकर अर्थ को पहचानने और व्याख्या करने की क्षमता। यह कौशल मुहावरों पर सफलतापूर्वक स्थानांतरित हुआ, भले ही कविता और मुहावरे अभिव्यक्ति के अलग-अलग रूप हों।
अध्ययन ने यह भी रेखांकित किया कि परिणाम इस बात पर निर्भर करते थे कि किस मॉडल का उपयोग किया जा रहा है। जो मॉडल विशेष रूप से अरबी भाषा के लिए डिज़ाइन किए गए थे, उनके पास ज्ञान का उच्च आधार स्तर (baseline) था और नए डेटा पर फाइन-ट्यूनिंग के बाद अक्सर वे पिछड़ गए, या उनका प्रदर्शन खराब हो गया। इससे पता चलता है कि उन्होंने उपलब्ध प्रशिक्षण सामग्री से जितना हो सकता था उतना पहले ही सीख लिया था। इसके विपरीत, बहुभाषी मॉडल्स (multilingual models), जो कई भाषाओं में प्रशिक्षित होते हैं, उनमें सीखने की अधिक गुंजाइश थी और नए डेटा के संपर्क में आने पर वे अधिक निरंतर सुधार दिखाते थे। जब शोधकर्ताओं ने त्रुटियों का बारीकी से अध्ययन किया, तो उन्होंने पाया कि प्रशिक्षण ने भोजन, खेल और उत्सवों जैसी रोजमर्रा की, अनुभवात्मक चीजों के बारे में ज्ञान को सुदृढ़ किया, जबकि कभी-कभी ऐतिहासिक तथ्यों या विशिष्ट राजनीतिक विवरणों पर उनकी पकड़ को कमजोर कर दिया।
अंततः, शोध यह सुझाव देता है कि संस्कृति और लाक्षणिक भाषा के बीच का संबंध कोई सरल स्विच नहीं है जिसे AI को अधिक डेटा खिलाकर चालू किया जा सके। हालाँकि मानव अनुभव में ये दोनों गहराई से जुड़े हुए हैं, लेकिन AI को एक सिखाने से यह गारंटी नहीं मिलती कि वह दूसरे में महारत हासिल कर लेगा। इस अध्ययन में पाया गया एकमात्र विश्वसनीय सेतु कविता से मुहावरों तक था, जो यह दर्शाता है कि भाषा के कलात्मक और गैर-शाब्दिक पक्ष के संपर्क में आने से मॉडल को उसके रूपक परिदृश्य को समझने में मदद मिल सकती है। फिलहाल, वास्तव में सांस्कृतिक रूप से जागरूक आर्टिफिशियल इंटेलिजेंस का मार्ग असमान बना हुआ है, जिसके लिए केवल एक डोमेन से दूसरे डोमेन में ज्ञान के सरल हस्तांतरण से कहीं अधिक की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।