The Geometry of Low-Resource Language Representations
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडलों (large language models) में कम-संसाधन वाली भाषाएँ डेटा की कमी के कारण अंतिम परतों में प्रतिनिधिक क्षरण (representational degeneration) का शिकार होती हैं, और यह दर्शाता है कि निरंतर प्रीट्रेनिंग (continued pretraining) के दौरान ज्यामितीय नियमितीकरण (geometric regularisation) लागू करने से इस समस्या को प्रभावी ढंग से कम किया जा सकता है ताकि प्रदर्शन में सुधार हो सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) उन कृत्रिम बुद्धिमत्ता (AI) उपकरणों के पीछे के इंजन हैं जिन्हें हम आज उपयोग करते हैं, जो कहानियाँ लिखने, समस्याओं को हल करने और टेक्स्ट का अनुवाद करने में सक्षम हैं। हालाँकि, ये सिस्टम हर मानव भाषा के लिए समान रूप से नहीं बनाए गए हैं। जहाँ वे अंग्रेजी या स्पेनिश जैसी भाषाओं के साथ शानदार प्रदर्शन करते हैं, जिनके पास प्रशिक्षण के लिए प्रचुर मात्रा में डिजिटल टेक्स्ट उपलब्ध है, वहीं वे उन भाषाओं के साथ काफी संघर्ष करते हैं जिनके पास डिजिटल संसाधन कम हैं। यह अंतर केवल डेटा की कमी का मामला नहीं है; यह संकेत देता है कि इन मॉडल्स के सूचना संसाधित करने का आंतरिक तरीका तब टूट जाता है जब डेटा कम होता है। वैज्ञानिक लंबे समय से यह जानने के लिए उत्सुक रहे हैं कि जब मॉडल किसी ऐसी भाषा का सामना करता है जिसे उसने पर्याप्त रूप से नहीं देखा है, तो उसके "मस्तिष्क" के अंदर क्या होता है, और क्या अर्थ को व्यवस्थित करने का तरीका इस बात पर निर्भर करता है कि उसके पास काम करने के लिए कितनी जानकारी है।
केप टाउन विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस उत्तर को खोजने के लिए सीधे इन मॉडल्स के भीतर झाँकने का निर्णय लिया। उन्होंने मॉडल के आंतरिक प्रतिनिधित्व (internal representations) की ज्यामिति (geometry) पर ध्यान केंद्रित किया। सरल शब्दों में, जब एक कंप्यूटर किसी शब्द को संसाधित करता है, तो वह उसे अर्थ को दर्शाने वाली संख्याओं की एक सूची में बदल देता है। ये संख्याओं की सूचियाँ एक विशाल, बहु-आयामी स्थान (multi-dimensional space) में मौजूद होती हैं। शोधकर्ता यह देखना चाहते थे कि विभिन्न भाषाओं के लिए इस स्थान का आकार कैसे बदलता है। उन्होंने पाया कि प्रचुर डेटा वाली भाषाओं के लिए, ये संख्यात्मक सूचियाँ फैली हुई और विशिष्ट होती हैं, जिससे मॉडल विभिन्न अर्थों को अलग रखने में सक्षम होता है। लेकिन कम-संसाधन वाली भाषाओं के लिए, मॉडल इस स्थान को सिकोड़ देता है, जिससे कई अलग-अलग अर्थ एक तंग, भीड़भाड़ वाले समूह में सिमट जाते हैं जहाँ वे अपनी विशिष्टता खो देते हैं। यह घटना, जिसे शोधकर्ता 'रिप्रेजेंटेशनल डिजनरेशन' (representational degeneration) कहते हैं, का अर्थ है कि मॉडल प्रभावी रूप से इन भाषाओं के बारे में स्पष्ट रूप से सोचने के लिए जगह खत्म कर रहा है।
इसकी जांच करने के लिए, टीम ने 1-बिलियन-पैरामीटर वाले छोटे संस्करणों से लेकर 12-बिलियन-पैरामीटर वाले बड़े संस्करणों तक, नौ अलग-अलग लार्ज लैंग्वेज मॉडल्स का परीक्षण किया। उन्होंने अंग्रेजी जैसी बहुत उच्च-संसाधन वाली भाषाओं से लेकर ओरोमो (Oromo) और वोलोफ (Wolof) जैसी बहुत कम-संसाधन वाली भाषाओं तक, तीस विभिन्न भाषाओं का विश्लेषण किया। शब्दों के संख्यात्मक प्रतिनिधित्व कितने करीब हैं, इसे मापकर उन्होंने एक स्पष्ट पैटर्न पाया: जिस भाषा के पास जितना कम डेटा था, मॉडल का आंतरिक प्रतिनिधित्व उतना ही अधिक आपस में सिमट गया। यह प्रभाव मॉडल्स की अंतिम परतों (final layers) में सबसे अधिक स्पष्ट था, जो वे हिस्से हैं जो यह निर्णय लेने के लिए जिम्मेदार होते हैं कि किसी शब्द का अर्थ क्या है या आगे क्या आना चाहिए। इन अंतिम चरणों में, मॉडल कम-संसाधन वाली भाषाओं के लिए विभिन्न अवधारणाओं के बीच अंतर करने की अपनी क्षमता खो देता प्रतीत हुआ, जिससे एक बाधा (bottleneck) उत्पन्न हुई जो प्रदर्शन को सीमित करती है।
शोधकर्ताओं ने फिर पूछा कि क्या वे इस समस्या को ठीक कर सकते हैं। वे जानते थे कि इन भाषाओं के लिए केवल अधिक प्रशिक्षण डेटा जोड़ना अक्सर असंभव होता है, इसलिए उन्होंने 'कंटीन्यूड प्रीट्रेनिंग' (continued pretraining) नामक प्रक्रिया के दौरान मॉडल की आंतरिक ज्यामिति को निर्देशित करने का तरीका खोजा। यह एक ऐसी विधि है जहाँ पहले से ही विभिन्न भाषाओं के मिश्रण पर प्रशिक्षित मॉडल को एक विशिष्ट कम-संसाधन वाली भाषा पर प्रशिक्षण का दूसरा, केंद्रित दौर दिया जाता है। टीम ने एक नई तकनीक पेश की जो इस प्रशिक्षण के दौरान एक कोमल मार्गदर्शक के रूप में कार्य करती थी। उन्होंने एक नियम जोड़ा जो मॉडल को दंडित करता था यदि वह शब्दों के संख्यात्मक प्रतिनिधित्व को एक-दूसरे के बहुत करीब आने देता। इस नियम ने मॉडल को प्रतिनिधित्व को फैला हुआ और विशिष्ट बनाए रखने के लिए मजबूर किया, जिससे प्रभावी रूप से उस संकुचन (collapse) को रोका गया जिसे उन्होंने देखा था।
उन्होंने नौ अलग-अलग बेस मॉडल्स को किन्यारवांडा (Kinyarwanda), हौसा (Hausa) और योरूबा (Yorùbá) सहित दस अफ्रीकी भाषाओं के अनुकूल बनाकर इस दृष्टिकोण का परीक्षण किया। परिणामों ने दिखाया कि यह ज्यामितीय मार्गदर्शन काम कर गया। इस नए नियम के साथ प्रशिक्षित मॉडल्स ने इन भाषाओं के लिए एक स्वस्थ, अधिक फैला हुआ आंतरिक ढांचा बनाए रखा, उन मॉडल्स की तुलना में जो इसके बिना प्रशिक्षित किए गए थे। जब उन्होंने मॉडल्स का कठिन कार्यों जैसे प्रश्न पूछने या गणित की समस्याओं को हल करने पर परीक्षण किया, तो सुधार सबसे अधिक बड़े मॉडल्स में दिखाई दिए। इन बड़े सिस्टमों के लिए, ज्यामितीय रूप से नियमित (geometrically regularized) प्रशिक्षण ने बेहतर प्रदर्शन किया, विशेष रूप से चुनौतीपूर्ण कार्यों पर। अध्ययन बताता है कि इन मॉडल्स को कम-संसाधन वाली भाषाओं को बेहतर ढंग से समझने में मदद करने की कुंजी केवल उन्हें अधिक टेक्स्ट खिलाना नहीं है, बल्कि यह सुनिश्चित करना है कि उस टेक्स्ट को व्यवस्थित करने का उनका तरीका स्पष्ट और विशिष्ट बना रहे।
यह कार्य इस मौलिक सत्य को उजागर करता है कि ये कृत्रिम मस्तिष्क कैसे सीखते हैं: उपलब्ध डेटा उनके सोचने की संरचना को ही आकार देता है। जब डेटा कम होता है, तो वह स्थान जहाँ अर्थ निवास करता है, संकुचित और अक्षम हो जाता है। इस ज्यामितीय दोष को पहचानकर, शोधकर्ताओं ने प्रदर्शित किया कि इसमें हस्तक्षेप करना और इसे सुधारना संभव है। हालांकि कुछ क्षेत्रों में सुधार मामूली थे, लेकिन यह तथ्य कि एक सरल समायोजन प्रशिक्षण प्रक्रिया को बदलकर मॉडल की विभिन्न अवधारणाओं के बीच अंतर करने की क्षमता को बहाल कर सकता है, एक आशाजनक मार्ग प्रदान करता है। यह सुझाव देता है कि सही प्रकार के मार्गदर्शन के साथ, हम इन शक्तिशाली उपकरणों को सभी मानव भाषाओं की अधिक प्रभावी ढंग से सेवा करने में मदद कर सकते हैं, जिससे अधिक डेटा के आने की प्रतीक्षा किए बिना समृद्ध और संसाधन-विहीन भाषाओं के बीच के अंतर को पाटा जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।