TopoTuner: Topological Finetuning of Large Language Models
TopoTuner एक टोपोलॉजी-गाइडेड फाइन-ट्यूनिंग फ्रेमवर्क है जो पर्सिस्टेंस डायग्राम्स के बीच वासरस्टीन दूरियों (Wasserstein distances) का लाभ उठाकर अटेंशन प्रोजेक्शन मैट्रिसेस को पहचानने और चुनिंदा रूप से फ्रीज करने में सक्षम बनाता है, जिससे बड़े भाषा मॉडलों का कुशल और पुन: प्रयोज्य अनुकूलन संभव होता है जो केवल 1-2% पैरामीटर्स को प्रशिक्षित करते हुए LoRA से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान रोबोट मस्तिष्क है जिसने पहले से ही इंटरनेट पर लगभग सब कुछ पढ़ लिया है। यह मस्तिष्क एक "लार्ज लैंग्वेज मॉडल" (LLM) है। यह एक सुपर-पावर्ड विश्वकोश की तरह है जो कहानियाँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और आपसे चैट कर सकता है। लेकिन इसमें एक पेंच है: यह मस्तिष्क इतना विशाल है कि इसे एक नया, विशिष्ट कौशल सिखाना—जैसे कि कोड लिखना या मूवी रिव्यू समझना—एक पूरी गगनचुंबी इमारत को फिर से पेंट करने जैसा है सिर्फ एक खिड़की का रंग बदलने के लिए। इसमें बहुत समय लगता है, बिजली का भारी खर्च आता है, और कभी-कभी, उस एक खिड़की को पेंट करने की प्रक्रिया में, आप अनजाने में पूरी इमारत का पेंट मिटा देते हैं, जिससे रोबोट उन चीजों को करना भूल जाता है जिनमें वह पहले से ही अच्छा था।
वैज्ञानिकों ने इसे ठीक करने के लिए "फाइन-ट्यूनिंग" का उपयोग करके इसे सुधारने की कोशिश की है, जो कि रोबोट को एक विशिष्ट होमवर्क असाइनमेंट देने जैसा है। सबसे लोकप्रिय शॉर्टकट तरीका "LoRA" कहलाता है। LoRA को रोबोट को नए नोट्स लिखने के लिए एक छोटा, अलग होने योग्य नोटबुक देने के रूप में समझें, न कि उसके पूरे मस्तिष्क को फिर से लिखने के रूप में। यह तेज़ और सस्ता है। लेकिन एक समस्या है: LoRA को वास्तव में यह नहीं पता कि रोबोट के मस्तिष्क के कौन से हिस्से वास्तवं में नए होमवर्क के लिए आवश्यक हैं। यह बस नोटबुक के कुछ पन्नों पर नोट्स लिख देता है और उम्मीद करता है कि सब ठीक हो जाएगा। यह एक साथ सभी तारों को बजाकर गिटार सीखने की कोशिश करने जैसा है, बिना यह जाने कि कौन से तार सही सुर निकालते हैं। हमें यह जानने के तरीके की आवश्यकता है कि रोबोट के मस्तिष्क के कौन से "मांसपेशियों" को सक्रिय करने की आवश्यकता है और किन्हें स्थिर रहना चाहिए ताकि रोबोट भ्रमित न हो या अपने पुराने कौशल न भूल जाए।
यहीं पर एक नया विचार जिसे TopoTuner कहा जाता है, काम आता है। इस पेपर के पीछे के शोधकर्ताओं ने तय किया कि वे रोबोट के मस्तिष्क को केवल संख्याओं के समूह के रूप में देखने के बजाय उसके आकार (shape) को देखना शुरू करें। उन्होंने गणित की एक शाखा का उपयोग किया जिसे "टोपोलॉजी" (topology) कहा जाता है, जो मूल रूप से आकारों और उनके फटने के बिना खिंचने, मुड़ने या मुड़ने के अध्ययन का नाम है। कल्पना कीजिए कि रोबोट का मस्तिष्क एक विशाल, लचीली रबर शीट से बना है। जब आप उसे कुछ नया सिखाते हैं, तो शीट कुछ जगहों पर खिंचती है। TopoTuner एक सुपर-सेंसिटिव रूलर की तरह कार्य करता है जो सटीक रूप से मापता है कि उस रबर शीट का आकार कैसे बदलता है।
टीम ने पाया कि रोबोट के मस्तिष्क के सभी हिस्से एक ही तरह से नहीं खिंचते हैं। कुछ हिस्सों का आकार बहुत अधिक बदल जाता है (high drift), जबकि अन्य लगभग बिल्कुल वैसा ही रहता है (low drift)। इस "आकार-परिवर्तन" वाले मानचित्र का उपयोग करके, TopoTuner एक कस्टम "फ्रीजिंग प्रोफाइल" बना सकता है। यह रोबोट के हाथ पर प्लास्टर लगाने जैसा है जिसे हिलने की आवश्यकता नहीं है, ताकि सारी ऊर्जा टूटे हुए पैर को ठीक करने में लग सके। अपने प्रयोगों में, उन्होंने तीन अलग-अलग रोबोट मस्तिष्क (LLaMA, Mistral, और Qwen) पर परीक्षण किया और पाया कि TopoTuner उन्हें नए कार्यों को सिखाने में उतना ही सक्षम था जितना कि पुराने, महंगे तरीके, लेकिन ऐसा करते हुए कि उसने मस्तिष्क के केवल 1% से 2% वजन (weights) को ही अपडेट किया। यह सब कुछ अपडेट करने की तुलना में एक बहुत बड़ी कमी है।
इससे भी शानदार बात यह है कि उन्होंने पाया कि एक बार जब वे एक कार्य के लिए "शेप मैप" (shape map) समझ लेते हैं (जैसे गणित की समस्याओं को हल करना), तो वे उसी मैप का उपयोग करके रोबм को एक पूरी तरह से अलग कार्य (जैसे मूवी रिव्यू का विश्लेषण करना) सिखा सकते हैं, बिना फिर से शुरुआत किए। यह यह समझने जैसा है कि जिस तरह से आपका हाथ टेनिस बॉल पकड़ने के लिए खिंचता है, वह बेसबॉल पकड़ने के लिए भी समान है, इसलिए आपको पूरी गति को फिर से सीखने की आवश्यकता नहीं है।
परिणाम बताते हैं कि यह तरीका दक्षता के मामले में गेम-चेंजर है। TopoTuner ने मानक फुल-फाइन-ट्यूनिंग पद्धति की तुलना में 20.4% तेज़ और लोकप्रिय LoRA शॉर्टकट की तुलना में 5.5% तेज़ प्रशिक्षण दिया। इसने प्रशिक्षण को जल्दी भी समाप्त करने में सफलता प्राप्त की—अक्सर छह राउंड के बजाय केवल दो या तीन राउंड के बाद—क्योंकि यह "देख" सकता था कि रोबोट का मस्तिष्क कब बदलना बंद कर चुका है और उसने पर्याप्त सीख लिया है। सबसे महत्वपूर्ण बात यह है कि इसने रोबोट को उसके पुराने कौशल को बेहतर ढंग से याद रखने में मदद की, जिससे वह "भूलने" की प्रक्रिया कम हो गई जो आमतौर पर तब होती है जब आप उसे कुछ नया सिखाते हैं। हालांकि इस तरीके के लिए प्रशिक्षण शुरू करने से पहले आकारों की गणना करने के लिए थोड़े अतिरिक्त गणित की आवश्यकता होती है, लेकिन वास्तविक प्रशिक्षण के दौरान बचा हुआ समय बहुत बड़ा है। पेपर सुझाव देता है कि परिवर्तनों के आकार (shape) पर ध्यान देकर, न कि केवल परिवर्तनों के आकार/मात्रा (size) पर, हम AI प्रशिक्षण को अधिक स्मार्ट, तेज़ और कम बर्बादी वाला बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।