Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures
यह शोध पत्र यह प्रदर्शित करता है कि पूर्ण फाइन-ट्यूनिंग की तुलना में LoRA जटिल बहु-चरणीय प्रक्रियात्मक ज्ञान को प्रभावी ढंग से आत्मसात करने में विफल रहता है क्योंकि आवश्यक वेट अपडेट एक उच्च प्रभावी रैंक प्रदर्शित करते हैं जो LoRA की निम्न-रैंक क्षमता से कहीं अधिक है, जिससे उच्च रैंक पर भी महत्वपूर्ण प्रदर्शन अंतराल उत्पन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक जटिल काम करना सिखाने की कोशिश कर रहे हैं, जैसे कि फ्लाइट बुक करना या एक खराब कंप्यूटर को ठीक करना। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक बहुत ही लोकप्रिय ट्रिक है जिसे "फाइन-ट्यूनिंग" (fine-tuning) कहा जाता है। एक विशाल AI मॉडल को एक ऐसी विशाल लाइब्रेरी की तरह समझें जिसमें लगभग हर लिखी गई किताब मौजूद है। इसे किसी विशिष्ट कार्य के लिए सिखाने के लिए, आपको आमतौर पर पूरी लाइब्रेरी को फिर से लिखना पड़ता है, जो बहुत महंगा और धीमा होता है। समय बचाने के लिए, वैज्ञानिकों ने LoRA (Low-Rank Adaptation) नामक एक शॉर्टकट का आविष्कार किया। पूरी लाइब्रेरी को फिर से लिखने के बजाय, LoRA इस कोशिश में रहता है कि वह रोबोट को शेल्फ पर चिपकी हुई छोटी, पतली नोटबुक (स्टिकी नोट्स) जोड़कर सिखा सके। मुख्य विचार यह था कि ये स्टिकी नोट्स उन सभी चीजों को कैप्चर कर सकते हैं जो रोबोट को एक नए काम के लिए चाहिए, बिना नीचे रखी भारी किताबों को छुए। यह ऐसा ही है जैसे यह सोचना कि आप किसी को रेस कार चलाना सिखाने के लिए उसे घंटों ट्रैक पर अभ्यास करने देने के बजाय सिर्फ एक छोटा सा 'चीट शीट' दे सकते हैं।
लेकिन यहाँ एक पेंच है: यह पेपर पूछता है कि क्या वह चीट शीट वास्तव में पर्याप्त है जब काम केवल तथ्यों को याद रखने या एक शानदार शैली में लिखने के बारे में नहीं है, बल्कि एक सख्त, बहु-चरणीय प्रक्रिया (procedure) का पालन करने के बारे में है। प्रक्रियात्मक ज्ञान (Procedural knowledge) एक रेसिपी की तरह है जिसमें बहुत सारे "यदि यह होता है, तो यह करो" वाले चरण होते हैं, जहाँ आपको अपनी प्रगति का हिसाब रखना होता है, गलतियों को संभालना होता है, और यह सुनिश्चित करना होता है कि आप कोई भी चरण छोड़ न दें। शोधकर्ता यह जानना चाहते थे कि: क्या एक छोटी नोटबुक (LoRA) एक रोबोट को एक जटिल, शाखाओं वाली रेसिपी का पालन करना सिखा सकती है, या इसके लिए उसे पूरी लाइब्रेरी को फिर से लिखने (Full Fine-Tuning) की आवश्यकता है?
महान चीट शीट की विफलता
शोधकर्ताओं ने यह देखने के लिए परीक्षणों की एक श्रृंखला आयोजित की कि क्या "स्टिकी नोट" वाला तरीका निर्देशों का पालन करने की अव्यवस्थित वास्तविकता को संभाल सकता है। उन्होंने केवल रोबोट को कविता लिखने के लिए नहीं कहा; उन्होंने इसे एक ट्रैवल एजेंट, एक ज़ूम (Zoom) टेक सपोर्ट स्पेशलिस्ट और एक इंश्योरेंस क्लेम एडजस्टर के रूप में कार्य करने के लिए बनाया। ये सरल कार्य नहीं हैं; ये एक विशाल, घुमावदार भूलभुलैया में रास्ता खोजने जैसा है जहाँ हर मोड़ इस बात पर निर्भर करता है कि ग्राहक ने पाँच मिनट पहले क्या कहा था। यदि ग्राहक नाराज हो जाता है, तो आपको अपना रास्ता बदलना होगा। यदि वे कोई विवरण भूल जाते हैं, तो आपको उसे दोबारा पूछना होगा। लक्ष्य यह देखना था कि क्या रोबोट बातचीत को शुरुआत से लेकर एक सुखद अंत तक सफलतापूर्वक निर्देशित कर सकता है या बीच में ही भटक जाता है।
परिणाम थोड़े चौंकाने वाले थे। जब शोधकर्ताओं ने पूरी लाइब्रेरी रीराइट विधि (Full Fine-Tuning) का उपयोग किया, तो रोबोट उत्कृष्ट एजेंट बन गए। उन्होंने नियमों का पालन किया, विवरणों को याद रखा और समस्याओं को हल किया, और उनके ट्रैवल बुकिंग टेस्ट में 4.11 आउट ऑफ 5 का ठोस स्कोर प्राप्त किया। लेकिन जब उन्होंने "चीट शीट" विधि (LoRA) का प्रयास किया, तो वे सबसे बड़े, सबसे महंगे चीट शीट के साथ भी, प्रक्रिया में पूरी तरह विफल रहे।
यहाँ अजीब बात यह है: LoRA रोबोट केवल थोड़े से खराब नहीं हुए; वे एक अजीब लूप (loop) में फंस गए। वे अभी भी चैट कर सकते थे! वे बिना क्रैश हुए 14 टर्न तक बातचीत जारी रख सकते थे। वे विनम्र और स्वाभाविक लग रहे थे। लेकिन वे वास्तव में काम करने में विफल रहे। ट्रैवल टेस्ट पर, LoRA रोबोटों ने 2.10 और 2.54 के बीच स्कोर किया—पूरी तरह प्रशिक्षित रोबोटों के आधे से भी कम। वे महत्वपूर्ण चरणों को छोड़ देते थे, गंतव्य पूछना भूल जाते थे, या बहुत जल्दी हार मान लेते थे। यह एक ऐसे टूर गाइड की तरह था जो "नमस्ते" और "अलविदा" कहना तो पूरी तरह जानता है, लेकिन पर्यटकों को दीवार से टकरा देता है क्योंकि वह नक्शा भूल गया है।
बड़े नोटबुक का विरोधाभास
आप सोच सकते हैं, "ठीक है, शायद चीट शीट बहुत छोटी थी। चलिए इसे बड़ा करते हैं!" शोधकर्ताओं ने यह कोशिश की। उन्होंने Lo-RA नोटबुक के आकार को एक छोटे रैंक 16 से बढ़ाकर एक विशाल रैंक 128 तक कर दिया। इसका मतलब था कि वे रोबोट के मस्तिष्क के अधिक हिस्से को बदल रहे थे, जिससे उसके कुल पैरामीटर्स का 3.4% तक उपयोग हो रहा था। आप उम्मीद करेंगे कि एक बड़ी नोटबुक मदद करेगी, है ना?
आश्चर्यजनक रूप से, इसने चीज़ों को और बदतर बना दिया। जैसे-जैसे नोटबुक बड़ी होती गई, रोबोट प्रक्रिया का पालन करने में वास्तव में और भी खराब होता गया। सबसे अच्छा स्कोर सबसे छोटे आकार पर था, और जब तक वे सबसे बड़े आकार तक पहुँचे, कार्य सफलता स्कोर गिरकर 2.10 हो गया। यह पता चला कि चीट शीट को बड़ा करने से रोबोट को भूलभुलैया के तर्क (logic) को सीखने में मदद नहीं मिली; इसने केवल रोबोट को भूलभुलैया के शब्दों को बेहतर ढंग से याद करने में मदद की। रोबोट यह दिखाने में बहुत अच्छा हो गया कि वह क्या कर रहा है, लेकिन वह वास्तव में खोया हुआ था। शोधकर्ताओं ने पाया कि रोबोट "ओवरफिटिंग" (overfitting) कर रहे थे, जो एक फैंसी तरीका है यह कहने का कि वे बिना नियमों को समझे प्रशिक्षण उदाहरणों को एक तोते की तरह रट रहे थे।
चीट शीट पर्याप्त क्यों नहीं थी?
तो, छोटी नोटबुक इतनी बुरी तरह क्यों विफल हुई? लेखकों ने उत्तर खोजने के लिए रोबोट के मस्तिष्क की गहराई तक खुदाई की। उन्होंने यह देखने के लिए कि जब रोबोट प्रक्रिया सीखता है तो उसके मस्तिष्क में कितने बदलाव आते हैं, SVD (Singular Value Decomposition) नामक एक गणितीय उपकरण का उपयोग किया।
कल्पना कीजिए कि रोबोट का मस्तिष्क संख्याओं का एक विशाल ग्रिड है। जब रोबोट एक नया कौशल सीखता है, तो इस ग्रिड में संख्याएँ बदल जाती हैं। "लो-रैंक" का विचार मानता है कि ये बदलाव सरल हैं, जैसे ग्रिड पर एक सीधी रेखा या एक सपाट शीट बनाना। लेकिन शोधकर्ताओं ने पाया कि प्रक्रियात्मक कार्यों के लिए, बदलाव अविश्वसनीय रूप से जटिल और अस्त-व्यết होते हैं। वे हजारों छोटी, घुमावदार तारों से बनी एक 3D मूर्ति की तरह हैं।
गणित ने दिखाया कि इन कार्यों के लिए आवश्यक बदलावों को कैप्चर करने के लिए, रोबोट को लगभग 761 से 1,026 के "रैंक" की आवश्यकता थी। लेकिन LoRA विधि को अधिकतम 128 के रैंक का उपयोग करने की अनुमति थी। इसका मतलब है कि Lo-RA नोटबुक एक जटिल 3D मूर्ति को केवल एक सपाट, 2D ड्राइंग का उपयोग करके वर्णित करने की कोशिश कर रही थी। इसके पास जानकारी रखने के लिए पर्याप्त आयाम (dimensions) नहीं थे। शोधकर्ताओं ने गणना की कि सबसे बड़ा LoRA नोटबुक भी आवश्यक परिवर्तनों के लगभग 43% से 51% को ही कैप्चर कर सकता था। बाकी का "ज्ञान" बस बाहर रह गया, जैसे एक पूरी महासागर को चाय के कप में भरने की कोशिश करना।
निष्कर्ष: आप भूलभुलैया को धोखा नहीं दे सकते
अध्ययन का निष्कर्ष है कि उन कार्यों के लिए जिनमें एक रोबोट को बहुत सारे "इफ-देन" (if-then) निर्णयों के साथ एक सख्त, बहु-चरणीय प्रक्रिया का पालन करने की आवश्यकता होती है, शॉर्टकट विधि (LoRA) काम नहीं करती है। ऐसा नहीं है कि रोबोट को पर्याप्त प्रशिक्षण नहीं दिया गया था; बल्कि यह है कि स्वयं विधि ही बहुत सीमित है। इन जटिल भूलभुलभाइयों को नेविगेट करने के लिए आवश्यक ज्ञान रोबोट के पूरे मस्तिष्क में इस तरह फैला हुआ है जिसे एक छोटा, लो-रैंक नोटबुक कैप्चर नहीं कर सकता।
शोधकर्ता इस बारे में बहुत आश्वस्त हैं क्योंकि उन्होंने तीन अलग-अलग क्षेत्रों (ट्रैवल, टेक सपोर्ट, और इंश्योरेंस) में और दो अलग-अलग आकार के रोबोट दिमागों (3 बिलियन और 8 बिलियन पैरामीटर्स) के साथ इसका परीक्षण किया। हर मामले में, पूरी लाइब्रेरी रीराइट जीत गई, और चीट शीट हार गई। उन्होंने इस विचार को भी खारिज कर दिया कि रोबोट को बस अधिक प्रशिक्षण समय की आवश्यकता थी, क्योंकि LoRA रोबोट वास्तव में पूर्ण-प्रशिक्षितों की तुलना में शब्दों को तेज़ी से सीख रहे थे—वे बस नियमों को सीखने में विफल रहे।
इसलिए, यदि आप एक ऐसा AI एजेंट चाहते हैं जो बिना भ्रमित हुए आपकी फ्लाइट बुक कर सके, आपकी ज़ूम कॉल ठीक कर सके, या आपका इंश्योरेंस क्लेम प्रोसेस कर सके, तो आप केवल उसके मस्तिष्क पर कुछ स्टिकी नोट्स नहीं चिपका सकते। आपको उसे पूरी लाइब्रेरी को फिर से लिखने देना होगा। शॉर्टकट की दक्षता, रोबोट की काम करने की क्षमता की कीमत पर आती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।