Gradient-Based LoRA Rank Allocation Under GRPO: An Empirical Study
यह अनुभवजन्य अध्ययन प्रकट करता है कि LoRA के लिए ग्रेडिएंट-आधारित अनुकूली रैंक आवंटन (gradient-based adaptive rank allocation), जबकि सुपरवाइज्ड फाइन-ट्यूनिंग में प्रभावी है, एक सपाट ग्रेडिएंट लैंडस्केप और एक हानिकारक ग्रेडिएंट प्रवर्धन प्रभाव (detrimental gradient amplification effect) के कारण ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) के तहत प्रदर्शन को काफी कम कर देता है, जो यह सुझाव देता है कि सुदृढीकरण शिक्षण संरेखण कार्यों (reinforcement learning alignment tasks) के लिए समान रैंक आवंटन (uniform rank allocation) श्रेष्ठ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य प्रश्न: क्या हम AI ट्रेनिंग में "फालतू का भार" कम कर सकते हैं?
कल्पना कीजिए कि आप गणित के सवाल हल करने के लिए 28 श्रमिकों (एक AI मॉडल की परतों/layers) की एक टीम को प्रशिक्षित कर रहे हैं। आपके पास उन्हें देने के लिए उपकरणों (पैरामीटर्स) का एक सीमित बजट है।
अतीत में, जब शोधकर्ताओं ने इन श्रमिकों को निर्देशों का पालन करना सिखाया (जिसे सुपरवाइज्ड फाइन-ट्यूनिंग या SFT कहा जाता है), तो उन्होंने एक चतुर तरकीब खोजी: सभी श्रमिक समान रूप से महत्वपूर्ण नहीं होते। कुछ श्रमिक 90% भारी काम करते हैं, जबकि अन्य बस खड़े रहते हैं। इसलिए, उन्होंने LoRA (लो-रैंक अडैप्टेशन) नामक एक रणनीति विकसित की, जो "स्टार वर्कर्स" को एक विशाल टूलबॉक्स देती है और "आलसी वर्कर्स" को एक छोटा सा टूलबॉक्स। इससे प्रदर्शन को नुकसान पहुँचाए बिना पैसा और समय बचाया गया।
मुख्य प्रश्न: क्या यही तरकीब तब काम करती है जब हम रीइन्फोर्समेंट लर्निंग (विशेष रूप से GRPO नामक विधि) का उपयोग करके AI को प्रशिक्षित करते हैं? इस नई सेटिंग में, AI चीजों को आजमाकर, "थम्स अप" या "थम्स डाउन" (एक रिवॉर्ड/पुरस्कार) प्राप्त करके और खुद को एडजस्ट करके सीखता है, न कि केवल एक शिक्षक की नकल करके।
चौंकाने वाला परिणाम: तरकीब उलटी पड़ गई
शोधकर्ताओं ने इस नई रीइन्फोर्समेंट लर्निंग विधि पर "फालतू का भार कम करने" की रणनीति को लागू करने की कोशिश की। उन्होंने यह तय किया कि किस परत (layer) को कितने उपकरण देने हैं, इस आधार पर कि वे कितना काम कर रहे हैं।
परिणाम एक आपदा था।
- समान टीम (सबको समान उपकरण मिले): 74.5% सफलता दर।
- छंटी हुई टीम (स्मार्ट आवंटन): 70.0% सफलता दर।
भले ही उन्होंने उपकरणों की कुल संख्या बिल्कुल समान रखी थी, लेकिन वह टीम जिसने "स्मार्ट" होने की कोशिश की, वह खराब प्रदर्शन कर गई। वास्तव में, एक ऐसी टीम जिसने बस रैंडम तरीके से उपकरण बांटे, उसने और भी बुरा (67.5%) प्रदर्शन किया।
यह क्यों विफल हुआ? दो मुख्य कारण
पेपर में दो मुख्य कारणों की पहचान की गई है कि क्यों यह "स्मार्ट आवंटन" इस विशिष्ट परिदृश्य में विफल रहा।
1. "सपाट परिदृश्य" (हर कोई काम कर रहा है)
पुराने प्रशिक्षण तरीके (SFT) में, काम एक पिरामिड की तरह था: ऊपर के कुछ लोग लगभग सब कुछ करते थे, और नीचे के लोग लगभग कुछ भी नहीं करते थे। आप सुरक्षित रूप से नीचे के लोगों से उपकरण वापस ले सकते थे।
लेकिन इस नई विधि (GRPO) के तहत, काम का परिदृश्य सपाट है। यह एक सपाट मैदान की तरह है जहाँ हर कोई सार्थक काम कर रहा है।
- उपमा: कल्पना कीजिए कि एक रिले रेस में, पहले से लेकर आखिरी तक हर एक धावक पूरी गति से दौड़ रहा है। यदि आप "सबसे धीमे" धावक को धीमा करने की कोशिश करते हैं (जो वास्तव में सबसे तेज़ से केवल 10% धीमा है), तो पूरी टीम हार जाती है।
- डेटा: पुरानी विधि में, सबसे व्यस्त परत सबसे कम व्यस्त परत की तुलना में 10 गुना अधिक महत्वपूर्ण थी। इस नई विधि में, सबसे व्यस्त परत सबसे कम व्यस्त परत से केवल 2.17 गुना अधिक महत्वपूर्ण है। हर एक परत "भार उठाने वाली" (load-bearing) है।
2. "फीडबैक लूप" (स्व-सिद्ध भविष्यवाणी)
यह सबसे आश्चर्यजनक खोज है। शोधकर्ताओं ने पाया कि किसी परत को अधिक उपकरण देने से वास्तव में ऐसा लगता है कि वह अधिक काम कर रही है।
- उपमा: एक माइक्रोफ़ोन की कल्पना करें। यदि आप एक गायक को उच्च-गुणवत्ता वाला माइक्रोफ़ोन (उच्च रैंक) देते हैं, तो वह तेज़ हो जाता है और उसका फीडबैक अधिक मिलता है। यदि आप उन्हें एक सस्ता, टूटा हुआ माइक्रोफ़ोन (कम रैंक) देते हैं, तो वे शांत हो जाते हैं।
- क्या हुआ: जब शोधकर्ताओं ने "महत्वपूर्ण" परतों को अधिक उपकरण दिए, तो उन परतों ने सीखने के संकेत (learning signal) को और अधिक सोख लिया। इस बीच, कम उपकरणों वाली परतें "शांत" हो गईं और उन्होंने योगदान देना बंद कर दिया।
- परिणाम: परतों के बीच का अंतर "अमीर" परतों और "गरीब" परतों के बीच 2.17x से बढ़कर 3.00x हो गया। सिस्टम ने एक सकारात्मक फीडबैक लूप बनाया जहाँ अमीर और अमीर होते गए और गरीब और गरीब होते गए, जिससे उस संतुलन का विनाश हो गया जिसकी AI को अच्छी तरह से सीखने के लिए आवश्यकता थी।
छिपा हुआ नुकसान: यह ठीक दिखता है जब तक आप टेस्ट न करें
यहाँ सबसे पेचीदा हिस्सा है। वास्तविक प्रशिक्षण प्रक्रिया के दौरान, दोनों टीमें समान रूप से अच्छा प्रदर्शन करती दिख रही थीं। उनके "रिवॉर्ड स्कोर" (प्रशिक्षण के दौरान उन्होंने नियमों का कितनी अच्छी तरह पालन किया) बिल्कुल समान थे।
हालाँकि, जब शोधकर्ताओं ने टीमों का नई, अनदेखी समस्याओं (अंतिम परीक्षा) पर परीक्षण किया, तो "छंटी हुई टीम" विफल रही।
- उपमा: यह दो छात्रों के अध्ययन करने जैसा है। एक हर अध्याय को समान रूप से पढ़ता है (Uniform)। दूसरा उबाऊ अध्यायों को छोड़ देता है (Trimmed)। अभ्यास क्विज़ के दौरान, दोनों 100% अंक प्राप्त करते हैं। लेकिन वास्तविक परीक्षा में, वह छात्र जिसने अध्याय छोड़े थे, फेल हो जाता है क्योंकि उसने उन सूक्ष्म विवरणों को नहीं सीखा जो नई समस्याओं को हल करने के लिए आवश्यक थे।
निचोड़
पेपर यह निष्कर्ष निकालता है कि आप पुराने जमाने के AI प्रशिक्षण की "स्मार्ट आवंटन" रणनीतियों को इस नई रीइन्फोर्समेंट लर्निंग विधि पर सीधे कॉपी-पेस्ट नहीं कर सकते।
- पुराना तरीका (SFT): कुछ परतें खाली बैठी हैं; उन्हें कम उपकरण दें।
- नया तरीका (GRPO): हर परत आवश्यक है; उन्हें सभी समान उपकरण दें।
यदि आप "स्मार्ट" बनने की कोशिश करते हैं और इस विशिष्ट प्रकार के प्रशिक्षण में शॉर्टकट लेते हैं, तो आप पैसे नहीं बचा रहे हैं; आप केवल मॉडल की नई समस्याओं को हल करने की क्षमता को नष्ट कर रहे हैं। सबसे सुरक्षित और प्रभावी रणनीति यह है कि हर परत को समान सम्मान दिया जाए और उन्हें समान क्षमता दी जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।