💻 computer science

Adaptive Capacity Allocation for Vision Language Action Fine-tuning

यह शोध पत्र LoRA-SP को प्रस्तुत करता है, जो एक रैंक-अनुकूली फाइन-ट्यूनिंग विधि है जो विजन-लैंग्वेज-एक्शन मॉडलों में फिक्स्ड-रैंक LoRA की सीमाओं को दूर करने के लिए एक राउटर और एनर्जी-बेस्ड सिलेक्शन का उपयोग करके गतिशील रूप से पैरामीटर क्षमता आवंटित करती है, जिससे वास्तविक रोबोटों पर बेहतर मल्टी-टास्क सामान्यीकरण और दक्षता प्राप्त होती है।

मूल लेखक: Donghoon Kim, Minji Bae, Unghui Nam, Gyeonghun Kim, Suyun Lee, Kyuhong Shim, Byonghyo Shim

प्रकाशित 2026-03-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Donghoon Kim, Minji Bae, Unghui Nam, Gyeonghun Kim, Suyun Lee, Kyuhong Shim, Byonghyo Shim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय शेफ (एक विज़न-लैंग्वेज-एक्शन मॉडल या VLA) है जिसने एक विशाल, हाई-टेक किचन में हजारों रेसिपी बनाना सीख लिया है। यह शेफ "सैंडविच बनाओ" या "प्याज काटो" जैसे निर्देशों का पालन करने में बहुत माहिर है।

लेकिन अब, आप इस शेफ को एक बिल्कुल अलग किचन में काम करने के लिए रखना चाहते हैं।

चाकू अलग आकार के हैं।
चूल्हा कमरे के दूसरी तरफ है।
सामग्रियां (ingredients) थोड़े अलग आकार की हैं।

यदि आप बस शेफ को "जाकर खाना बनाने" के लिए कह देंगे, तो वे संघर्ष कर सकते हैं क्योंकि उनकी मांसपेशियों की याददाश्त (muscle memory) और उपकरण पुराने किचन के हिसाब से ढल चुके हैं। उन्हें अनुकूलित (adapt) होने की आवश्यकता है।

समस्या: "एक ही आकार के सभी के लिए" वाला टूल (The "One-Size-Fits-All" Tool)

शेफ को फिर से शुरू से प्रशिक्षित किए बिना (जिसमें बहुत समय और पैसा लगता है) अनुकूलित करने में मदद करने के लिए, वैज्ञानिक LoRA नामक तकनीक का उपयोग करते हैं। LoRA को शेफ की बेल्ट पर लगे एक चुंबकीय टूलकिट की तरह समझें। इसमें अतिरिक्त उपकरणों (जैसे एक विशेष छीलने वाला यंत्र या एक नया स्पैटुला) का एक सेट है जो उन्हें नए किचन के अनुसार ढलने में मदद करता है।

समस्या यह है कि इस टूलकिट का आकार एक एकल नॉब (knob) द्वारा नियंत्रित होता है जिसे रैंक (Rank) कहा जाता है।

छोटा रैंक (लो नॉब): केवल 4 या 8 उपकरणों वाला एक छोटा टूलकिट। यह भाषा संबंधी कार्यों (जैसे कविता लिखना) के लिए बहुत अच्छा काम करता है, जहाँ शेफ को केवल कुछ ही बदलावों की आवश्यकता होती है।
बड़ा रैंक (हाई नॉब): 128+ उपकरणों वाला एक विशाल टूलकिट। यह वास्तव में रोबोटिक कार्यों के लिए वही है जिसकी शेफ को आवश्यकता होती है क्योंकि एक वास्तविक हाथ को हिलाना अव्यवस्थित, जटिल और बहुत विविध होता है।

चुनौती: अतीत में, शोधकर्ताओं को टूलकिट के सटीक आकार का अनुमान लगाना पड़ता था।

यदि उन्होंने इसे बहुत छोटा रखा, तो रोबोट नया कार्य नहीं सीख पाता।
यदि उन्होंने इसे बहुत बड़ा रखा, तो यह संसाधनों की बर्बादी थी और इससे रोबोट भ्रमित हो जाता था, खासकर यदि वे उसे एक साथ कई कार्य (जैसे खाना बनाना, सफाई करना और पेंटिंग करना) सिखाने की कोशिश करते। यह हर संभव काम के लिए एक विशाल बैग में टूलबॉक्स ले जाने जैसा है; शेफ अभिभूत हो जाता है, और उपकरण आपस में टकराने लगते हैं।

समाधान: LoRA-SP (एक "स्मार्ट, स्वतः-समायोजित टूलकिट")

लेखकों ने LoRA-SP (Select-Prune) नामक एक नई विधि बनाई है। एक निश्चित आकार के टूलकिट के बजाय, कल्पना करें कि अब शेफ के पास एक जादुई, स्वतः-समायोजित बेल्ट है।

यह इस प्रकार काम करता है, एक सरल उदाहरण का उपयोग करते हुए:

1. "टूल्स का बैंक" (द वेक्टर बैंक)

उपकरणों की एक निश्चित संख्या चुनने के बजाय, शेफ के पास संभावित उपकरणों का एक विशाल गोदाम (128 अलग-अलग प्रकार के) है। वे उन सभी को साथ नहीं ले जाते; उनके पास बस उस गोदाम तक पहुंच है।

2. "स्मार्ट फोरमैन" (द राउटर)

रोबोट द्वारा किए जाने वाले प्रत्येक कार्य (जैसे "कप की ओर हाथ बढ़ाना") के लिए, एक छोटा, स्मार्ट फोरमैन (राउटर) स्थिति को देखता है।

परिदृश्य A: रोबot को पानी डालना है। फोरमैन कहता है, "ठीक है, इस विशिष्ट चाल के लिए, हमें केवल 'पोरिंग' (डालने वाला) टूल और 'बैलेंस' (संतुलन) टूल की आवश्यकता है।"
परिदृश्य B: रोबोट को बटन दबाना है। फोरमैन कहता है, "इसके लिए, हमें केवल 'प्रेसिंग' (दबाने वाला) टूल और 'प्रिसिजन' (सटीकता) टूल की आवश्यकता है।"

फोरमैन हर टूल को एक स्कोर देता है, यह तय करता है कि उस विशिष्ट क्षण के लिए कौन से टूल्स "सक्रिय" हैं।

3. "ऊर्जा बजट" (द प्रूनिंग)

सिस्टम का एक नियम है: "आप केवल उतने ही टूल्स का उपयोग कर सकते हैं जिससे 99% काम पूरी तरह से हो जाए।"

यदि शीर्ष 5 टूल्स काम को 99% अच्छी तरह से पूरा कर देते हैं, तो सिस्टम उस विशिष्ट क्षण के लिए बाकी 123 टूल्स को प्रून (डिस्कार्ड/हटा) कर देता है।
यदि कोई कार्य बहुत कठिन है और उसे सही करने के लिए 50 टूल्स की आवश्यकता है, तो सिस्टम स्वचालित रूप से 50 टूल्स को अनलॉक कर देता है।

यही "सेलेक्ट-प्रून" (Select-Prune) वाला हिस्सा है। यह बिल्कुल ज़रूरत के अनुसार टूलकिट को गतिशील रूप से छोटा या बड़ा करता है।

4. "ट्रेनिंग लूप" (स्पेक्ट्रल लॉस)

प्रशिक्षण के दौरान, सिस्टम को एक हल्का धक्का (एक "स्पेक्ट्रल लॉस") मिलता है जो कहता है, "हे, आप बहुत अधिक टूल्स का उपयोग कर रहे हैं! कम टूल्स के साथ काम करने की कोशिश करें।" यह रोबोट को सबसे महत्वपूर्ण टूल्स चुनने और बेकार वाले को अनदेखा करने में बहुत कुशल बनने के लिए मजबूर करता है। समय के साथ, रोबोट अविश्वसनीय रूप से कुशल होना सीख जाता है।

यह एक बड़ी बात क्यों है?

अनुमान लगाने की ज़रूरत नहीं: आपको अब "रैंक" नॉब को मैन्युअल रूप से ट्यून करने की आवश्यकता नहीं है। सिस्टम हर कार्य के लिए अपने आप सटीक आकार निर्धारित कर लेता है।
कम भ्रम: जब आप रोबोट को कई कार्य (मल्टी-टास्किंग) सिखा रहे होते हैं, तो पुराना तरीका रोबोट को भ्रमित कर देता था क्योंकि सभी कार्य एक ही सीमित टूल्स के लिए लड़ते थे। LoRA-SP प्रत्येक कार्य को ठीक वही टूल्स इस्तेमाल करने देता है जिनकी उसे आवश्यकता है, जिससे "ट्रैफिक जाम" कम होता है।
बेहतर परिणाम: वास्तविक रोबोट्स (AgileX PiPER आर्म) के साथ परीक्षणों में, इस विधि ने पुराने तरीके की तुलना में कई कार्य करने में रोबोट को 31.6% अधिक सफल बनाया, जबकि कंप्यूटर संसाधनों का बहुत कम उपयोग किया।

निष्कर्ष

LoLO-SP को एक रोबोट के सीखने की प्रक्रिया को एक भारी, स्थिर बैकपैक के बजाय एक स्मार्ट, अदृश्य एक्सोस्केलेटन में अपग्रेड करने के रूप में देखें, जो किए जा रहे विशिष्ट मूवमेंट के लिए आवश्यक मांसपेशियों को तुरंत विकसित या छोटा कर सकता है। यह रोबोट को स्मार्ट, तेज़ और वास्तविक दुनिया के अनुकूल बनाने में बहुत बेहतर बनाता है।

यहाँ किम एट अल. के शोध पत्र "Adaptive Capacity Allocation for Vision Language Action Fine-tuning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल फिजिकल एआई (Physical AI) के केंद्र में बनते जा रहे हैं, जो रोबोटों को विज़ुअल परसेप्शन और भाषा से एक्शन तक सामान्यीकरण योग्य मैपिंग सीखने में सक्षम बनाते हैं। हालाँकि, प्री-ट्रेंड VLAs को अनसीन एनवायरनमेंट (unseen environments), एम्बॉडिमेंट्स (embodiments - रोबोट हार्डवेयर), या टास्क के लिए तैनात करने हेतु अनुकूलन (adaptation) की आवश्यकता होती है।

पहचाना गया मुख्य मुद्दा पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT), विशेष रूप से LoRA (लो-रैंक अडैप्टेशन) का उपयोग करते समय, लार्ज लैंग्वेज मॉडल्स (LLMs) और VLA मॉडल्स के बीच इंट्रिन्सिक रैंक आवश्यकताओं (intrinsic rank requirements) में विसंगति है:

LLMs: बहुत कम रैंक (जैसे, $r \in \{4, 8\}$ ) के साथ लगभग फुल फाइन-ट्यूनिंग प्रदर्शन प्राप्त करते हैं।
VLAs: भौतिक संपर्क (physical interaction) और एम्बॉडिमेंट ट्रांसफर के लिए आवश्यक जटिल, उच्च-आयामी अपडेट को कैप्चर करने के लिए काफी बड़े रैंक (जैसे, $r \approx 128$ ) की आवश्यकता होती है।
फिक्स्ड रैंक की सीमा (The Limitation of Fixed Rank):
- सिंगल-टास्क (Single-Task): इष्टतम रैंक कार्य की कठिनाई के अनुसार बदलती रहती है।
- मल्टी-टास्क (Multi-Task): एक सिंगल ग्लोबल रैंक विषम (heterogeneous) कार्यों को एक निश्चित सबस्पेस साझा करने के लिए मजबूर करती है, जिससे क्रॉस-टास्क इंटरफेरेंस (cross-task interference) और पॉजिटिव ट्रांसफर में कमी आती है।
- एम्बॉडिमेंट ट्रांसफर (Embodiment Transfer): अलग किनेमैटिक्स (DoF, लिंक लंबाई) या परसेप्शन ज्योमेट्री (कैमरा इंट्रिंसिक्स) वाले रोबोट में ट्रांसफर करने के लिए मानक भाषा फाइन-ट्यूनिंग की तुलना में और भी उच्च इंट्रिन्सिक रैंक की आवश्यकता होती है।

वर्तमान विधियाँ जैसे स्टैंडर्ड LoRA, AdaLoRA, या LoRA-MoE डायनामिक रूप से क्षमता आवंटित करने में विफल रहती हैं, जिसके परिणामस्वरूप या तो अंडरफिटिंग (बहुत कम रैंक) या अक्षम ओवर-पैरामीट्राइजेशन और इंटरफेरेंस (फिक्स्ड हाई रैंक) होता है।

2. कार्यप्रणाली: LoRA-SP (Select–Prune)

लेखक LoRA-SP प्रस्तावित करते हैं, जो एक रैंक-एडैप्टिव फाइन-ट्यूनिंग विधि है जो फिक्स्ड-रैंक अपडेट के स्थान पर इनपुट- और लेयर-वाइज कैपेसिटी एलोकेशन का उपयोग करती है।

मुख्य आर्किटेक्चर (Core Architecture)

स्टैंडर्ड LoRA अपडेट $\Delta W = BA$ (जहाँ $B$ और $A$ फिक्स्ड मैट्रिसेस हैं) के बजाय, LoRA-SP एक SVD-स्टाइल पैरामीट्राइजेशन का उपयोग करता है:
$\Delta W(x) = U \cdot \text{diag}(s(x)) \cdot V$

वेक्टर बैंक ( $U, V$ ): बेसिस वेक्टर्स का एक साझा सेट (जिसे पर्याप्त बड़े रैंक, जैसे $r=128$ के साथ इनिशियलाइज़ किया गया है) जो संभावित अपडेट दिशाओं को कवर करता है।
रूटर (Router): एक लाइटवेट MLP जो इनपुट $x$ लेता है और नॉन-नेगेटिव स्कोर्स $s(x) \in \mathbb{R}^r_{\ge 0}$ का एक वेक्टर आउटपुट देता है। ये स्कोर्स डेटा-कंडीशन्ड सिंगुलर वैल्यूज (data-conditioned singular values) के रूप में कार्य करते हैं।

सेलेक्ट-प्रून मैकेनिज्म (The Select–Prune Mechanism)

सेलेक्ट (Gating): प्रत्येक इनपुट और लेयर के लिए, रूटर स्कोर्स जेनरेट करता है। सिस्टम स्क्वेर्ड स्कोर्स की संचयी ऊर्जा (cumulative energy) की गणना करता है:
$E(k) = \frac{\sum_{i=1}^k s_i(x)^2}{\sum_{j=1}^r s_j(x)^2}$
इफेक्टिव रैंक $k$ उस न्यूनतम इंडेक्स के रूप में निर्धारित की जाती है जहाँ $E(k) \ge \eta$ (एक पूर्व-निर्धारित ऊर्जा थ्रेसहोल्ड, जैसे 0.9) हो। केवल शीर्ष $k$ वेक्टर्स को रखा जाता है; बाकी को ज़ीरो कर दिया जाता है। यह सक्रिय रैंक को सीधे एप्रोक्सिमेशन एरर (approximation error) बाउंड ( $\sqrt{1-E(k)}$ ) से जोड़ता है।
प्रून (Spectral Loss): रूटर को न्यूनतम वेक्टर्स पर ऊर्जा केंद्रित करने के लिए प्रोत्साहित करने हेतु, एक स्पेक्ट्रल लॉस (Spectral Loss) जोड़ा जाता है:
$\mathcal{L}_{spec} = 1 - E_k(x)$
यह एक पॉजिटिव फीडबैक लूप बनाता है: थ्रेसहोल्ड द्वारा चुने गए वेक्टर्स को सुदृढ़ किया जाता है, जबकि अप्रयुक्त वेक्टर्स को दबा दिया जाता है। यह मॉडल को एक कॉम्पैक्ट एडॉप्टर सीखने में मदद करता है जो इन्फरेंस के दौरान सक्रिय रैंक को कम करते हुए सटीकता बनाए रखता है।
ट्रेनिंग ऑब्जेक्टिव (Training Objective): कुल लॉस टास्क लॉस (जैसे, फ्लो मैचिंग), स्पेक्ट्रल लॉस और रूटर रेगुलराइजेशन (बैलेंस और z-लॉस) को जोड़ता है।

3. मुख्य योगदान (Key Contributions)

रैंक आवश्यकताओं का परिमाणीकरण (Quantification of Rank Needs): यह पेपर स्पेक्ट्रल विश्लेषण और रैंक-परफॉरमेंस कर्व्स के माध्यम से प्रदर्शित करता है कि OOD (Out-of-Distribution) एम्बॉडिमेंट ट्रांसफर के लिए भाषा फाइन-ट्यूनिंग की तुलना में काफी बड़े रैंक की आवश्यकता होती है और यह रैंक चयन के प्रति अत्यधिक संवेदनशील है।
LoRA-SP फ्रेमवर्क: एक नया फाइन-ट्यूनिंग मेथड पेश करता है जो एक रूटर और एनर्जी-बेस्ड प्रूनिंग का उपयोग करके इनपुट और लेयर के आधार पर डायनामिक रूप से ट्रेन करने योग्य क्षमता को एडजस्ट करता है, जिससे मैनुअल रैंक हाइपरपैरामीटर ट्यूनिंग की आवश्यकता समाप्त हो जाती है।
मजबूत मल्टी-टास्क प्रदर्शन: वास्तविक रोबोट कार्यों पर वैलिडेशन दिखाता है कि LoRA-SP क्रॉस-टास्क इंटरफेरेंस को कम करके मल्टी-टास्क सेटिंग्स में स्टैंडर्ड LoRA, LoRA-MoE और AdaLoRA की तुलना में काफी बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

सेटअप:

टास्क: 4 रियल-वर्ल्ड मैनिपुलेशन टास्क (Open Pot, Pour Block, Press Button, Pick-Place Grape)।
रोबोट: AgileX PiPER (7-DoF), एक अनसीन एम्बॉडिमेंट जो प्री-ट्रेनिंग डेटा में मौजूद नहीं था।
बैकबोन्स: $\pi_0$ (हाई कैपेसिटी) और SmolVLA (लाइटवेट)।
बेसलाइन्स: फुल फाइन-ट्यूनिंग, स्टैंडर्ड LoRA ( $r \in \{16, 32, 64, 128\}$ ), AdaLoRA, LoRA-MoE।

मुख्य निष्कर्ष:

प्रदर्शन: LoRA-SP काफी कम पैरामीटर्स को अपडेट करते हुए फुल फाइन-ट्यूनिंग के प्रदर्शन के बराबर या उससे अधिक प्रदर्शन करता है।
मल्टी-टास्क लाभ: LoRA-SP स्टैंडर्ड LoRA (जैसे, SmolVLA पर) की तुलना में मल्टी-टास्क सफलता दर में 31.6% तक सुधार करता है। स्टैंडर्ड LoRA इंटरफेरेंस के कारण मल्टी-टास्क सेटिंग्स में कोलैप्स हो जाता है, जबकि LoRA-SP क्षमता को प्रति टास्क एडजस्ट करता है।
पैरामीटर एफिशिएंसी: LoRA-SP औसत एक्टिव रैंक ~60–76 (फुल LoRA के 128 के मुकाबले) के साथ ये परिणाम प्राप्त करता है और इसमें केवल ~9–17% कुल पैरामीटर्स ही ट्रेन करने योग्य होते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- स्पेक्ट्रल लॉस: इसे हटाने से एक्टिव रैंक बढ़ जाती है (जैसे, लैंग्वेज मॉड्यूल रैंक 35 से बढ़कर 107 हो जाती है) और प्रदर्शन गिर जाता है, जो सिद्ध करता है कि लॉस प्रूनिंग के लिए महत्वपूर्ण है।
- एनर्जी टारगेट ( $\eta$ ): $\eta=0.9$ सेट करने पर सबसे अच्छा ट्रेड-ऑफ मिलता है। कम मान ( $\eta=0.5$ ) अंडरफिट होते हैं, जबकि उच्च मान ( $\eta=0.99$ ) मामूली लाभ के साथ रैंक को दोगुना कर देते हैं।
लेयर-वाइज एनालिसिस: यह विधि सही ढंग से पहचानती है कि विज़न टावर को उच्च रैंक (जटिल विज़ुअल अडैप्टेशन) की आवश्यकता होती है, जबकि लैंग्वेज मॉडल और एक्शन एक्सपर्ट कम, प्रून किए गए रैंक के साथ काम कर सकते हैं।

5. महत्व (Significance)

यह कार्य फिजिकल एआई को तैनात करने की एक महत्वपूर्ण बाधा को संबोधित करता है: वर्तमान PEFT विधियों की उच्च-आयामी, परिवर्तनशील जटिलता (variable complexity) को संभालने में असमर्थता।

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह स्थापित करता है कि VLA अडैप्टेशन का इंट्रिन्सिक डायमेंशन भाषा अडैप्टेशन की तुलना में अधिक है, जिसके लिए फिक्स्ड लो-रैंक बाधाओं के बजाय फ्लेक्सिबल कैपेसिटी की आवश्यकता होती है।
व्यावहारिक प्रभाव (Practical Impact): LoRA-SP फुल फाइन-ट्यूनिंग की कम्प्यूटेशनल लागत या इष्टतम रैंक खोजने के ओवरहेड के बिना, विविध और अनसीन रोबोट्स पर VLAs के कुशल और मजबूत परिनियोजन (deployment) को सक्षम बनाता है। यह अधिक वर्सेटाइल और जनरलाइजेबल एम्बोडेड एजेंट्स के लिए मार्ग प्रशस्त करता है।