PolicyTrim: Boosting Intrinsic Policy Efficiency of Vision-Language-Action Models

तकनीकी सारांश: PolicyTrim

समस्या विवरण

विज़न-लैंग्वेज-एक्शन (VLA) मॉडलों ने रोबोटिक हेरफेर (manipulation) के लिए एक एकीकृत प्रतिमान स्थापित किया है, फिर भी उनका वास्तविक दुनिया में परिनियोजन (deployment) अक्सर निष्पादन दक्षता (execution efficiency) के कारण बाधित होता है। जबकि मौजूदा शोध मुख्य रूप से प्रति-चरण अनुमान विलंबता (per-step inference latency) को कम करने के लिए कंप्यूट-केंद्रित दक्षता (जैसे, टोकन प्रूनिंग, क्वांटाइजेशन, KV-कैश पुन: उपयोग) पर ध्यान केंद्रित करता है, इन मॉडलों की आंतरिक नीति दक्षता (intrinsic policy efficiency) अभी भी काफी हद तक अनछुए क्षेत्र में है।

यह शोध दो प्राथमिक कारकों की पहचान करता है जो आंतरिक नीति दक्षता को नियंत्रित करते हैं:

1. प्रभावी निष्पादन योग्य लंबाई (Effective Executable Length): एक चंक (chunk) के भीतर अनुमानित क्रियाओं की संख्या जिन्हें मॉडल द्वारा वातावरण को पुन: देखने से पहले विश्वसनीय रूप से निष्पादित किया जा सकता है। वर्तमान VLA नीतियां एक्शन चंक्स के अंत में भविष्यवाणी क्षरण (prediction degradation at the tail of action chunks) से ग्रस्त हैं, जो रूढ़िवादी निष्पादन विंडो और बार-बार पुन: अनुमान (re-inference) को मजबूर करती हैं।
2. कुल भौतिक चरण (Total Physical Steps): कार्य को पूरा करने के लिए आवश्यक भौतिक चरणों की संख्या। वर्तमान नीतियां नियोजन अविश्वसनीयता के कारण अक्सर अनावश्यक भौतिक चरण और सुधारात्मक गतियां उत्पन्न करती हैं, जिससे अनावश्यक रूप से लंबे निष्पादन प्रक्षेपवक्र (trajectories) बनते हैं।

ये कारक संयुक्त रूप से फॉरवर्ड इंफरेंस कॉल्स की कुल संख्या निर्धारित करते हैं। लेखक देखते हैं कि भले ही मॉडल सफल होते हैं, वे अक्सर निष्पादन पथों में उच्च भिन्नता प्रदर्शित करते हैं, जहाँ कुशल पथ केवल संयोग से उभरते हैं, और लंबे निष्पादन विंडो को लागू करने से संचित 'टेल एरर्स' (tail errors) के कारण सफलता दर कम हो जाती है।

कार्यप्रणाली: PolicyTrim

लेखक PolicyTrim का प्रस्ताव करते हैं, जो एक दो-चरणीय सुदृढीकरण लर्निंग (RL) आधारित पोस्ट-ट्रेनिंग फ्रेमवर्क है, जिसे मॉडल आर्किटेक्चर को बदले बिना या अतिरिक्त विशेषज्ञ प्रदर्शनों (expert demonstrations) की आवश्यकता के बिना आंतरिक नीति दक्षता बढ़ाने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क दो क्रमिक चरणों के माध्यम से नीति को अनुकूलित करने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करता है।

चरण 1: विश्वसनीय एक्शन चंक विस्तार (Reliable Action Chunk Extension)

इसका लक्ष्य "विश्वसनीय भविष्यवाणी क्षितिज" (trustworthy prediction horizon) को मॉडल की आर्किटेक्चरल सीमा की ओर धकेलकर विस्तारित करना है।

• गतिशील निष्पादन क्षितिज अन्वेषण (Dynamic Execution Horizon Exploration): एक निश्चित निष्पादन लंबाई को थोपने के बजाय, फ्रेमवर्क नमूना लिए गए समूह के भीतर प्रत्येक प्रक्षेपवक्र (trajectory) को एक विशिष्ट स्वीकृति अनुपात ($\gamma$) आवंटित करता है। यह एक "विश्वसनीयता स्वीप" बनाता है जो समानांतर में लघु, मध्यवर्ती और दीर्घ चंक स्थितियों में विश्वसनीय भविष्यवाणियों की अनुभवजन्य सीमाओं की जांच करता है।
• विश्वसनीय क्षितिज पुरस्कार (Reliable Horizon Reward): रिवॉर्ड फंक्शन कार्य पूर्णता की सफलता को स्वीकृति अनुपात ($\gamma_i$) के साथ स्केल किए गए क्षितिज पुरस्कार के साथ जोड़ता है। महत्वपूर्ण रूप से, क्षितिज पुरस्कार सशर्त (conditional) है: यह केवल तभी सक्रिय होता है जब समूह में कम से कम एक प्रक्षेपवक्र सफल होता है। यह नीति को अविश्वसनीय लंबे-चंक व्यवहारों में ढहने से रोकता है जब सफलता की गारंटी नहीं होती है।
• अनुकूलन (Optimization): नीति को GRPO का उपयोग करके अपडेट किया जाता है, जो एक ही कार्य उदाहरण के भीतर विभिन्न निष्पादन लंबाई का मुकाबला करता है ताकि यह सीखा जा सके कि कौन सी चंक स्थितियाँ विश्वसनीय क्रियाएं प्रदान करती हैं।

चरण 2: अतिरेक-जागरूक चरण कमी (Redundancy-Aware Step Reduction)

चरण 1 से प्राप्त विस्तारित क्षितिज के आधार पर, इस चरण का उद्देश्य कार्य को पूरा करने के लिए आवश्यक भौतिक चरणों की कुल संख्या को कम करना है।

• चरण-बचत पुरस्कार (Step-Saving Reward): सफल प्रक्षेपवत्व जो एक बेसलाइन बजट ($S_{base}$) की तुलना में कम चरणों में कार्य पूरा करते हैं, उन्हें उच्च पुरस्कार प्राप्त होता है, जो संक्षिप्त निष्पादन को प्रोत्साहित करता है।
• समूह-आधारित नियमितीकरण (Group-Anchored Regularization): नीति को "नाजुक शॉर्टकट" (संयोग से होने वाले अपुनरुत्पादनीय छोटे पथ) का लाभ उठाने से रोकने के लिए, एक स्थिरता दंड (stability penalty) पेश किया जाता है। यह दंड नमूना लिए गए समूह के भीतर चरण वितरण को नियमित करता है, उन प्रक्षेपवक्रों को हतोत्साहित करता है जो समूह सर्वसम्मति से बहुत अधिक विचलित होते हैं। एक फ्लोर पैरामीटर ($\sigma_{floor}$) यह सुनिश्चित करता है कि नीति के अभिसरण (convergence) होने पर दंड सीमित रहे।
• संयुक्त पुरस्कार (Joint Reward): अंतिम पुरस्कार कार्य सफलता, चरण बचत और स्थिरता दंड को एकीकृत करता है, यह सुनिश्चित करता है कि दक्षता लाभ कार्य सक्षमता की कीमत पर न आए।

मुख्य योगदान

1. परिनियोजन बाधा की पहचान: यह शोध कंप्यूट-केंद्रित तरीकों से अलग नीति दक्षता (policy efficiency) को पहचानता है, यह रेखांकित करते हुए कि अविश्वसनीय टेल प्रेडिक्शन और अनावश्यक भौतिक चरण VLA परिनियोजन में महत्वपूर्ण, अनदेखे बॉटलनेक हैं।
2. PolicyTrim फ्रेमवर्क: एक नवीन पोस्ट-ट्रेनिंग फ्रेमवर्क जो बिना आर्किटेक्चरल बदलाव या अतिरिक्त डेटा के विश्वसनीय प्लानिंग हॉरिजन का विस्तार करता है और चरण अतिरेक (step redundancy) को कम करता है।
3. तंत्र डिजाइन (Mechanism Design):
   • एक गतिशील अन्वेषण रणनीति जो विश्वसनीय भविष्यवाणी सीमा को धीरे-धीरे आगे बढ़ाती है।
   • एक अतिरेक-जागरूक पुरस्कार जो नीति पतन को रोकने के लिए समूह-आधारित स्थिरता नियमितीकरण के साथ जुड़ा हुआ है, ताकि अनावश्यक क्रियाओं को समाप्त किया जा सके।
4. अनुभवजन्य सत्यापन (Empirical Validation): कई बेंचमार्क और विविध VLA आर्किटेक्चर पर महत्वपूर्ण सुधार प्रदर्शित करने वाले व्यापक प्रयोग।

परिणाम

लेखकों ने तीन बेंचमार्क (LIBERO, ManiSkill, Meta-World) और तीन VLA मॉडलों ($\pi0.5$, OpenVLA-OFT, GR00T) पर PolicyTrim का मूल्यांकन किया, जिसमें Agilex Piper आर्म पर वास्तविक दुनिया का परिनियोजन भी शामिल है।

• एक्शन चंक उपयोगिता: इसमें 3$\times$ का सुधार हुआ (उदाहरण के लिए, LIBERO पर $\pi0.5$ में औसत निष्पादन लंबाई को 5 से बढ़ाकर 15 चरण करना)।
• भौतिक चरण: औसतन 51.4% की कमी आई (उदाहरण के लिए, Object सबसेट में 125.0 से घटकर 64.3 चरण)।
• एंड-टू-एंड स्पीडअप: सफलता दर से समझौता किए बिना परिनियोजन समय में 5.83$\times$ तक की गति वृद्धि प्राप्त की गई।
• सफलता दर: सभी बेंचमार्क पर कार्य सफलता दर को बनाए रखा गया या थोड़ा सुधारा गया (जैसे, LIBERO-Object पर 97.8% $\to$ 98.5%)।
• क्रॉस-आर्किटेक्चर सामान्यीकरण: यह विधि डिफ्यूजन-आधारित नीतियों ($\pi0.5$, GR00K) और ऑटोरिग्रेसिव/पैरेलल-डिकोडिंग मॉडलों (OpenVLA) दोनों पर प्रभावी सिद्ध हुई, हालांकि चरण 1 का विशिष्ट अनुप्रयोग डिकोडिंग तंत्र के आधार पर भिन्न था।
• वास्तविक दुनिया का स्थानांतरण (Real-World Transfer): भौतिक रोबोट प्रयोगों में, PolicyTrim ने स्थिर और गतिशील लक्ष्य स्थितियों के तहत सफलता दर को बनाए रखते हुए या सुधारते हुए औसत 1.86$\times$ वॉल-क्लॉक निष्पादन समय को कम किया।
• एब्लेशन अध्ययन (Ablation Studies): पुष्टि की गई कि चरण 1 अकेले टेल एरर्स के कारण चरणों को बढ़ाता है, और चरण 2 अकेले स्थिरता दंड के बिना सफलता दर के पतन का जोखिम उठाता है। इष्टतम प्रदर्शन के लिए दोनों का संयोजन आवश्यक है।

महत्व और दावे

यह शोध दावा करता है कि PolicyTrim मौजूदा कंप्यूट-केंद्रित तरीकों की तुलना में दक्षता के एक ऑर्थोगोनल अक्ष (orthogonal axis) को संबोधित करता है। जबकि वर्तमान तकनीकें एकल अनुमान कॉल की विलंबता (latency) को कम करती हैं, PolicyTrim कार्य को पूरा करने के लिए आवश्यक अनुमान कॉल्स की आवृत्ति (frequency) को कम करता है।

लेखक तर्क देते हैं कि:

• नीति दक्षता तैनात VLA सिस्टम के लिए एक प्राथमिक बॉटलनेक है जो वर्तमान में आर्किटेक्चरल अनुकूलन द्वारा अनसुलझा है।
• प्रस्तावित फ्रेमवर्क एक गुणात्मक (multiplicative) स्रोत ऑफ स्पीडअप प्रदान करता है जिसे मौजूदा इंफरेंस एक्सेलेरेशन तकनीकों (जैसे, VLA-Cache) के साथ कंपाउंड लाभ प्राप्त करने के लिए स्टैक किया जा सकता है।
• विश्वसनीय लॉन्ग-होरिजन निष्पादन को स्पष्ट रूप से पुरस्कृत करके और अनावश्यक चरणों को दंडित करके, PolicyTrim VLA मॉडलों को अधिक मजबूत और संक्षिप्त प्रक्षेपवक्र निष्पादित करने में सक्षम बनाता है, जिससे वे व्यावहारिक, स्केलेबल रोबोटिक परिनियोजन के करीब पहुँचते हैं।

कार्य इस निष्कर्ष के साथ समाप्त होता है कि जबकि PolicyTrim एक मजबूत निष्पादन ढांचा प्रदान करता है, भविष्य की दिशाओं में गतिशील वातावरण के अनुकूल होने के लिए ऑन-डिवाइस निरंतर लर्निंग को एकीकृत करना शामिल हो सकता है।