💻 computer science

Flash-WAM: Modality-Aware Distillation for World Action Models

फ़्लैश-WAM (Flash-WAM) एक मोडैलिटी-अवेयर स्टेप-डिस्टिलेशन फ्रेमवर्क है जो वीडियो और एक्शन स्ट्रीम्स के भिन्न शोर व्यवस्थाओं (noise regimes) के लिए अनुकूलित विशिष्ट कंसिस्टेंसी पैरामीट्रिज़ेशन का उपयोग करके वर्ल्ड एक्शन मॉडल्स के लिए रीयल-टाइम, सिंगल-स्टेप इन्फरेंस सक्षम करता है, जिससे उच्च कार्य सफलता दर को बनाए रखते हुए 23x की गति वृद्धि प्राप्त होती है।

मूल लेखक: Arman Akbari, Ci Zhang, Arash Akbari, Lin Zhao, Yixiao Chen, Weiwei Chen, Xuan Zhang, Geng Yuan, Yanzhi Wang

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arman Akbari, Ci Zhang, Arash Akbari, Lin Zhao, Yixiao Chen, Weiwei Chen, Xuan Zhang, Geng Yuan, Yanzhi Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल कार्य करना सिखाने की कोशिश कर रहे हैं, जैसे कि एक बोतल को उठाना और उसे कप में रखना। इसे करने के लिए, रोबोट एक "वर्ल्ड-एक्शन मॉडल" (WAM) का उपयोग करता है। इस मॉडल को एक अत्यधिक कुशल निर्देशक के रूप में समझें जिसे दो काम एक साथ करने होते हैं:

भविष्य की फिल्म की भविष्यवाणी करना: यह कल्पना करता है कि अगले कुछ सेकंड में दृश्य का वीडियो कैसा दिखेगा।
स्क्रिप्ट लिखना: यह तय करता है कि रोबोट के हाथों को वह वीडियो बनाने के लिए वास्तव में कौन से शारीरिक मूवमेंट (क्रियाएं) करने की आवश्यकता है।

समस्या: रोबोट बहुत धीमा है

वर्तमान में, यह "निर्देशक" अविश्वसनीय रूप से विस्तृत है लेकिन बहुत ही कष्टदायक रूप से धीमा है। केवल एक सेकंड के वीडियो और एक मूवमेंट को उत्पन्न करने के लिए, मॉडल को एक जटिल गणितीय प्रक्रिया जिसे "डिनोइजिंग" (denoising) कहा जाता है, लगभग 75 बार चलाना पड़ता है (वीडियो के लिए 25 बार और एक्शन के लिए 50 बार)।

उपमा: कल्पना करें कि आप एक बिखरे हुए स्केच से शुरुआत करके और धीरे-धीरे गलतियों को मिटाकर एक आदर्श चित्र बनाने की कोशिश कर रहे हैं। हर एक फ्रेम के लिए इसे 75 बार करना मतलब केवल एक छोटे से क्षण की योजना बनाने के लिए 8.1 सेकंड का समय लगना।
परिणाम: रियल-टाइम कंट्रोल के लिए लगभग 0.5 सेकंड की आवश्यकता होती है। 8.1 सेकंड पर, रोबोट व्यावहारिक रूप से जम जाता है, वह दुनिया के हिलने-डुलने के साथ प्रतिक्रिया करने में असमर्थ होता है।

विफल शॉर्टकट: "एक ही आकार सबके लिए" (One-Size-Fits-All)

वैज्ञानिकों ने इसे "डिस्टिलेशन" (distillation) नामक तकनीक का उपयोग करके तेज करने की कोशिश की। यह एक छात्र को लेने और उसे शिक्षक के अंतिम उत्तर की नकल करने के लिए प्रशिक्षित करने जैसा है, जो केवल एक स्टेप में किया जाता है बजाय 75 स्टेप्स के।

हालाँकि, जब उन्होंने वीडियो और एक्शन दोनों के लिए एक साथ मानक "एक ही आकार सबके लिए" वाले शॉर्टकट का उपयोग करने की कोशिश की, तो यह पूरी तरह से विफल रहा।

क्यों? वीडियो और क्रियाएं मौलिक रूप से भिन्न हैं।
- वीडियो एक धुंधले, उच्च-रिज़ॉल्यूशन वाले पेंटिंग की तरह है। इसमें बहुत विवरण है लेकिन यह सहिष्णु है; आप छोटी गलतियाँ कर सकते हैं और फिर भी चित्र को पहचाना जा सकता है।
- एक्शन एक सर्जन के हाथ की गति की तरह है। वे बहुत सूक्ष्म, सटीक और महत्वपूर्ण हैं। यदि आप एक मिलीमीटर भी चूक जाते हैं, तो कार्य विफल हो जाता है।
गलती: मानक शॉर्टकट ने सर्जन के हाथ के साथ वैसा ही व्यवहार किया जैसा कि उसने धुंधली पेंटिंग के साथ किया था। इसने एक ऐसा गणितीय सूत्र उपयोग किया जो "पेंटिंग" (वीडियो) के लिए तो बहुत अच्छा था, लेकिन इसने "सर्जन" (एक्शन) को पूरी तरह से अनदेखा कर दिया। परिणाम यह हुआ कि रोबोट चीजों को होते हुए दिखाने के सुंदर वीडियो बनाने में तो सीख गया, लेकिन वह अपने हाथों को वास्तव में चलाना भूल गया। सफलता दर 91% से गिरकर 24% रह गई।

समाधान: फ्लैश-WAM (एक विशेष कोच)

लेखकों ने Flash-WAM बनाया, एक नया प्रशिक्षण तरीका जो एक विशेष कोच की तरह काम करता है जिसे पता है कि वीडियो और एक्शन को अलग-अलग शिक्षण शैलियों की आवश्यकता है।

दोनों के लिए एक ही नियम का उपयोग करने के बजाय, Flash-WAM दो अलग-अलग नियमों का उपयोग करता है:

वीडियो के लिए (पेंटिंग): यह उच्च-शोर (high-noise), जटिल डेटा के लिए डिज़ाइन की गई एक विधि का उपयोग करता है। यह वीडियो को अच्छा और स्थिर बनाए रखता है।
एक्शन के लिए (सर्जरी): यह एक पूरी तरह से अलग गणितीय सूत्र का उपयोग करता है जो कम-शोर (low-noise), उच्च-सटीक डेटा के लिए डिज़ाइन किया गया है। यह सुनिश्चित करता है कि रोबोट अपने "सिग्नल" को खोए बिना मूवमेंट के सूक्ष्म, महत्वपूर्ण विवरणों को सीख सके।

प्रत्येक "स्ट्रीम" की विशिष्ट आवश्यकताओं के अनुसार प्रशिक्षण को अनुकूलित करके, Flash-WAM रोबोट को वीडियो और एक्शन दोनों के लिए केवल एक स्टेप में शिक्षक के कौशल सीखने की अनुमति देता है।

परिणाम: स्थिर होने से रियल-टाइम तक

इस बदलाव का प्रभाव बहुत बड़ा है:

गति: एक चाल की योजना बनाने में लगने वाला समय 8.1 सेकंड से घटकर 0.35 सेकंड (348 मिलीसेकंड) हो गया। यह 23 गुना तेज है, जो अंततः रोबोट को वास्तविक समय में चलने की अनुमति देता है।
प्रदर्शन:
- कंप्यूटर सिमुलेशन में, रोबोट ने अपनी उच्च सफलता दर (लगभग 85-95%) बनाए रखी, जबकि "एक ही आकार सबके लिए" वाला तरीका गिरकर 24% रह गया।
- एक वास्तविक मानव-आकार के रोबोट (Unitree G1) पर, Flash-WAM ने वास्तविक कार्यों पर 60% सफलता दर प्राप्त की। इसके विपरीत, पुराने मॉडल को बिना इस विशेष प्रशिक्षण के तेज करने पर सफलता दर 23% थी, और मानक शॉर्टकट का उपयोग करने पर यह 43% थी।

सारांश

Flash-WAM को एक मैराथन धावक और एक रस्सी पर चलने वाले (tightrope walker) को एक ही तरह से प्रशिक्षित न करने के निर्णय के रूप में देखें, भले ही वे दोनों एथलीट हों। उन्हें उनकी विशिष्ट आवश्यकताओं के अनुसार प्रशिक्षण देकर, रोबोट अंततः वास्तविक दुनिया के साथ बातचीत करने के लिए पर्याप्त तेज़ सोचने और चलने में सक्षम हो गया है, बिना अपना काम करने की क्षमता खोए।

तकनीकी सारांश: Flash-WAM

समस्या विवरण (Problem Statement)

वर्ल्ड एक्शन मॉडल्स (WAMs) एम्बोडीड एआई (embodied AI) के लिए एक आशाजनक दिशा का प्रतिनिधित्व करते हैं, जो पुनरावृत्ति डिफ्यूजन प्रक्रियाओं (iterative diffusion processes) के माध्यम से भविष्य के वीडियो फ्रेम और रोबोटिक क्रियाओं को संयुक्त रूप से उत्पन्न करते हैं। जबकि ये मॉडल मैनिपुलेशन बेंचमार्क पर मजबूत प्रदर्शन करते हैं, वीडियो और एक्शन दोनों स्ट्रीम के लिए दर्जनों डिनोइजिंग स्टेप्स (denoising steps) पर उनकी निर्भरता अत्यधिक कम्प्यूटेशनल लागत पैदा करती है। उदाहरण के लिए, अत्याधुनिक LingBot-VA मॉडल को NVIDIA L40S GPU पर प्रति चंक (chunk) 8.1 सेकंड की आवश्यकता होती है, जिससे रीयल-टाइम क्लोज्ड-लूप कंट्रोल असंभव हो जाता है।

यद्यपि स्टेप डिस्टिलेशन (step distillation) डिफ्यूजन मॉडल्स को तेज करने के लिए एक स्वाभाविक समाधान प्रदान करता है, मौजूदा "ऑफ-द-शेल्फ" विधियाँ संयुक्त वीडियो-एक्शन सेटिंग में विफल रहती हैं। मुख्य मुद्दा WAMs द्वारा नियोजित असममित शोर शेड्यूल्स (asymmetric noise schedules) में निहित है:

वीडियो स्ट्रीम्स उच्च सिग्नल-टू-नॉइज़ रेशियो (SNR) शिफ्ट का उपयोग करते हैं, जो ट्रेनिंग मास को उच्च शोर स्तरों ( $\sigma$ ) पर केंद्रित करते हैं।
एक्शन स्ट्रीम्स कम SNR शिफ्ट का उपयोग करते हैं, जो ट्रेनिंग मास को पूरे रेंज में फैलाते हैं जिसमें कम $\sigma$ पर महत्वपूर्ण घनत्व होता है।

मानक कंसिस्टेंसी डिस्टिलेशन विधियाँ (जैसे LCM) एक एकल कंसिस्टेंसी फंक्शन पर निर्भर करती हैं। लेखक प्रदर्शित करते हैं कि ये फंक्शन आमतौर पर $\sigma \to 0$ होने पर क्वाड्रेटिक ग्रेडिएंट वैनिशिंग ( $|b(\sigma)| \propto \sigma^2$ ) प्रदर्शित करते हैं। फलस्वरूप, जब इन्हें संयुक्त मॉडल पर समान रूप से लागू किया जाता है, तो एक्शन स्ट्रीम के लिए ग्रेडिएंट सिग्नल (जो कम $\sigma$ पर प्रशिक्षित होता है) लुप्त हो जाता है, जिससे एक्शन सटीकता और टास्क सक्सेस रेट में गिरावट आती है (प्रयोगों में >90% से गिरकर ~24% हो जाती है), भले ही वीडियो पुनर्निर्माण (reconstruction) बरकरार रहे।

कार्यप्रणाली: Flash-WAM (Methodology: Flash-WAM)

लेखक Flash-WAM का प्रस्ताव करते हैं, जो एक मोडैलिटी-अवेयर स्टेप-डिस्टिलेशन फ्रेमवर्क है जिसे इस संरचनात्मक असंगतता को हल करने के लिए डिज़ाइन किया गया है। दोनों मोडैलिटीज पर एक ही कंसिस्टेंसी फंक्शन लागू करने के बजाय, Flash-WAM प्रत्येक स्ट्रीम के विशिष्ट शोर शासन (noise regime) के अनुरूप कंसिस्टेंसी-फंक्शन परिवार के अलग-अलग सदस्यों का चयन करता है।

1. ग्रेडिएंट स्केलिंग का संरचनात्मक विश्लेषण (Structural Analysis of Gradient Scaling)

पेपर स्थापित करता है कि कंसिस्टेंसी डिस्टिलेशन में ग्रेडिएंट सिग्नल की शक्ति $|b(\sigma)|$ के समानुपाती है, जहाँ कंसिस्टेंसी फंक्शन को $f(x_\sigma, \sigma) = a(\sigma)x_\sigma + b(\sigma)v_\theta$ के रूप में परिभाषित किया गया है।

प्रपोजिशन 1: किसी भी वैध कंसिस्टेंसी फंक्शन के लिए, $\sigma=0$ के पास इष्टतम ग्रेडिएंट स्केलिंग रैखिक ( $O(\sigma)$ ) होती है, जो केवल तभी संभव है यदि $b'(0) \neq 0$ हो।
मानक LCM की विफलता: मानक LCM पैरामीट्रिज़ेशन $b'(0)=0$ को संतुष्ट करते हैं, जिसके परिणामस्वरूप क्वाड्रेटिक स्केलिंग ( $O(\sigma^2)$ ) होती है। यह उच्च- $\sigma$ वीडियो ट्रेनिंग के लिए पर्याप्त है लेकिन कम- $\sigma$ एक्शन ट्रेनिंग के लिए विनाशकारी है।

2. मोडैलिटी-अवेयर पैरामीट्रिज़ेशन (Modality-Aware Parametrization)

Flash-WAM इसे अलग-अलग पैरामीट्रिज़ेशन असाइन करके संबोधित करता है:

एक्शन स्ट्रीम (Low- $\sigma$ Regime): लेखक एक लीनियर-ग्रेडिएंट-स्केलिंग पैरामीट्रिज़ेशन निकालते हैं जहाँ $a(\sigma) = 1$ और $b(\sigma) = -\sigma$ है। यह सुनिश्चित करता है कि $|b(\sigma)| = \sigma$ , जो एक्शन स्ट्रीम के पूरे लो-नॉइज़ ट्रेनिंग डिस्ट्रीब्यूशन में एक मजबूत, रैखिक ग्रेडिएंट सिग्नल प्रदान करता है।
वीडियो स्ट्रीम (High- $\sigma$ Regime): वीडियो स्ट्रीम के लिए, जो उच्च $\sigma$ पर केंद्रित है, लेखक मानक वैरिएंस-प्रिजर्विंग कार्रास पैरामीट्रिज़ेशन (LCM में प्रयुक्त) को बनाए रखते हैं। यह चुनाव उच्च शोर स्तरों पर वेरिएंस संरक्षण और बाउंडेड आउटपुट रेंज की आवश्यकता से प्रेरित है, जो कम-आयामी, बाउंडेड एक्शन टारगेट्स के लिए कम महत्वपूर्ण गुण हैं।

3. संयुक्त प्रशिक्षण उद्देश्य (Joint Training Objective)

स्टूडेंट मॉडल को एक संयुक्त लॉस का उपयोग करके दोनों मोडैलिटीज के लिए कंसिस्टेंसी प्रॉपर्टी को एक साथ संतुष्ट करने के लिए प्रशिक्षित किया जाता है:
$\mathcal{L} = \mathcal{L}_v + \lambda_a \mathcal{L}_a$
जहाँ $\mathcal{L}_v$ और $\mathcal{L}_a$ अपने संबंधित मोडैलिटी-विशिष्ट कंसिस्टेंसी फंक्शन्स का उपयोग करते हैं। आर्किटेक्चर एक साझा ट्रांसफार्मर बैकबोन बना रहता है, जिसमें मोडैलिटी-अवेयर पैरामीट्रिज़ेशन केवल लॉस हेड्स को प्रभावित करता है, जिससे टीचर से प्रति-स्टेप कंप्यूट कॉस्ट अपरिवर्तित रहती है।

मुख्य परिणाम (Key Results)

इस फ्रेमवर्क को LingBot-VA पर लागू किया गया, जिसने दोनों मोडैलिटीज के लिए इन्फरेंस को एक सिंगल स्टेप (1v/1a) या एक वीडियो स्टेप और दो एक्शन स्टेप्स (1v/2a) में कंप्रेस कर दिया।

स्पीडअप: Flash-WAM 23× स्पीडअप प्राप्त करता है, जिससे प्रति-चंक लेटेंसी NVIDIA L40S पर 8.1 सेकंड से घटकर 348 ms हो जाती है, जो रीयल-टाइम इन्फरेंस (500 ms बजट के तहत) को सक्षम बनाती है।
सिमुलेशन बेंचमार्क्स:
- RoboTwin 2.0: 1v/2a पर, Flash-WAM 85.5% सफलता (91.2% टीचर के मुकाबले) प्राप्त करता है, जबकि नैिव जॉइंट LCM के लिए यह 23.9% है। 1v/1a पर, यह 81.4% सफलता बनाए रखता है।
- LIBERO: 1v/2a पर, यह 95.7% औसत सफलता प्राप्त करता है (98.6% टीचर के मुकाबले), जो वीडियो-ओनली डिस्टिलेशन बेसलाइन्स से बेहतर है।
रियल-वर्ल्ड डिप्लॉयमेंट: तीन मैनिपुलेशन टास्क के लिए Unitree G1 ह्यूमनॉइड रोबोट पर मूल्यांकन किया गया।
- अनएक्सेलेरेटेड टीचर (3v/10a) ने 66.7% प्राप्त किया।
- डिस्टिलेशन के बिना स्टेप्स कम करने (1v/2a) से प्रदर्शन गिरकर 40.0% हो गया।
- नैिव वीडियो-ओनली LCM (1v/2a) ने 43.3% प्राप्त किया।
- Flash-WAM (1v/2a) ने 60.0% प्राप्त किया, जो अनएक्सेलेरेटेड प्रदर्शन को काफी हद तक रिकवर करता है।
गुणात्मक विश्लेषण (Qualitative Analysis): विज़ुअलाइज़ेशन दिखाते हैं कि जहाँ नैिव डिस्टिलेशन के कारण ऑब्जेक्ट गायब हो सकते हैं या धुंधले हो सकते हैं, वहीं Flash-WAM सीन स्ट्रक्चर और ऑब्जेक्ट आइडेंटिटी को सुरक्षित रखता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि Flash-WAM पहला ऐसा फ्रेमवर्क है जो असममित मल्टी-मोडल सिस्टम्स पर सिंगल-मोडलिटी डिस्टिलेशन लागू करने से उत्पन्न होने वाले स्ट्रक्चरल फेल्योर मोड को संबोधित करके, जॉइंट वीडियो-एक्शन डिफ्यूजन मॉडल्स के लिए रीयल-टाइम इन्फरेंस को सफलतापूर्वक सक्षम बनाता है।

निदान (Diagnosis): यह कार्य पहचानता है कि कंसिस्टेंसी डिस्टिलेशन और जॉइंट डिफ्यूजन के बीच असंगतता हाइपरपैरामीटर ट्यूनिंग का मुद्दा नहीं है, बल्कि असममित शोर शेड्यूल्स के कारण ग्रेडिएंट सिग्नल उपलब्धता में एक मौलिक मिसमैच है।
समाधान: ग्रेडिएंट स्केलिंग के संरचनात्मक विश्लेषण को कंसिस्टेंसी फंक्शन के चयन में आधार बनाकर, Flash-WAM एक सिद्धांत आधारित तरीका प्रदान करता है जो एक प्रति मोडैलिटी एक स्टेप तक डिनॉइजिंग स्टेप्स को कम करते हुए टास्क सक्सेस को बनाए रखता है।
प्रभाव: परिणाम प्रदर्शित करते हैं कि WAMs की जेनेरेटिव क्षमताओं से समझौता किए बिना, कमोडिटी एज हार्डवेयर पर WAMs का रीयल-टाइम रोबोटिक कंट्रोल संभव है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण मूल WAM इन्फरेंस स्ट्रक्चर को सुरक्षित रखता है, उन तरीकों के विपरीत जो वीडियो जनरेशन को पूरी तरह से हटा देते हैं।