🤖 machine learning

Frequency-Guided Action Diffusion via Sub-Frequency Manifold Traversal

यह शोध पत्र फ्रीक्वेंसी गाइडेंस ऑपरेटर (FGO) को प्रस्तुत करता है, जो एक नवीन एल्गोरिदम है जो मानव प्रदर्शनों से उच्च-आवृत्ति वाले शोर (high-frequency noise) को दबाते हुए आवश्यक कार्य विवरणों को संरक्षित करने के लिए मध्यवर्ती उप-आवृत्ति मैनिफोल्ड्स (intermediate sub-frequency manifolds) के माध्यम से एक्शन जनरेशन को निर्देशित करके डिफ्यूजन-आधारित विसुओमोटर पॉलिसियों को उन्नत करता है।

मूल लेखक: Junlin Wang

प्रकाशित 2026-05-28✓ Author reviewed ⓘ

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junlin Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक नाजुक कार्य करना सिखा रहे हैं, जैसे कपों को एक के ऊपर एक रखना या मेज पर माउस को खिसकाना। आप इसे एक इंसान को वह काम पूरी सटीकता से करते हुए दिखाने वाले वीडियो दिखाकर सिखाते हैं। इसे "बिहेवियर क्लोनिंग" (behavior cloning) कहा जाता है।

हालाँकि, इसमें एक पेंच है: इंसान परफेक्ट नहीं होते। भले ही हम सुचारू रूप से चलने की कोशिश करें, हमारे हाथों में सूक्ष्म, अनैच्छिक झटके, रुकावटें और कंपन होते हैं। ये एक सिग्नल में "हाई-फ्रीक्वेंसी नॉइज़" (high-frequency noise) की तरह होते हैं।

जब एक रोबोट इन वीडियो से सीखने की कोशिश करता है, तो वह अच्छी चीज़ों के साथ-साथ बुरी आदतों को भी कॉपी कर लेता है। वह ठीक उसी तरह हिलने-डुलने और झटका खाने लगता है जैसे इंसान ने किया था। यह एक विशेष प्रकार के AI के लिए विशेष रूप से बुरा है जिसे डिफ्यूजन पॉलिसी (Diffusion Policy) कहते हैं। डिफ्यूजन पॉलिसी को एक मूर्तिकार की तरह समझें जो शोर और स्टैटिक से भरी मिट्टी के एक ब्लॉक से शुरू करता है और धीरे-धीरे शोर को हटाकर मूर्ति को प्रकट करता है। समस्या यह है कि यदि मूल मिट्टी (मानवीय डेटा) में अजीब, टेढ़ी-मेढ़ी दरारें हैं, तो मूर्तिकार उसे चिकना करने की कोशिश में उन दरारों को और बड़ा बना सकता है, जिससे रोबोट का हाथ झटकेदार और अस्थिर हो सकता है।

समाधान: फ्रीक्वेंसी गाइडेंस ऑपरेटर (FGO)

इस शोध पत्र के लेखक, जिनका नेतृत्व जुनलिन वांग (Junlin Wang) कर रहे हैं, इस समस्या को ठीक करने के लिए एक नई विधि प्रस्तावित करते हैं जिसे फ्रीक्वेंसी गाइडेंस ऑपरेटर (FGO) कहा जाता है। यह कैसे काम करता है, इसके लिए यहाँ कुछ सरल उपमाएँ दी गई हैं:

1. "ब्लर और शार्पन" (धुंधला और स्पष्ट करना) की उपमा

कल्पना कीजिए कि आपके पास एक फोटो है जिसमें एक इंसान अपना हाथ हिला रहा है।

समस्या: फोटो धुंधली (लो फ्रीक्वेंसी) है लेकिन उसमें स्टैटिक और दाने (हाई-फ्रीक्वेंसी नॉइज़) भी हैं। यदि आप पूरी फोटो को एक साथ शार्प (स्पष्ट) करने की कोशिश करते हैं, तो वे दाने बढ़ जाते हैं, जिससे इमेज और खराब दिखती है।
पुराना तरीका: मानक AI पूरी तस्वीर (सुचारू गति + झटकेदार शोर) को एक साथ सीखने की कोशिश करता है।
FGO का तरीका: यह नया तरीका AI को फोटो को परतों (layers) में देखने के लिए सिखाता है। पहले, यह बड़े, धुंधले आकार (हाथ का सामान्य पथ) को देखता है। एक बार जब वह पथ स्पष्ट हो जाता है, तो यह धीरे-धीरे बारीक विवरण जोड़ता है। महत्वपूर्ण बात यह है कि यह विवरण जोड़ते समय "दाने" (शोर) को अनदेखा करना सीखता है।

2. "सब-फ्रीक्वेंसी मैनिफोल्ड" (सुचारू पथ)

यह शोध पत्र "सब-फ्रीक्वेंसी मैनिफोल्ड्स" की बात करता है। एक पहाड़ी रास्ते की कल्पना करें।

पूरा पथ: रास्ते में मुख्य सड़क तो है, लेकिन साथ ही बहुत सारे ढीले पत्थर, गड्ढे और ऊबड़-खाबड़ किनारे भी हैं (शोर)।
FGO पथ: AI को मुख्य पथ के समानांतर चलने वाले चिकने, पक्के रास्तों पर चलने के लिए प्रशिक्षित किया जाता है।
- पहले, यह एक बहुत ही चौड़े, चिकने पथ पर चलता है जो केवल सामान्य दिशा दिखाता है (लो फ्रीक्वेंसी)।
- फिर, यह थोड़े अधिक विस्तृत पथ पर जाता है।
- अंत में, यह पूर्ण, विस्तृत पथ पर जाता है।
- इन "चिकने पथों" से एक-एक करके गुजरकर, AI गंतव्य तक पहुँचने के लिए बिना कभी ऊबड़-खाबड़ पत्थरों पर कदम रखे सीखता है। यह प्रभावी रूप से मानव की झटकेदार गतिविधियों को रोबोट की मांसपेशियों की स्मृति (muscle memory) का हिस्सा बनने से पहले ही "फ़िल्टर" कर देता है।

3. "गाइडेड मूर्तिकार" (मार्गदर्शक मूर्तिकार)

रोबोट की सोचने की प्रक्रिया (जिसे "रिवर्स डिनोइजिंग" कहा जाता है) के दौरान, AI आमतौर पर शुद्ध शोर के आधार पर अगले कदम का अनुमान लगाने की कोशिश करता है।

FGO एक मार्गदर्शक की तरह कार्य करता है: यह AI के कान में फुसफुसाता है, "अरे, अभी छोटे, तेज़ झटकोंों की चिंता मत करो। पहले बड़े, धीमे आंदोलनों पर ध्यान केंद्रित करो।"
जैसे-जैसे AI निर्णय लेने के करीब पहुँचता है, मार्गदर्शक धीरे से कहता है, "ठीक है, अब तुम थोड़ा विवरण जोड़ सकते हो, लेकिन इसे सुचारू बनाए रखो।"
यह सुनिश्चित करता है कि रोबोट की अंतिम गति तरल और सुसंगत हो, न कि मानव की घबराहट वाली हरकत की नकल।

उन्होंने क्या पाया?

शोधकर्ताओं ने इसका परीक्षण 15 अलग-अलग रोबोट कार्यों पर किया, जिसमें ब्लॉक उठाने जैसे सरल कार्यों से लेकर दरवाज़े का हैंडल घुमाने या कील ठोकने जैसे जटिल कार्यों तक शामिल थे। उन्होंने इनका परीक्षण कंप्यूटर सिमुलेशन और लैब में एक वास्तविक रोबोट आर्म पर किया।

अधिक सुचारू गतिविधियाँ: FGO का उपयोग करने वाले रोबोट बहुत अधिक सुचारू रूप से चले। उनमें झटके और रुकावटें कम हुईं।
बेहतर सफलता दर: क्योंकि उनकी गतिविधियाँ अधिक सुचारू और अनुमानित थीं, इसलिए FGO वाले रोबोट पुराने तरीकों वाले रोबोटों की तुलना में कार्य अधिक बार सफलतापूर्वक पूरे कर पाए।
वास्तविक दुनिया का प्रमाण: उन्होंने इसे एक वास्तविक रोबोट आर्म पर कप उठाने और माउस खिसकाने के लिए भी टेस्ट किया, और यह मानक तरीकों की तुलना में बेहतर काम करता है।

ट्रेड-ऑफ (समझौता)

यह शोध पत्र एक छोटी सी कमी को भी स्वीकार करता है: क्योंकि AI को गति को समझने के लिए इन अतिरिक्त "स्मूथ स्टेप्स" (सुचारू चरणों) से गुजरना पड़ता है, इसलिए इसे सोचने में मानक विधि की तुलना में थोड़ा अधिक समय (कुछ मिलीसेकंड अधिक) लगता है। हालाँकि, लेखक तर्क देते हैं कि सुचारूता और सफलता दर में होने वाला लाभ इस मामूली देरी की तुलना में कहीं अधिक महत्वपूर्ण है।

संक्षेप में: FGO रोबोट को यह सिखाता है कि वे "बड़ी तस्वीर" पर पहले ध्यान केंद्रित करके और "घबराहट वाले झटकों" को फ़िल्टर करके इंसानों से सीखें, जिसके परिणामस्वरूप रोबोट एक डगमगाते नकलची के बजाय एक सुंदर नर्तक की तरह चलते हैं।

तकनीकी सारांश: सब-फ्रीक्वेंसी मैनिफोल्ड ट्रैवर्सल के माध्यम से फ्रीक्वेंसी-गाइडेड एक्शन डिफ्यूजन

समस्या विवरण (Problem Statement)

व्यवहार क्लोनिंग (behavior cloning) के माध्यम से विज़ुओमोटर नीतियों को सीखने में अक्सर मानव विशेषज्ञ प्रदर्शनों में मौजूद उच्च-आवृत्ति शोर (high-frequency noise) को विरासत में प्राप्त करने की "पैथोलॉजी" से जूझना पड़ता है। प्राकृतिक मानव डेटा में अनिवार्य रूप से रुक-रुक कर होने वाले झटके (jerks), ठहराव और एक्शन जिटर (action jitter) शामिल होते हैं। जब डिफ्यूजन-आधारित नीतियां इन कच्चे, पूर्ण-आवृत्ति वाले प्रक्षेप पथों (trajectories) का सीधे अनुकरण करने के लिए प्रशिक्षित की जाती हैं, तो वे इन स्प्यूरियस उच्च-आवृत्ति विविधताओं को ओवरफिट करने लगती हैं। इसके परिणामस्वरूप तैनाती के दौरान अनियमित, झटकेदार मोटर कमांड उत्पन्न होते हैं।

यह समस्या डिफ्यूजन नीतियों में विशेष रूप से गंभीर है क्योंकि पुनरावृत्ति डिनोइजिंग प्रक्रिया (iterative denoising process), हालांकि वैचारिक रूप से एक मोटे-से-सूक्ष्म (coarse-to-fine) प्रतिमान का पालन करती है, अनजाने में सार्थक सूक्ष्म विवरणों की कीमत पर उच्च-आवृत्ति आर्टिफैक्ट्स को बढ़ा सकती है। मानक डिफ्यूजन मॉडल शोर से पूर्ण-आवृत्ति डेटा मैनिफोल्ड तक एक सीधा मानचित्रण (mapping) सीखने का प्रयास करते हैं, जो एक ब्रॉडबैंड उद्देश्य है जो उन जटिल, गैर-रेखीय कार्यों के लिए अत्यंत चुनौतीपूर्ण है जहाँ निम्न-आवृत्ति इरादे (intents) और उच्च-आवृत्ति विवरण समय के साथ आपस में उलझे होते हैं।

कार्यप्रणाली: फ्रीक्वेंसी गाइडेंस ऑपरेटर (FGO)

इन सीमाओं को संबोधित करने के लिए, लेखक फ्रीक्वेंसी गाइडेंस ऑपरेटर (FGO) का प्रस्ताव करते हैं, जो एक नवीन डिफ्यूजन गाइडेंस तंत्र है जो पीढ़ी प्रक्रिया के दौरान स्पष्ट रूप से एक स्पेक्ट्रल पदानुक्रम (spectral hierarchy) को लागू करता है। मुख्य विचार यह है कि जनरेशन प्रक्रिया के माध्यम से केवल पूर्ण-आवृत्ति मैनिफोल्ड की ओर सीधे जाने के बजाय, विस्तारवादी स्पेक्ट्रल बैंड्स के साथ मध्यवर्ती सब-फ्रीक्वेंसी मैनिफोल्ड्स के एक पदानुक्रम के माध्यम से रिवर्स डिनोइजिंग प्रक्रिया को निर्देशित करना है।

1. मल्टी-बैंड मैपिंग सीखना (प्रशिक्षण चरण)

सीधे पूर्ण-आवृत्ति डेटा मैनिफोल्ड की भविष्यवाणी करने के लिए मॉडल को प्रशिक्षित करने के बजाय, FGO शोर प्रेडिक्टर को सब-फ्रीक्वेंसी डेटा मैनिफोल्ड्स से शोर के मैपिंग को सीखने के लिए प्रशिक्षित करता है।

फ्रीक्वेंसी ट्रंकेशन (Frequency Truncation): प्रशिक्षण के दौरान, स्वच्छ एक्शन चंक्स $A^0_t$ को एक बैंक ऑफ डिस्क्रीट लो-पास फिल्टर्स ( $L_f$ ) के माध्यम से गुजारा जाता है, जो एक कट-ऑफ फ्रीक्वेंसी $f$ द्वारा परिभाषित होते हैं। यह फ्रीक्वेंसी-ट्रंकेटेड सीक्वेंस $A^{0,f}_t$ उत्पन्न करता है।
कंडीशनल प्रेडिक्शन (Conditional Prediction): शोर प्रेडिक्टर $\epsilon_\theta$ को स्पष्ट रूप से कट-ऑफ फ्रीक्वेंसी $f$ पर कंडिशन करने के लिए संवर्धित किया जाता है, जिसका रूप $\epsilon_\theta(A^{k,f}_t, k, O_t, f)$ होता है।
सैंपलिंग रणनीति (Sampling Strategy): स्थिरता सुनिश्चित करने के लिए, कट-ऑफ फ्रीक्वेंसी $f$ को इस तरह सैंपल किया जाता है कि वह $p_{base}$ की प्रायिकता के साथ एक बेस फ्रीक्वेंसी $f_{base}$ के बराबर हो, अन्यथा इसे $[f_{base}, f_{max}]$ से समान रूप से (uniformly) सैंपल किया जाता है। यह गाइडेड प्रक्रिया के लिए आवश्यक एक स्थिर निम्न-आवृत्ति आधार रेखा स्थापित करता है।
k-f कपल्ड (KFC) सैंपलिंग: मॉडल को उच्च शोर स्तरों पर उच्च-आवृत्ति भविष्यवाणियों पर अपनी क्षमता व्यर्थ न करने देने के लिए (जहाँ उच्च-आवृत्ति सिग्नल शोर द्वारा हावी होते हैं), कट-ऑफ फ्रीक्वेंसी $f_{max}$ को डिफ्यूजन स्टेप $k$ के आधार पर गतिशील रूप से समायोजित किया जाता है। उच्च शोर स्तर कम आवृत्तियों तक प्रशिक्षण को प्रतिबंधित करते हैं, जबकि कम शोर स्तर व्यापक स्पेक्ट्रल प्रशिक्षण की अनुमति देते हैं।

2. प्रोग्रेसिव गाइडेंस (अनुमान चरण)

अनुमान चरण के दौरान, FGO एक कंपोजिट वेक्टर फील्ड को संश्लेषित करके प्रक्षेप पथ को पूर्ण-आवृत्ति मैनिफोल्ड की ओर निर्देशित करता है।

वेक्टर फील्ड इंटरपोलेशन (Vector Field Interpolation): प्रत्येक डिनोइजिंग स्टेप $k$ $k$ पर, गाइडेंस तंत्र दो कंडीशनल नॉइज़ एस्टिमेट्स के भारित संयोजन (weighted combination) की गणना करता है:
1. $\epsilon_{base}$ : निम्न-आवृत्ति $f_{base}$ -मैनिफोल्ड की ओर मैपिंग करने वाला वेक्टर फील्ड।
2. $\epsilon_{fine}$ : एक मध्यवर्ती $f_k$ -मैनिफोल्ड की ओर मैपिंग करने वाला वेक्टर फील्ड, जिसमें उच्च कट-ऑफ फ्रीक्वेंसी है।
कंपोजिट फील्ड (Composite Field): अंतिम नॉइज़ एस्टिमेट $\tilde{\epsilon} = (1 - \omega_k)\epsilon_{base} + \omega_k \epsilon_{fine}$ है।
प्रोग्रेसिव एक्सपेंशन (Progressive Expansion): जैसे-जैसे डिनोइजिंग प्रक्रिया (घटते $k$ के साथ) आगे बढ़ती है, कट-ऑफ फ्रीक्वेंसी $f_k$ और गाइडेंस वेट $\omega_k$ को बढ़ाने के लिए लीनियरली शेड्यूल किया जाता है। यह शोर वाले नमूनों को निम्न-आवृत्ति आधार से लेकर विस्तारवादी सब-फ्रीक्वेंसी मैनिफोल्ड्स के माध्यम से पूर्ण-आवृत्ति डेटा मैनिफोल्ड तक धीरे-धीरे संचालित करता है।
अनुमान (Approximation): चूंकि अनुमान के दौरान स्वच्छ एक्शन $A^0_t$ अज्ञात होता है, इसलिए फ्रीक्वेंसी-ट्रंकेटेड नॉइजी इनपुट $A^{k,f}_t$ को वर्तमान नॉइजी स्टेट $A^k_t$ पर लो-पास फ़िल्टर सीधे लागू करके अनुमानित किया जाता है।

प्रमुख योगदान (Key Contributions)

नवीन डिफ्यूजन गाइडेंस प्रतिमान: यह पेपर एक फ्रीक्वेंसी-आधारित गाइडेंस तंत्र पेश करता है जो जनरेशन के दौरान स्पेक्ट्रल बैंड्स को स्पष्ट रूप से नियंत्रित करके उच्च-आवृत्ति शोर को दबाता है।
मल्टी-बैंड प्रशिक्षण और अनुमान: यह विधि मॉडलों को फ्रीक्वेंसी-ट्रंकेटेड एक्शन्स के स्पेक्ट्रम पर प्रशिक्षित करती है और जनरेशन के दौरान उच्च-आवृत्ति विवरणों से निम्न-आवृत्ति संरचनाओं तक एक्शन्स को पुनर्गठित करने के लिए एक प्रोग्रेसिव गाइडेंस रणनीति का उपयोग करती है।
व्यापक मूल्यांकन: लेखक 5 बेंचमार्क (Robosuite, MimicGen, Adroit, DexArt, और एक वास्तविक xArm सेटअप सहित) के 15 रोबोटिक मैनिपुलेशन कार्यों में FGO को मान्य करते हैं।
एब्लेशन अध्ययन: पेपर विस्तृत एब्लेशन प्रदान करता है जो बेस फ्रीक्वेंसी सैंपलिंग, KFC सैंपलिंग रणनीति और गाइडेंस वेट्स के लीनियर शेड्यूलिंग की आवश्यकता की पुष्टि करता है।

प्रयोगात्मक परिणाम (Experimental Results)

सफलता दर (Success Rate): FGO लगातार बेसलाइन्स (DP3, DiT-Policy, और FreqPolicy) की तुलना में बेहतर या तुलनीय सफलता दर प्राप्त करता है। Robosuite और MimicGen बेंचमार्क पर, FGO ने 4 में से 3 बेसिक टास्क और दोनों कॉम्प्लेक्स MimicGen टास्क पर प्रतिस्पर्धियों को पछाड़ दिया। Adroit और DexArt डेक्सटेरस मैनिपुलेशन बेंचमार्क पर, FGO ने 7 में से 6 टास्क में बेसलाइन्स से बेहतर प्रदर्शन किया।
एक्शन स्मूथनेस (Action Smoothness): FGO टेम्पोरल कंसिस्टेंसी में महत्वपूर्ण सुधार करता है। Robosuite "Can" टास्क पर, FGO ने सबसे कम एक्शन टोटल वेरिएशन (ATV) प्राप्त किया और सभी बेसलाइन्स की तुलना में विशेष रूप से स्पष्ट रूप से कम JerkRMS दिखाया, जो स्मूथ और कम झटकेदार निष्पादन का संकेत देता है।
वास्तविक दुनिया का प्रदर्शन: xArm मैनिपुलेटर (Cup और Mouse टास्क) पर वास्तविक दुनिया के प्रयोगों में, FGO ने लगातार बेसलाइन DP3 पद्धति से बेहतर प्रदर्शन किया, जो भौतिक वातावरण में इसकी मजबूती को प्रमाणित करता है।
कंप्यूटेशनल लागत: FGO अतिरिक्त प्रशिक्षण समय में नगण्य वृद्धि करता है। हालांकि, गाइडेंस तंत्र के कारण अनुमान विलंबता (inference latency) बेसलाइन्स की तुलना में थोड़ी अधिक है, जो गाइडेंस-आधारित एल्गोरिदम के लिए एक ज्ञात ट्रेड-ऑफ है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि FGO व्यवहार क्लोनिंग की एक मौलिक सीमा को संबोधित करता: डिफ्यूजन पॉलिसियों द्वारा मानव प्रदर्शनों से उच्च-आवृत्ति शोर को विरासत में लेने और बढ़ाने की प्रवृत्ति। जनरेशन प्रक्रिया को सब-फ्रीक्वेंसी मैनिफोल्ड्स के पदानुक्रम के माध्यम से स्पष्ट रूप से निर्देशित करके, FGO वैश्विक किनेमैटिक स्ट्रक्चर (निम्न-आवृत्ति) के सीखने को सूक्ष्म विवरणों (उच्च-आवृत्ति) से प्रभावी रूप से अलग (decouple) कर देता है।

लेखक का तर्क है कि यह दृष्टिकोण ऐसी नीतियां प्रदान करता है जो न केवल कार्य निष्पादन में अधिक सफल हैं, बल्कि अत्यधिक स्मूथ और टेम्पोरल रूप से सुसंगत एक्शन ट्राजेक्टरीज भी उत्पन्न करती हैं। स्टैंडर्ड गाइडेंस मेथड्स (जैसे क्लासिफायर-फ्री गाइडेंस) के विपरीत, जो अक्सर अस्थिर जनरेशन पैदा करने वाले एक्सट्रपलेशन वेट्स की आवश्यकता रखते हैं, FGO फ्रीक्वेंसी मैनिफोल्ड्स के बीच एक इंटरपोलेशन रणनीति का उपयोग करता है, जो वेक्टर फील्ड्स का एक स्थिर कॉनवेक्स कॉम्बिनेशन बनाए रखता है। यह कार्य प्रदर्शित करता है कि फ्रीक्वेंसी-डोमेन इंडक्टिव बायस का लाभ उठाना सिमुलेशन और वास्तविक दुनिया के रोबोटिक अनुप्रयोगों दोनों में विज़ुओमोटर पॉलिसियों की गुणवत्ता और विश्वसनीयता को महत्वपूर्ण रूप से बढ़ा सकता है।