🤖 machine learning

Domain Arithmetic: One-Shot VLA Adaptation under Environmental Shifts

यह शोधपत्र डोमेन एरीथमेटिक (DART) प्रस्तुत करता है, जो एक सादृश्य-आधारित (analogy-based) विधि है जो सबस्पेस-अलाइन्ड डोमेन-विशिष्ट जानकारी के साथ वेट वेक्टर अंकगणित (weight vector arithmetic) करके विजन-लैंग्वेज-एक्शन मॉडलों को पर्यावरणीय बदलावों के प्रति कुशल वन-शॉट अनुकूलन सक्षम बनाती है, जिससे बहु-प्रदर्शन प्रशिक्षण (multi-demonstration training) की लागतपूर्ण आवश्यकता समाप्त हो जाती है।

मूल लेखक: Taewook Kang, Taeheon Kim, Donghyun Shin, Jonghyun Choi

प्रकाशित 2026-07-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taewook Kang, Taeheon Kim, Donghyun Shin, Jonghyun Choi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: रोबोट नए कमरे में खो जाता है

कल्पना कीजिए कि आपके पास एक अत्यधिक कुशल रोबोट शेफ (एक VLA मॉडल) है जिसे एक विशिष्ट रसोई (Source Domain) में प्रशिक्षित किया गया है। यह रोबोट सब्जियां काटने, सूप चलाने और खाना परोसने के काम में माहिर है। इसने इन कार्यों के हजारों वीडियो देखे हैं।

अब, आप रोबोट को एक नई रसोई (Target Domain) में ले जाते हैं।

कैमरे अलग जगहों पर लगे हैं।
लाइटिंग थोड़ी अलग है।
शायद अब रोबोट एक अलग ब्रांड का है जिसके हाथ थोड़े अलग हैं।

भले ही रोबोट को पता है कि कैसे खाना बनाना है, लेकिन वह भ्रमित हो जाता है। उसे लगता है कि चाकू दूसरी जगह पर है क्योंकि कैमरा एंगल बदल गया है, या वह सामग्री को पहचान नहीं पाता क्योंकि लाइटिंग अलग है। वह उन कार्यों को करने में विफल हो जाता है जो वह पहले आसानी से कर लेता था।

इसे ठीक करने का पुराना तरीका:
इस रोब गए रोबोट को इस नई रसोई के लिए सिखाने के लिए, आपको आमतौर पर एक मानव प्रशिक्षक को नियुक्त करना होगा जो नई रसोई में रोबोट द्वारा किए जाने वाले हर कार्य के दर्जनों वीडियो फिल्माए। यह महंगा, धीमा और अव्यावहारिक है।

"One-Shot" का सपना:
क्या होगा अगर आप रोबोट को केवल एक सिंगल वीडियो दिखाकर नई रसोई के अनुकूल होने के लिए सिखा सकें? यही इस पेपर का लक्ष्य है।

समाधान: DART (Domain ARiThmetic)

लेखक DART नामक एक विधि प्रस्तावित करते हैं। पूरे रोबोट को शुरू से फिर से प्रशिक्षित करने के बजाय, वे "वेट अरिथमेटिक" (Weight Arithmetic) नामक एक चतुर तकनीक का उपयोग करते हैं।

रोबोट के मस्तिष्क (इसके न्यूरल नेटवर्क वेट्स) को निर्देशों की एक विशाल लाइब्रेरी के रूप में सोचें।

बेस रोबोट (Base Robot): इसके पास "कैसे काटें" (Task) और "रसोई A में कैसे देखें" (Source Domain) के निर्देश हैं।
नया रोबोट (New Robot): इसे "कैसे काटें" (Task) और "रसोई B में कैसे देखें" (Target Domain) के निर्देशों की आवश्यकता है।

समस्या यह है कि जब आप रोबोट को नई रसोई में केवल एक वीडियो दिखाते हैं, तो उसका मस्तिष्क दोनों का मिश्रण अपडेट करता है। वह "रसोई B में कैसे काटें" सीख जाता है, लेकिन वह विशिष्ट कार्य के प्रति इतना जुनूनी हो जाता है कि वह उस नई रसोई में अन्य कार्यों को संभालने की अपनी क्षमता भूल जाता है।

जादुई ट्रिक: घटाना और जोड़ना

लेखकों ने पाया कि रोबोट के मस्तिष्क के अपडेट को दो अलग-अलग भागों में विभाजित किया जा सकता है, जैसे रंगों को मिलाना:

टास्क कलर (Task Color): "काटने" के निर्देश।
डोमेन कलर (Domain Color): "रसोई B की लाइटिंग/कैमरा" के निर्देश।

उन्होंने पाया कि ये दो रंग आपस में मिले हुए हैं लेकिन उन्हें गणितीय रूप से अलग किया जा सकता है। DART इस प्रकार काम करता है:

"टास्क" संदर्भ प्राप्त करें: रोबोट पहले से ही पुरानी रसोई में काटना जानता है। वे पुरानी रसोई में काटने का एक सिंगल वीडियो लेते हैं और "टास्क वेक्टर" (शुद्ध "काटने" का निर्देश) की गणना करते हैं।
"नया" अपडेट प्राप्त करें: वे नई रसोई में काटने का एक सिंगल वीडियो लेते हैं और "न्यू अपडेट वेक्टर" की गणना करते हैं।
घटाव (उपमा):
- कल्पना करें कि "न्यू अपडेट" काटने + नई रसोई से बना एक स्मूदी है।
- कल्पना करें कि "ओल्ड अपडेट" काटने + पुरानी रसोई से बना एक स्मूदी है।
- यदि आप "न्यू अपडेट" में से "ओल्ड अपडेट" को घटाते हैं, तो "काटने" वाला हिस्सा रद्द हो जाता है!
- परिणाम: आपके पास एक शुद्ध "नई रसोई" वेक्टर बचता है। इस वेक्टर में केवल नई कैमरों और लाइटिंग के बारे में जानकारी होती है, बिना किसी विशिष्ट कार्य के निर्देशों के।
जोड़ना: वे इस शुद्ध "नई रसोई" वेक्टर को मूल रोबोट के मस्तिष्क में वापस जोड़ देते हैं।
- मूल मस्तिष्क + नया रसोई वेक्टर = एक ऐसा रोबोट जो अपने सभी पुराने कार्य कर सकता है, लेकिन अब वह उन्हें नई रसोई में भी पूरी तरह से देख और समझ सकता है।

शोर को साफ करना (Subspace Filtering)

यहाँ एक पेच है। जब आप दो चीजों को घटाते हैं, तो कभी-कभी अनजाने में पीछे कुछ "शोर" या "आर्टिफैक्ट्स" (जैसे पुरानी रसोई से चिपका हुआ धूल का कण) रह जाता है।

इसे ठीक करने के लिए, DART एक सबस्पेस फिल्टर (Subspace Filter) का उपयोग करता है।

रोबोट के मस्तिष्क अपडेट को एक 3D आकार के रूप में सोचें।
फ़िल्टर यह जाँचता है कि क्या "नई रसोई" का आकार "पुरानी रसोई" के आकार के साथ पूरी तरह से मेल खाता है।
यदि आकार का कोई हिस्सा मेल नहीं खाता (वह केवल रैंडम शोर है), तो फ़िल्टर उसे काट देता है।
यह सुनिश्चित करता है कि रोबोट केवल रसोई के बीच के वास्तविक अंतरों को सीखे, न कि रैंडम ग्लिच को।

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर का परीक्षण सिमुलेशन और वास्तविक दुनिया में रोबोटों पर किया गया।

परीक्षण: उन्होंने रोबोट को नए कैमरा एंगल्स में स्थानांतरित किया, कैमरा नॉइज़ जोड़ी, या यहाँ तक कि रोबोट के हाथ को पूरी तरह से अलग ब्रांड (जैसे Panda रोबोट को UR5e रोबोट से बदलना) से बदल दिया।
परिणाम:
- पुराने तरीके: विफल रहे या बहुत अधिक डेटा की आवश्यकता पड़ी।
- वन-शॉट फाइन-ट्यूनिंग (नाइव तरीका): रोबोट ने एक कार्य सीखा लेकिन सब कुछ भूल गया।
- DART: रोबोट ने केवल एक प्रदर्शन (demonstration) का उपयोग करके नए वातावरण के अनुकूल खुद को ढाल लिया और अपने अन्य सभी कार्यों को करने की क्षमता बनाए रखी। इसने सभी अन्य तरीकों को पछाड़ दिया।

सारांश उपमा

कल्पना कीजिए कि आप एक संगीतकार हैं जो बेहतरीन ध्वनिकी (acoustics) वाले एक कॉन्सर्ट हॉल में पियानो बजाना बखूबी जानते हैं (Source Domain)।

आप एक छोटे, गूँजने वाले लिविंग रूम (Target Domain) में जाते हैं। आप बजाने की कोशिश करते हैं, लेकिन आवाज़ अजीब लगती है और आप गलती कर देते हैं।

पुराना तरीका: आप एक शिक्षक को लिविंग रूम में आपके द्वारा बजाए जाने वाले हर गाने को हफ्तों तक रिकॉर्ड करने के लिए नियुक्त करते हैं।
DART का तरीका:
1. आप लिविंग रूम में खुद को एक गाना बजाते हुए रिकॉर्ड करते हैं।
2. आप उसी गाने को कॉन्सर्ट हॉल में बजाते हुए रिकॉर्ड करते हैं।
3. आप एक कंप्यूटर का उपयोग करके "कॉन्सर्ट हॉल" की आवाज़ को "लिविंग रूम" की आवाज़ से घटाते हैं।
4. इससे आपको एक "लिविंग रूम एकॉस्टिक्स" फ़ाइल मिलती है।
5. आप इस फ़ाइल को अपने मस्तिष्क पर लागू करते हैं। अब, आप लिविंग रूम में कोई भी गाना पूरी तरह से बजा सकते हैं, भले ही आपने वहां केवल एक ही अभ्यास किया हो।

मुख्य बात: DART रोबोट को उनके मौजूदा ज्ञान में उनके "पर्यावरण" वाले हिस्से को गणितीय रूप से अलग करके और उसे जोड़ने की अनुमति देता है, जिससे वे केवल एक उदाहरण के माध्यम से नए वातावरण (अलग कैमरे, अलग रोबोट) के अनुकूल हो जाते हैं।

तकनीकी सारांश: वन-शॉट VLA अनुकूलन के लिए डोमेन अंकगणित (DART)

समस्या विवरण

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल, जो बड़े पैमाने के कॉर्पोरा (corpora) पर प्रशिक्षित होते हैं, अपने स्रोत प्रशिक्षण वातावरणों के भीतर मजबूत मल्टी-टास्क क्षमताओं का प्रदर्शन करते हैं। हालांकि, जब उन्हें नवीन लक्ष्य वातावरणों में तैनात किया जाता है जो पर्यावरणीय बदलावों (environmental shifts) द्वारा चिह्नित होते हैं, तो वे महत्वपूर्ण प्रदर्शन गिरावट का अनुभव करते हैं। इन बदलावों में कैमरा पोज़ (व्यूपॉइंट शिफ्ट), सेंसर कैलिब्रेशन, या एम्बॉडमेंट संशोधन (जैसे, एक Panda से UR5e रोबोट में स्विच करना) शामिल हैं।

मौजूदा अनुकूलन रणनीतियाँ एक गंभीर बाधा का सामना करती हैं:

फुल-डेटा फाइन-ट्यूनिंग: इसके लिए प्रत्येक कार्य के लिए लक्ष्य डोमेन में व्यापक विशेषज्ञ प्रदर्शन (expert demonstrations) की आवश्यकता होती है, जो वास्तविक दुनिया के परिवेश (जैसे, घरेलू वातावरण) में एकत्र करना अत्यधिक महंगा है।
वन-शॉट फाइन-ट्यूनिंग: जबकि यह डेटा-कुशल है, एक एकल प्रदर्शन पर मानक फाइन-ट्यूनिंग अक्सर लक्ष्य डोमेन में अनदेखे कार्यों तक सामान्यीकरण करने में विफल रहती है। इसके बजाय, यह पर्यावरणीय बदलाव को सीखने के बजाय, मुख्य रूप से प्रदर्शित विशिष्ट कार्य पर ओवरफिट हो जाती है, जिससे इसकी मल्टी-टास्क क्षमताएं लुप्त हो जाती हैं।

कार्यप्रणाली: डोमेन अंकगणित (DART)

लेखक DART का प्रस्ताव करते हैं, जो एक एनालॉजी-आधारित ढांचा है जो केवल एक एकल प्रदर्शन (single demonstration) के माध्यम से एक एकल कार्य को उपयोग करके VLA मॉडल को परिवर्तित वातावरणों के अनुकूल बनाता है। यह विधि इस अवलोकन पर आधारित है कि वन-शॉट फाइन-ट्यून्ड वेट्स को योगात्मक, विलगित घटकों (additive, disentangled components) में विभाजित किया जा सकता है: कार्य-विशिष्ट दिशाएं (task-specific directions) और डोमेन-विशिष्ट दिशाएं (domain-specific directions)।

मुख्य अंतर्दृष्टि (Core Insight)

सबस्पेस अलाइनमेंट विश्लेषण के माध्यम से, लेखक पाते हैं कि वन-शॉट फाइन-ट्यूनिंग से अपडेट-वेक्टर्स ( $\Delta = \theta_{fine-tuned} - \theta_{base}$ ) कार्य-विशिष्ट दिशाओं द्वारा हावी होते हैं। हालांकि, एक सुसंगत, छोटा डोमेन-विशिष्ट घटक मौजूद है जो पर्यावरणीय बदलाव को एनकोड करता है। लेखक परिकल्पना करते हैं कि ये घटक रैखिक रूप से योगात्मक और ऑर्थोगोनल (orthogonal) हैं, जैसा कि भाषा मॉडलों में "queen = king + woman - man" एनालॉजी में होता है।

एल्गोरिदम चरण

DART बेस पॉलिसी ( $\theta_0$ ) को अनुकूलित करने के लिए एक पुन: प्रयोज्य डोमेन वेक्टर ( $\tilde{\delta}_{tgt}$ ) निकालता है, जिसमें बड़े डेटासेट पर पुन: प्रशिक्षण की आवश्यकता नहीं होती है।

अपडेट-वेक्टर गणना:
- लक्ष्य-डोमेन अपडेट-वेक्टर ( $\Delta_{m,tgt}$ ) की गणना करें, जो कार्य $T_m$ के लिए एक एकल लक्ष्य-डोमेन प्रदर्शन ( $D_{m,tgt}$ ) पर बेस मॉडल को फाइन-ट्यून करके प्राप्त किया जाता है।
- स्रोत-डोमेन अपडेट-वेक्टर ( $\Delta_{m,src}$ ) की गणना करें, जो उसी कार्य $T_m$ के लिए एक एकल स्रोत-डोमेन प्रदर्शन ( $D_{m,src}$ ) पर उसी बेस मॉडल को फाइन-ट्यून करके प्राप्त किया जाता है।
डोमेन वेक्टर निष्कर्षण (एनालॉजी ऑपरेशन):
- डोमेन दिशा को अलग करने के लिए घटाव (subtraction) करें: $\delta_{tgt} = \Delta_{m,tgt} - \Delta_{m,src}$ ।
- यह ऑपरेशन साझा कार्य-विशिष्ट दिशाओं को रद्द कर देता है, जिससे केवल डोमेन-विशिष्ट बदलाव शेष रह जाता है।
सबस्पेस फ़िल्टरिंग और स्केलिंग (शोर न्यूनीकरण):
- सीधा घटाव स्रोत-डोमेन के आर्टिफैक्ट्स को बनाए रख सकता है या फाइन-ट्यूनिंग शोर को बढ़ा सकता है। इसे संबोधित करने के लिए, DART दो परिशोधन चरणों का उपयोग करता है:
  - सबस्पेस फ़िल्टरिंग: सिंगुलर वैल्यू डिकंपोजिशन (SVD) का उपयोग करके, विधि उन आधार वेक्टर्स (basis vectors) की पहचान करती है और उन्हें फ़िल्टर करती है जो स्रोत अपडेट-वेक्टर में हैं लेकिन लक्ष्य सबस्पेस के साथ संरेखित नहीं हैं। यह सुनिश्चित करता है कि स्रोत-विशिष्ट शोर निकाले गए डोमेन वेक्टर को दूषित न करे।
  - सबस्पेस स्केलिंग: परिणामी डोमेन वेक्टर को सबस्पेस अलाइनमेंट स्कोर ( $\gamma$ ) द्वारा स्केल किया जाता है। यदि स्रोत और लक्ष्य अपडेट खराब तरीके से संरेखित हैं (जो उच्च शोर या अप्रासंगिकता का संकेत देते हैं), तो वेक्टर को कम भार (down-weight) दिया जाता है।
मॉडल अनुकूलन:
- परिष्कृत डोमेन वेक्टर को बेस मॉडल में वापस जोड़ा जाता है: $\theta^* = \theta_0 + \alpha \cdot \tilde{\delta}_{tgt}$ , जहाँ $\alpha$ अनुकूलन शक्ति को नियंत्रित करने वाला एक स्केलर गुणांक है।

प्रमुख योगदान

योगात्मकता का अनुभवजन्य प्रमाण: पेपर इस बात का प्रमाण प्रदान करता है कि VLA मॉडलों में वन-शॉट फाइन-ट्यून्ड वेट्स को साझा योग्य, योगात्मक कार्य- और डोमेन-विशिष्ट दिशाओं में विभाजित किया जा सकता है।
DART फ्रेमवर्क: एक नया एनालॉजी-आधारित तरीका जो वेट अंकगणित के माध्यम से कार्य-विशिष्ट दिशाओं को हटाकर, एक सिंगल-शॉट फाइन-ट्यून्ड वेट अपडेट से एक पुन: प्रयोज्य डोमेन वेक्टर निकालता है।
सबस्पेस परिशोधन: डोमेन वेक्टर के निष्कर्षण के दौरान शोर और आर्टिफैक्ट्स को कम करने के लिए सबस्पेस फ़िल्टरिंग और स्केलिंग का परिचय, जो मजबूत अनुकूलन सुनिश्चित करता है।
आर्किटेक्चर अग्नोस्टिक (Architecture Agnostic): यह विधि विभिन्न VLA आर्किटेक्चर (फ्लो-मैचिंग $\pi0.5$ और ऑटोरेग्रेसिव $\pi0-FAST$ ) और विविध शिफ्ट प्रकारों (विजुअल और एम्बॉडमेंट) में काम करने के लिए सिद्ध हुई है।

प्रयोगात्मक परिणाम

लेखकों ने LIBERO बेंचमार्क (सिमुलेशन) और एक वास्तविक-दुनिया UR10e रोबोट सेटअप पर DART का मूल्यांकन किया।

सिमुलेशन (नवीन दृश्य बिंदु/Viewpoints): DART ने स्मॉल, मीडियम और लार्ज व्यूपॉइंट शिफ्ट्स में बेसलाइन्स (Zero-shot, One-shot Fine-tuning, FLA, और RETAIA) को काफी पीछे छोड़ दिया। उदाहरण के लिए, $\pi0.5$ के साथ मीडियम व्यूपॉइंट शिफ्ट्स पर, DART ने 80.8% सफलता दर प्राप्त की, जबकि वन-शॉट फाइन-ट्यूनिंग के लिए यह 33.3% और FLA के लिए 76.4% थी।
संयुक्त व्यवधान (Combined Perturbations): DART ने संयुक्त विजुअल शिफ्ट्स (Viewpoint + Noise + Light) के तहत भी बेहतर प्रदर्शन बनाए रखा, जो जटिल पर्यावरणीय परिवर्तनों के प्रति इसकी मजबूती को दर्शाता है।
क्रॉस-एम्बॉडमेंट: Panda रोबोट से UR5e रोबोट में पॉलिसियों को स्थानांतरित करने में, DART ने सफलता दर को 37.2% (Zero-shot) से बढ़ाकर 45.4% कर दी, और प्रोग्रेस रेट को 73.8% तक पहुँचा दिया, जो वन-शॉट फाइन-ट्यूनिंग और ज़ीरो-शॉट बेसलाइन्स दोनों से बेहतर है।
वास्तविक दुनिया: एक नवीन व्यूपॉइंट वाले UR10e रोबोट पर, DART ने अनुकूलन के लिए केवल एक एकल प्रदर्शन का उपयोग करके पांच कार्यों (बारीक हेरफेर सहित) में औसत 81.7% सफलता दर प्राप्त की, जो सभी बेसलाइन्स से काफी बेहतर है।
वेक्टर मर्जिंग: लेखकों ने दिखाया कि विभिन्न लक्ष्य डोमेन से डोमेन वेक्टर्स को एक एकल वेक्टर में मर्ज किया जा सकता है, जिससे एक ही मॉडल को कई वातावरणों के अनुकूल होने की अनुमति मिलती है।

महत्व और दावे

पेपर दावा करता है कि DART, VLA मॉडलों के परिनियोजन (deployment) की बाधा के लिए एक डेटा-कुशल समाधान प्रदान करता है। वेट अपडेट के संरचनात्मक गुणों का लाभ उठाकर, DART वन-शॉट अनुकूलन को सक्षम बनाता है जो बेस मॉडल की मल्टी-टास्क क्षमताओं को संरक्षित करते हुए उसे नए वातावरणों में स्थानांतरित करता है।

लेखक इस बात पर जोर देते हैं कि व्यापक डेटा या वास्तुशिल्प संशोधनों की आवश्यकता वाले पिछले दृष्टिकोणों के विपरीत, DART:

आर्किटेक्चर-अग्नोस्टिक है: विभिन्न VLA बैकबोन के लिए लागू करने योग्य।
हाइपरपैरामीटर-रोबस्ट है: स्केलिंग गुणांक ( $\alpha$ ) की एक विस्तृत श्रृंखला में स्थिर।
कंपोजेबल (Composable) है: डोमेन वेक्टर्स को एक एकल पैरामीटर सेट के साथ कई बदलावों को संभालने के लिए मर्ज किया जा सकता है।

यह कार्य सुझाव देता है कि अनुकूलन के लिए आवश्यक "डोमेन ज्ञान" एक एकल प्रदर्शन से गणितीय रूप से अलग किया जा सकता है और सीखा जा सकता है, जो विविध, असंरचित वास्तविक दुनिया के परिवेशों में सामान्यवादी रोबोटों को तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है।