💻 computer science

BrickCraft: Visuomotor Skill Composition with Situated Manual Guidance for Long-Horizon Interlocking Brick Assembly

BrickCraft एक संरचनात्मक ढांचा है जो स्वायत्त रोबोटों को जटिल कार्यों को स्थानिक ग्राउंडिंग और अनदेखी संरचनाओं के लिए सामान्यीकरण हेतु स्थित मैनुअल्स द्वारा निर्देशित पुन: प्रयोज्य प्रिमिटिव स्किल्स में विघटित करके दीर्घ-क्षितिज इंटरलॉकिंग ब्रिक असेंबली करने में सक्षम बनाता है।

मूल लेखक: Jichuan Yu, Bowei Li, Zhenran Tang, Guanxing Lu, Chuxiong Hu, Ruixuan Liu, Changliu Liu

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jichuan Yu, Bowei Li, Zhenran Tang, Guanxing Lu, Chuxiong Hu, Ruixuan Liu, Changliu Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को लेगो (LEGO) ब्रिक्स से एक जटिल किला बनाना सिखा रहे हैं। आप रोबोट को सिर्फ यह नहीं कह सकते, "एक किला बनाओ।" यह बहुत अस्पष्ट है। यदि आप एक ही विशाल पाठ में हर संभावित किले के लिए रोबोट को हर एक चाल सिखाने की कोशिश करेंगे, तो वह घबरा जाएगा और भ्रमित हो जाएगा।

BRICKCRAFT नामक शोध पत्र इस कौशल को सिखाने का एक स्मार्ट तरीका पेश करता है। इसे एक रोबोट को तर्क (logic), एक दृश्य मार्गदर्शिका (visual guide), और मांसपेशियों की स्मृति (muscle memory) को मिलाने वाली एक तीन-चरणीय रेसिपी देने के रूप में समझें।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "रिवर्स इंजीनियरिंग" शेफ (कौशल-उन्मुख संयोजन तर्क - Skill-Oriented Assembly Reasoning)

कल्पना कीजिए कि आपके पास एक बना हुआ लेगो किला है। शुरुआत से इसे बनाने की कोशिश करने के बजाय, रोबोट पहले इसे अलग करने (disassemble) का नाटक करता है।

यह पूछता है: "अगर मैं इस ईंट को बाहर खींचता हूँ, तो क्या बाकी किला ढह जाएगा? क्या मैं इसे स्पष्ट रूप से देख सकता हूँ? क्या इसे पकड़ने के लिए पर्याप्त जगह है?"
एक बार जब वह किले को सुरक्षित रूप से अलग करने का तरीका जान लेता है, तो वह बस उस सूची को उल्टा (reverse) कर देता है। अब उसके पास एक चरण-दर-चरण निर्देश पुस्तिका है: "पहले, इस ईंट को यहाँ रखें। फिर, उसे पिछले वाले के बगल में जोड़ें।"
जादुई ट्रिक: रोबोट पूरे किले को याद नहीं करता है। इसके बजाय, वह बुनियादी चालों (जैसे "ऊपर एक ईंट चिपकाना" या "बगल में एक ईंट चिपकाना") का एक छोटा सा सेट सीखता है। वह हर नए किले को इन्हीं कुछ बुनियादी चालों के विभिन्न संयोजनों के रूप में देखता है।

2. "स्पॉटलाइट" गाइड (असेंबली इंटेंट ग्राउंडिंग - Assembly Intent Grounding)

यही इस शोध पत्र का सबसे बड़ा नवाचार है। जब रोबोट एक जैसी दिखने वाली लाल ईंटों के ढेर को देखता है, तो वह भ्रमित हो जाता है। कौन सी ईंट "संदर्भ" (reference) ईंट है? कौन सी "लक्ष्य" (target) ईंट है? यह एक ऐसी भीड़ में किसी विशिष्ट व्यक्ति को खोजने जैसा है जहाँ हर कोई बिल्कुल एक जैसी लाल शर्ट पहने हुए है।

BRICKCRAFT इसे एक स्थित मैनुअल (Situated Manual) बनाकर हल करता है।

उपमा: कल्पना कीजिए कि रोबोट ने विशेष चश्मा पहना हुआ है। रोबोट द्वारा ईंट पकड़ने की कोशिश करने से पहले, कंप्यूटर वास्तविक दुनिया के कैमरा दृश्य पर एक डिजिटल स्पॉटलाइट प्रोजेक्ट करता है।
यह बैकग्राउंड को धुंधला कर देता है और केवल उस विशिष्ट ईंट को हाइलाइट करता है जिसे रोबोट को देखने की आवश्यकता है और उस ईंट को भी जिससे उसे जुड़ना है।
यह एक शिक्षक की तरह है जो किताब के एक विशिष्ट पृष्ठ की ओर इशारा करता है और कहता है, "यहाँ देखो," जबकि बाकी टेक्स्ट को ढक देता है ताकि आप विचलित न हों। यह भ्रम को दूर करता है और रोबोट को बताता है कि उसे अपना ध्यान ठीक कहाँ केंद्रित करना है।

3. "मांसपेशियों की स्मृति" कलाकार (कंपोजिशनल विज़ुओमोटर निष्पादन - Compositional Visuomotor Execution)

अब जब रोबोट जानता है कि क्या करना है (योजना) और कहाँ देखना है (स्पॉटलाइट), तो उसे वास्तव में अपने हाथ को हिलाने की आवश्यकता है।

रोबोट एक "मांसपेशियों की स्मृति" प्रणाली (जिसे डिफ्यूजन पॉलिसी कहा जाता है) का उपयोग करता है जो मानव प्रदर्शनों पर प्रशिक्षित है।
जब रोबोट ईंटों पर "स्पॉटलाइट" देखता है, तो वह जानता है कि टुकड़ों को आपस में जोड़ने के लिए अपने ग्रिपर को कैसे चलाना है।
क्योंकि इसने बुनियादी चालों को अलग से सीखा है, यह उन्हें एक साथ जोड़ (chaining) सकता है। यह पहली चाल करता है, जांच करता है कि क्या यह सफल रही, फिर दूसरी चाल करता है, और इसी तरह, पूरी संरचना को चरण-दर-चरण बनाता है।

यह एक बड़ी बात क्यों है?

यह सामान्य (General) है: रोबोट ने केवल एक विशिष्ट टावर बनाना नहीं सीखा। इसने ईंटों को जोड़ने का तर्क सीखा है। जब शोधकर्ताओं ने इसे एक बिल्कुल नया, पहले कभी न देखा गया किला डिजाइन दिखाया, तो यह अभी भी सफलतापूर्वक निर्माण कर सका क्योंकि इसने उन बुनियादी चालों को जोड़ दिया जो इसने पहले से ही सीखी थीं।
यह मजबूत (Robust) है: "स्पॉटलाइट" (स्थित मैनुअल) के बिना, रोबोट ईंटों के दोहराव वाले पैटर्न से भ्रमित हो जाता था और अक्सर विफल हो जाता था। स्पॉटलाइट के साथ, इसने उन संरचनाओं पर भी 86% से अधिक प्रयासों में सफलता प्राप्त की जिन्हें इसने पहले कभी नहीं देखा था।

यह कहाँ संघर्ष करता है?

शोध पत्र स्वीकार करता है कि रोबोट अभी भी पूर्ण नहीं है। यदि रोबोट ईंट को थोड़ा भी मिस करता है, तो वह पड़ोसियों से टकरा सकता है या यदि वह बहुत ज़ोर से धकेलता है तो संरचना को मोड़ सकता है। वर्तमान में इसमें "पैरों पर सोचने" (जैसे गलती होने पर उसे सुधारने के लिए दोबारा पकड़ना) की क्षमता की कमी है, लेकिन ढांचा बाद में इन कौशलों को जोड़ने के लिए तैयार है।

संक्षेप में: BRICKCRAFT एक रोबोट को बड़े कार्यों को छोटे, पुन: प्रयोज्य (reusable) मूव्स में तोड़कर, दृश्य भ्रम को काटने के लिए डिजिटल "स्पॉटलाइट" का उपयोग करके, और जटिल संरचनाओं को शून्य से बनाने के लिए उन मूव्स को एक साथ जोड़कर निर्माण करना सिखाता है।

तकनीकी सारांश: BRICKCRAFT

समस्या विवरण

इंटरलॉकिंग ब्रिक्स (interlocking bricks) की स्वायत्त रोबोटिक असेंबली दीर्घ-क्षितिज हेरफेर (long-horizon manipulation) में एक कठिन चुनौती है, जिसके लिए उच्च-स्तरीय कार्य तर्क (high-level task reasoning), स्थानिक ग्राउंडिंग (spatial grounding), और सूक्ष्म संपर्क-समृद्ध हेरफेर (fine-grained contact-rich manipulation) के निर्बाध एकीकरण की आवश्यकता होती है। मौजूदा मोनोलिथिक एंड-टू-एंड नियंत्रण प्रतिमान (monolithic end-to-end control paradigms) जटिल संरचनात्मक बाधाओं को मॉडल करने के लिए आवश्यक दीर्घकालिक निर्भरता और व्यापक डेटा आवश्यकताओं के साथ संघर्ष करते हैं। इसके अलावा, उच्च-स्तरीय सिमेंटिक योजनाओं और निम्न-स्तरीय विज़ुओमोटर निष्पादन के बीच के अंतर को पाटना विशेष रूप से कठिन है क्योंकि इसमें दो भ्रमित करने वाले कारक हैं: (1) आवधिक ज्यामितीय इकाइयों और दोहराव वाली विशेषताओं के कारण दृश्य अस्पष्टता (visual ambiguity), और (2) स्थानिक बहु-मोडालिटी (spatial multi-modality), जहाँ इंटरलॉकिंग इंटरफेस के लिए कई स्थानीय रूप से वैध लेकिन अलग-अलग असेंबली पोज़ मौजूद होते हैं। वर्तमान समाधान अक्सर स्पष्ट काइनेमैटिक अवस्थाओं (जो धारणा शोर के प्रति संवेदनशील हैं) या अंतर्निहित लक्ष्य छवियों (जो भौतिक रूप से ग्राउंड करना कठिन है) पर निर्भर करते हैं, जो टाइट-क्लियरेंस असेंबली परिदृश्यों में रोबोटों को मजबूत मार्गदर्शन प्रदान करने में विफल रहते हैं।

कार्यप्रणाली

यह शोध पत्र BRICKCRAFT प्रस्तुत करता है, जो एक कंपोजिशनल फ्रेमवर्क है जिसे डिजिटल ब्रिक डिजाइनों को भौतिक उत्पादों में बदलने के लिए डिज़ाइन किया गया है। यह तीन विशिष्ट चरणों के माध्यम से कार्य करता है:

1. कौशल-उन्मुख असेंबली तर्क (Skill-Oriented Assembly Reasoning)

BRICKCRAFT दीर्घ-क्षितिज असेंबली कार्यों को एक असेंबली-बाय-डिसाsembly रणनीति का उपयोग करके क्रियाशील उप-लक्ष्यों (subgoals) के अनुक्रम में विभाजित करता है।

सापेक्ष सूत्रीकरण (Relative Formulation): पूर्ण पोज़ के बजाय, प्रत्येक असेंबली चरण को एक टुपल $(b_{ref}, b_{tgt}, \tau)$ द्वारा परिभाषित किया जाता है, जहाँ एक लक्ष्य ब्रिक ( $b_{tgt}$ ) को मौजूदा आंशिक संरचना के भीतर एक संदर्भ ब्रिक ( $b_{ref}$ ) से जोड़ा जाता है।
ज्यामितीय कार्य एन्कोडिंग (Geometric Task Encoding): सापेक्ष स्थानिक संबंध को एक 4D वेक्टर $\tau = [\tau_x, \tau_y, \tau_z, \tau_\theta]$ द्वारा पैरामीटराइज किया जाता है, जो स्टड यूनिट्स में डिस्क्रीट स्थानिक ऑफसेट्स और सापेक्ष प्लेनर ओरिएंटेशन का प्रतिनिधित्व करता है। यह सूत्रीकरण विविध असेंबली कार्यों को पुन: प्रयोज्य प्रिमिटिव स्किल्स के एक सीमित सेट में एब्स्ट्रैक्ट करता है।
खोज एल्गोरिदम (Search Algorithm): एक डेप्थ-फर्स्ट सर्च (DFS) लक्ष्य अवस्था से व्यवहार्य डिसअसेंबली पथों की खोज करता है, और चार मानदंडों के विरुद्ध उम्मीदवार चालों को मान्य करता है: कनेक्टिविटी ( $C_{con}$ ), ऑब्जर्वेबिलिटी ( $C_{obs}$ ), ऑपरेबिलिटी ( $C_{op}$ ), और स्टेबिलिटी ( $C_{stab}$ )।

2. असेंबली इंटेंट ग्राउंडिंग (स्थित मैनुअल - Situated Manuals)

सिंबोलिक योजनाओं और भौतिक निष्पादन के बीच के अंतर को पाटने के लिए, यह फ्रेमवर्क situated manuals पेश करता है। यह रणनीति वास्तविक समय के रोबोट अवलोकन पर अमूर्त असेंबली इरादों को प्रोजेक्ट करती है ताकि स्पष्ट स्थानिक मार्गदर्शन प्रदान किया जा सके।

विजुअल रेफरेंस जनरेशन: एक सिमुलेशन इंजन (Blender) असेंबली की अपेक्षित अवस्था को रेंडर करता है, जो वैश्विक संरचना और विशिष्ट संदर्भ ब्रिक के लिए एक फोटोयलिस्टिक छवि और सिमेंटिक मास्क उत्पन्न करता है।
फिजिकल एंटिटी सेगमेंटेशन: एक फाइन-ट्यून्ड YOLOv8-seg मॉडल भौतिक कार्यक्षेत्र को सेगमेंट करता है ताकि असेंबल की गई संरचना, ग्रिपर और लक्ष्य ब्रिक की पहचान की जा सके।
मास्क अलाइनमेंट और ट्रैकिंग: एक एफाइन ट्रांसफॉर्मेशन सिमुलेटेड रेफरेंस मास्क को फिजिकल ऑब्जर्वेशन के साथ संरेखित करता है। एक ट्रैकिंग मॉड्यूल (SAM 2) इन मास्क की टेम्पोरल कंसिस्टेंसी बनाए रखता है।
विजुअल ऑग्मेंटेशन: सिस्टम ट्रैक किए गए रेफरेंस मास्क को रॉ कैमरा फीड पर ओवरले करके एक "situated manual" बनाता है। सक्रिय मास्क के बाहर के क्षेत्रों को ग्रेडिएंट ट्रांजिशन के साथ मंद (25% ब्राइटनेस तक कम) कर दिया जाता है, जिससे एक स्पॉटलाइट प्रभाव पैदा होता है जो कार्य-प्रासंगिक संस्थाओं को उजागर करता है और विजुअल डिस्ट्रैक्टर्स को दबा देता है।

3. कंपोजिशनल विज़ुओमोटर निष्पादन (Compositional Visuomotor Execution)

निष्पादन पाइपलाइन situated manuals के मार्गदर्शन में सीखे गए विज़ुओमोटर स्किल्स को जोड़ती है।

पॉलिसी आर्किटेक्चर: असेंबली स्किल को ड्यूल-व्यू विजुअल ऑब्जर्वेशन (जो situated manual के साथ ऑगमेंटेड है), प्रोप्रियोसेप्टिव स्टेट, और टास्क एन्कोडिंग $\tau$ पर आधारित एक डिफ्यूजन पॉलिसी (Diffusion Policy) के रूप में तैयार किया गया है।
इनपुट मोडैलिटीज: अवलोकनों में वर्कस्पेस और रिस्ट कैमरा व्यू, एंड-इफेक्टर पोज़, ग्रिपर स्टेट, और जॉइंट टॉर्क से अनुमानित 3D एक्सटर्नल फोर्सेस शामिल हैं ताकि कॉन्टैक्ट अवेयरनेस को बढ़ाया जा सके।
स्किल चेनिंग: दीर्घ-क्षितिज कार्यों को पिक और असेंबली स्किल्स के एक अनुक्रम के रूप में निष्पादित किया जाता है: $\{S^{(1)}_{pick} \rightarrow S^{(1)}_{asm} \rightarrow \dots \rightarrow S^{(N)}_{asm}\}$ ।
सत्यापन (Verification): त्रुटियों के संचय को रोकने के लिए प्री- और पोस्ट-कंडीशन भौतिक अवस्था और सिंबोलिक प्लान के बीच लक्ष्य दृश्यता, काइनेमैटिक व्यवहार्यता और ज्यामितीय निरंतरता को सत्यापित करते हैं।

मुख्य योगदान

BRICKCRAFT फ्रेमवर्क: एक कंपोजिशनल फ्रेमवर्क जो दीर्घ-क्षितिज इंटरलॉकिंग ब्रिक असेंबली के लिए कार्य तर्क को निष्पादन से अलग करता है।
सापेक्ष कार्य सूत्रीकरण (Relative Task Formulation): एक अभिनव दृष्टिकोण जो विभिन्न असेंबली कार्यों को सापेक्ष ज्यामितीय एन्कोडिंग के माध्यम से संदर्भ ब्रिक्स से जोड़कर उन्हें प्रिमिटिव स्किल्स के एक सीमित सेट में मैप करता है।
Situated Manuals: एक रणनीति जो सिंबोलिक इरादों को वास्तविक समय के अवलोकनों में ग्राउंड करती है, जिससे कार्य-प्रासंगिक संस्थाओं को सेगमेंट और हाइलाइट किया जाता है, जो प्रभावी रूप से विजुअल अस्पष्टता को हल करती है और स्पष्ट स्थानिक मार्गदर्शन प्रदान करती है।
अनुभवजन्य सत्यापन (Empirical Validation): अनदेखी संरचनाओं के लिए मजबूत कंपोजिशनल जनरलाइजेशन प्रदर्शित करने वाले व्यापक वास्तविक दुनिया के प्रयोग।

प्रयोगात्मक परिणाम

इस फ्रेमवर्क का मूल्यांकन LEGO Duplo ब्रिक्स का उपयोग करके Kinova Gen3 आर्म और Robotiq ग्रिपर पर किया गया।

डेटासेट: 60+ कॉन्फ़िगरेशन में 692 प्रदर्शन प्रक्षेपवक्र (demonstration trajectories), जिन्हें situated manual पाइपलाइन के साथ ऑगमेंट किया गया है।
सिंगल-स्टेप प्रदर्शन: BRICKCRAFT ने 48 अलग-अलग संरचनाओं (24 देखी गई, 24 अनदेखी) पर 240 परीक्षणों में 86.25% सफलता दर प्राप्त की।
- इसने बेसलाइन्स: Goal Image-Conditioned Diffusion Policy (GI-DP) और Goal Image-Conditioned $\pi_0.5$ (GI- $\pi_0.5$ ) को काफी पीछे छोड़ दिया।
- GI-DP अनदेखी संरचनाओं पर 12.5–15.0% प्रदर्शन गिरावट का शिकार हुआ, जबकि GI- $\pi_0.5$ 50% सफलता दर से नीचे ही रहा।
- EigenCAM विज़ुअलाइज़ेशन ने पुष्टि की कि situated manuals ज्यामितीय संबंधों पर विजुअल अटेंशन को केंद्रित करते हैं, जबकि बेसलाइन्स में डिस्ट्रैक्टर्स के प्रति संवेदनशील बिखरे हुए एक्टिवेशन देखे गए।
लॉन्ग-होरिज़न प्रदर्शन: सिस्टम ने चार अलग-अलग संरचनाओं (पिरामिड, सीढ़ियाँ, घर, किला) के लिए असेंबली कार्यों को सफलतापूर्वक पूरा किया, जिसमें "किला" (Castle) भी शामिल है जो प्रशिक्षण के दौरान पूरी तरह से अनदेखा था।
- पूरी तरह से समर्थित संरचनाओं (पिरामिड, सीढ़ियाँ) के लिए पूर्णता दर उच्च थी, लेकिन अनसपोर्टेड मिडिल रीजन वाली संरचनाओं (घर, किला) के लिए संचित त्रुटियों और संरचनात्मक विरूपण के कारण इसमें थोड़ी गिरावट देखी गई।
एब्लेशन स्टडीज: Situated manuals के लिए बैकग्राउंड डिमिंग रणनीति ने बाउंडिंग बॉक्स विकल्पों की तुलना में 10–12.5% बेहतर प्रदर्शन किया, जो बताता है कि स्मूथ ट्रांजिशन कृत्रिम किनारों की तुलना में ज्यामितीय कंटूर को बेहतर तरीके से संरक्षित करते हैं।

महत्व और दावे

यह शोध पत्र दावा करता है कि BRICKCRAFT जटिल असेंबली कार्यों के लिए उच्च-स्तरीय सिमेंटिक रीजनिंग को भौतिक निष्पादन में ग्राउंड करने की महत्वपूर्ण बाधा को संबोधित करता है। Situated manuals पेश करके, फ्रेमवर्क स्वाभाविक रूप से दोहराव वाली ज्यामितीय संरचनाओं में निहित विजुअल अस्पष्टता को प्रभावी ढंग से हल करता है, जिससे रोबोट सीमित प्रदर्शनों से सीख सकते हैं और नई, अनदेखी कॉन्फ़िगरेशन में सामान्यीकरण कर सकते हैं।

लेखक इस बात पर जोर देते हैं कि हालांकि व्यक्तिगत कौशल कुशल हैं, लेकिन कंपोजिशनल निष्पादन पाइपलाइन दीर्घ-क्षितिज विश्वसनीयता के लिए आवश्यक है। फ्रेमवर्क प्रदर्शित करता है कि जटिल कार्यों को सापेक्ष, पुन: प्रयोज्य प्रिमिटिव्स में तोड़ना, स्पष्ट स्थानिक मार्गदर्शन के साथ मिलकर, जटिल, वास्तविक दुनिया के परिवेश में काम करने में सक्षम इंटेलिजेंट एम्बोडीड सिस्टम (embodied systems) के लिए एक व्यवहार्य मार्ग प्रदान करता है। यह कार्य सुझाव देता है कि सिंबोलिक रीजनिंग को स्थानिक रूप से ग्राउंडेड परमाणु कौशल (atomic skills) के साथ जोड़ना व्यापक हेरफेर परिदृश्यों में मजबूत एजेंटों को तैनात करने के लिए एक आशाजनक दिशा है, हालांकि वर्तमान प्रणाली इंटरलॉकिंग ब्रिक असेंबली तक सीमित है और विफलता रिकवरी के लिए रिएक्टिव सेल्फ-करेक्शन क्षमताओं का अभाव है।