💻 computer science

SG-CoT: An Ambiguity-Aware Robotic Planning Framework using Scene Graph Representations

यह शोधपत्र SG-CoT को प्रस्तुत करता है, जो एक दो-चरणीय रोबोटिक प्लानिंग फ्रेमवर्क है जो सीन ग्राफ (scene graph) निरूपणों का लाभ उठाकर लार्ज लैंग्वेज मॉडल्स को पुनरावृत्ति संबंधी पूछताछ के माध्यम से पर्यावरणीय अस्पष्टताओं का पता लगाने और उन्हें हल करने में सक्षम बनाता है, जिससे एकल-एजेंट और बहु-एजेंट दोनों परिदृश्यों में प्लानिंग की सटीकता और सफलता दर में महत्वपूर्ण सुधार होता है।

मूल लेखक: Akshat Rana, Peeyush Agarwal, K. P. S. Rana, Amarjit Malhotra

प्रकाशित 2026-03-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Akshat Rana, Peeyush Agarwal, K. P. S. Rana, Amarjit Malhotra

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त रसोई में एक रोबोट शेफ हैं। आपके बॉस (उपयोगकर्ता) आपको एक निर्देश देते हैं: "मेरे लिए लाल कप लाओ।"

एक आदर्श दुनिया में, काउंटर पर केवल एक ही लाल कप है। आप उसे उठाते हैं, और आपका काम हो जाता है। लेकिन क्या होगा अगर वहां तीन लाल कप हों? या अगर वहां कोई भी लाल कप न हो? या अगर आपके बॉस कहें, "मेरे लिए कुछ खाने को लाओ," और आपके पास फ्रिज में ढेर सारे विकल्प हों?

यह अस्पष्टता (Ambiguity) की समस्या है। वर्तमान रोबोटों के दिमाग (जो लार्ज लैंग्वेज मॉडल्स, या LLMs द्वारा संचालित होते हैं) बहुत आत्मविश्वासी लेकिन थोड़े लापरवाह इंटर्न की तरह हैं। यदि उन्हें लाल कप नहीं दिखता है, तो वे बस अनुमान लगा सकते हैं, "ओह, मैं वह नीला वाला उठा लेता हूँ, यह काफी हद तक सही है!" या वे गलत लाल कप उठा सकते हैं। इससे गलतियाँ, टूटे हुए बर्तन या असुरक्षित कार्य हो सकते हैं।

प्रस्तुत शोध पत्र एक नई प्रणाली पेश करता है जिसे SG-CoT (सीन ग्राफ-चेन-ऑफ-थॉट) कहा जाता है, जो इसे ठीक करने के लिए है। यह कैसे काम करता है, इसके सरल उपमाओं के साथ विवरण यहाँ दिया गया है:

1. समस्या: "आत्मविश्वासी अनुमान"

पुराने रोबोट प्लानर्स किसी ऐसे व्यक्ति की तरह हैं जो आँखों पर पट्टी बाँधकर पहेली सुलझाने की कोशिश कर रहा है, लेकिन वे बहुत अधिक आत्मविश्वासी हैं। वे सुनते हैं "लाल कप लाओ," और भले ही वे कपों को स्पष्ट रूप से न देख पा रहे हों, वे बस एक को चुन लेते हैं और उम्मीद करते हैं कि सब ठीक होगा। उन्हें यह नहीं पता होता कि कैसे कहना है, "रुको, मुझे तीन लाल कप दिख रहे हैं; आप कौन सा चाहते हैं?"

2. समाधान: "व्यवस्थित लाइब्रेरियन" (सीन ग्राफ)

SG-CoT गेम बदल देता है क्योंकि यह रोबोट को एक सीन ग्राफ (Scene Graph) देता है।

सोचिए कि वातावरण (रसोई) केवल एक धुंधली तस्वीर नहीं है, बल्कि एक अत्यधिक व्यवस्थित डिजिटल लाइब्रेरी कार्ड कैटलॉग है।

केवल "एक कप" देखने के बजाय, यह सिस्टम एक संरचित मानचित्र बनाता है।
यह जानता है: "ऑब्जेक्ट #1 एक लाल कप है, यह मेज पर है, और यह एक नीले कटोरे के बगल में है।"
यह जानता है: "ऑब्जेक्ट #2 एक लाल कप है, यह कैबिनेट के अंदर है।"

यह मानचित्र एक विशेष कैमरा मस्तिष्क (विज़न-लैंग्वेज मॉडल) का उपयोग करके बनाया जाता है जो कमरे की हर चीज़ का सटीक विवरण और संबंध बताता है।

3. प्रक्रिया: "जासूस की नोटबुक" (चेन-ऑफ-थॉट)

एक बार जब मानचित्र बन जाता है, तो रोबोट केवल अनुमान नहीं लगाता। यह एक चेन-ऑफ-थॉट (Chain-of-Thought) प्रक्रिया का उपयोग करता है, जो एक जासूस की तरह है जो गिरफ्तारी करने से पहले अपने विचारों को नोटबुक में लिखता है।

यहाँ वह स्टेप-बाय-स्टेप लूप है जिसका SG-CoT उपयोग करता है:

सुराग पढ़ें: रोबोट को निर्देश मिलता है ("लाल कप लाओ")।
मानचित्र की जाँच करें: अनुमान लगाने के बजाय, रोबोट अपने "लाइब्रेरियन" (सीन ग्राफ) से पूछता है: "हे, मुझे सभी लाल कप दिखाओ।"
"आहा!" वाला क्षण: लाइब्रेरियन जवाब देता है: "मुझे दो लाल कप मिले: एक मेज पर, एक सिंक में।"
अस्पष्टता का एहसास: रोबोट का जासूसी दिमाग कहता है, "ओह नहीं! बॉस ने यह नहीं बताया कि कौन सा। अगर मैंने गलत कप उठाया, तो मैं असफल हो जाऊँगा।"
मदद मांगें: अंधे होकर उठाने के बजाय, रोबोट रुक जाता है और इंसान से पूछता है: "मैं दो लाल कप देख रहा हूँ। क्या आपका मतलब मेज वाले से है या सिंक वाले से?"

4. यह एक बड़ी बात क्यों है

शोध पत्र ने इसे दो परिदृश्यों में परखा:

एकल रोबोट (Solo Robot): जब एक अकेला रोबोट एक भ्रमित करने वाले कमरे का सामना करता है, तो SG-CoT पिछले तरीकों की तुलना में 4% से 15% अधिक सफल रहा क्योंकि इसने अनुमान लगाने के बजाय पूछना शुरू किया।
रोबोटों की टीम: कल्पना कीजिए कि दो रोबोट मिलकर काम कर रहे हैं, लेकिन वे कमरे का केवल आधा हिस्सा ही देख सकते हैं (जैसे दो लोग अलग-अलग खिड़कियों से देख रहे हों)। यदि रोबोट A को एक ऐसी वस्तु की आवश्यकता है जिसे वह देख नहीं सकता, तो वह SG-CoT का उपयोग करके रोबोट B से पूछता है: "हे, क्या तुम अपने तरफ के कमरे में लाल कप की जाँच कर सकते हो?" इस टीम वर्क ने उन समस्याओं को हल किया जिन्हें अन्य रोबट बिल्कुल भी नहीं संभाल सके।

निचोड़

SG-CoT ऐसा है जैसे रोबोट को एक आवर्धक लेंस (Magnifying Glass) और एक नोटबुक देना।

पुराने रोबोट: "मुझे लगता है कि मुझे एक कप दिख रहा है। मैं इसे उठा लेता हूँ!" (गलती होती है)।
SG-CoT रोबोट: "मुझे अपना मानचित्र चेक करने दें। मुझे तीन कप दिख रहे हैं। बॉस किस बारे में बात कर रहे हैं? मुझे पूछने दें।" (सफलता!)।

यह एक रोबोट को जो केवल आदेशों का आँख बंद करके पालन करता है, एक विचारशील साथी में बदल देता है जो जानता है कि कब रुकना है, तथ्यों की जाँच करनी है, और काम को सही ढंग से पूरा करने के लिए स्पष्टीकरण माँगना है।

यहाँ शोध पत्र "SG-CoT: An Ambiguity-Aware Robotic Planning Framework using Scene Graph Representations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ने रोबोटिक प्लानिंग में काफी संभावनाएं दिखाई हैं, लेकिन वे एक गंभीर सीमा से ग्रस्त हैं: अस्पष्टता (Ambiguity)। रोबots अक्सर ऐसी स्थितियों का सामना करते हैं जहाँ उपयोगकर्ता के निर्देश अपूर्ण होते हैं (जैसे, "कप उठाओ" जब वहां कई कप मौजूद हों) या जहाँ वातावरण की स्थिति अस्पष्टता पैदा करती है (जैसे, लक्षित वस्तु गायब है या छिपी हुई है)।

वर्तमान सीमाएँ: मौजूदा विधियाँ अक्सर अनिश्चितता अनुमान (uncertainty estimation) या सरल विजन-लैंग्वेज मॉडल्स (VLMs) पर निर्भर करती हैं जो उच्च-स्तरीय ऑब्जेक्ट सूचियों को आउटपुट देते हैं। ये दृष्टिकोण उन अस्पष्टताओं का पता लगाने में संघर्ष करते हैं जो केवल निर्देश के टेक्स्ट के बजाय वातावरण की स्थिति (जैसे, स्थानिक संबंध, विशिष्ट गुण) से उत्पन्न होती हैं। परिणामस्वरूप, LLMs अक्सर अत्यधिक आत्मविश्वास के साथ कार्य करते हैं, जिससे असुरक्षित या उप-इष्टतम (suboptimal) क्रियाएं होती हैं, या वे सही स्पष्टीकरण प्रश्न पूछने में विफल रहते हैं।
लक्ष्य: एक ऐसा फ्रेमवर्क विकसित करना जो LLM-आधारित प्लानर्स को दुनिया के एक संरचित प्रतिनिधित्व (structured representation) के माध्यम से तर्क करने में सक्षम बनाकर, उपयोगकर्ता निर्देशों और पर्यावरणीय अवस्थाओं से उत्पन्न होने वाली अस्पष्टताओं का पता लगाने, निदान करने और उन्हें हल करने में सक्षम बनाए।

2. कार्यप्रणाली: SG-CoT फ्रेमवर्क (Methodology: SG-CoT Framework)

लेखक सीन ग्राफ-चेन-ऑफ-थॉट (SG-CoT) का प्रस्ताव करते हैं, जो एक दो-चरणीय, पुनरावृत्ति (iterative) फ्रेमवर्क है जो संरचित सीन ग्राफ को LLM रीजनिंग के साथ एकीकृत करता है।

A. सीन ग्राफ जनरेशन (Scene Graph Generation)

असंरचित टेक्स्ट विवरणों पर निर्भर रहने के बजाय, वातावरण को एक सीन ग्राफ ( $G = (V, E)$ ) में परिवर्तित किया जाता है:

नोड्स ( $V$ ): विशिष्ट गुणों (जैसे, रंग, आकार, स्थिति जैसे is_open) के साथ पहचाने गए ऑब्जेक्ट्स का प्रतिनिधित्व करते हैं।
एजेस ( $E$ ): ऑब्जेक्ट्स के बीच अर्थपूर्ण और स्थानिक संबंधों (जैसे, left_of, inside_of) का प्रतिनिधित्व करते हैं।
निर्माण: एक विजन-लैंग्वेज मॉडल (VLM) को इमेज ऑब्जर्वेशन और डिटेक्टेड ऑब्जेक्ट्स की एक सूची से एक ही पास में इस ग्राफ को जेनरेट करने के लिए प्रॉम्प्ट किया जाता है। नियत पार्सिंग (deterministic parsing) सुनिश्चित करने के लिए आउटपुट सख्ती से JSON ऑब्जेक्ट के रूप में फॉर्मेट किया गया है।

B. पुनरावृत्ति तर्क प्रक्रिया (Iterative Reasoning Process)

LLM एक ही पास में प्लान जेनरेट नहीं करता है। इसके बजाय, यह एक पुनरावृत्ति लूप (Observation $\to$ Reasoning $\to$ Retrieval $\to$ Decision) का पालन करता है:

आरंभ (Initialization): LLM को उपयोगकर्ता निर्देश, डिटेक्टेड ऑब्जेक्ट्स की सूची, और सीन ग्राफ स्कीमा प्राप्त होता है।
रीजनिंग और टूल उपयोग (Reasoning & Tool Use): LLM एक थॉट ट्रेस ( $T_t$ $T_{t}$ ) जेनरेट करता है। यदि वह निर्धारित करता है कि अधिक जानकारी की आवश्यकता है, तो वह सीन ग्राफ को क्वेरी करने के लिए एक रिट्रीवल API फंक्शन ( $f_t$ $f_{t}$ ) को कॉल करता है।
- retrieve_node: गुणों के आधार पर ऑब्जेक्ट्स प्राप्त करता है (जैसे, "सभी लाल कटोरे खोजें")।
- retrieve_edge: संबंधों को प्राप्त करता है (जैसे, "लाल कटोरे के अंदर क्या है?")।
ग्राउंडिंग (Grounding): परिणामों ( $R_t$ ) को बातचीत के इतिहास में जोड़ा जाता है, जिससे LLM को हैलुसिनेशन के बजाय ग्राफ से प्राप्त तथ्यात्मक डेटा के आधार पर अपनी समझ को परिष्कृत करने की अनुमति मिलती है।
समाप्ति (Termination): लूप तब तक जारी रहता है जब तक कि LLM के पास या तो:
- एक निश्चित एक्शन सीक्वेंस निष्पादित करने के लिए (जैसे, pick_and_place) पर्याप्त संदर्भ हो।
- अस्पष्टता के विशिष्ट स्रोत की पहचान करने वाला एक लक्षित स्पष्टीकरण प्रश्न (clarification question) उत्पन्न करने के लिए पर्याप्त संदर्भ हो (जैसे, "क्या आपका मतलब पीले ब्लॉक से है या नीले ब्लॉक से?")।

3. मुख्य योगदान (Key Contributions)

SG-CoT फ्रेमवर्क: एक अभिनव आर्किटेक्चर जो सीन ग्राफ को पुनरावृत्ति चेन-ऑफ-थॉट रीजनिंग के साथ जोड़ता है, जिससे LLMs अस्पष्टता को हल करने के लिए पर्यावरणीय डेटा को सक्रिय रूप से क्वेरी कर सकते हैं।
औपचारिक अस्पष्टता वर्गीकरण (Formal Ambiguity Classification): यह पेपर अस्पष्टताओं को तीन अलग-अलग प्रकारों में वर्गीकृत करता है, जो पूर्व साहित्य के अंतराल को संबोधित करता है:
- अल्प-निर्धारण (Underspecification): निर्देश में संदर्भ संबंधी ग्राउंडिंग की कमी।
- पर्यावरण-प्रेरित (Environment-Induced): बहुलता (कई वैध लक्ष्य) या अनुपस्थिति (लक्ष्य गायब होना)।
- अवलोकन-स्तर (Observation-Level): मल्टी-एजेंट सिस्टम में आंशिक दृश्यता (partial observability)।
मूल्यांकन मीट्रिक (Evaluation Metric): करेक्ट क्वेश्चन रेट (CQR) का परिचय, जो विशेष रूप से यह मापने के लिए डिज़ाइन किया गया है कि क्या रोबोट अस्पष्टता के सही स्रोत की पहचान करता है और उपयुक्त स्पष्टीकरण प्रश्न पूछता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन सिम्युलेटेड टेबलटॉप वातावरण (सिंगल-एजेंट) और मल्टी-एजेंट सेटिंग्स (पार्शियल ऑब्जर्वेबिलिटी) में किया गया, जिसमें CLARA, Inner Monologue, और ProgPrompt जैसे बेसलाइन के साथ तुलना की गई।

सिंगल-एजेंट प्रदर्शन:
- SG-CoT ने अल्प-निर्धारित निर्देशों के लिए 99% की सफलता दर (SR) और पर्यावरण-स्तर की अस्पष्टताओं के लिए 86.5% (Gemini-2.5-Flash का उपयोग करके) प्राप्त की।
- इसने सिंगल-एजेंट कार्यों के लिए CQR में 10% और SR में 4% के अंतर से सर्वश्रेष्ठ बेसलाइन (Inner Monologue) को पीछे छोड़ दिया।
- एब्लेशन स्टडीज (Ablation Studies) ने पुष्टि की कि पुनरावृत्ति रिट्रीवल (iterative retrieval) महत्वपूर्ण है; पूरे ग्राफ को एक साथ प्रदान करने या एज रिलेशनशिप को हटाने से प्रदर्शन में काफी गिरावट आई।
मल्टी-एजेंट (पार्शियल ऑब्जर्वेबिलिटी):
- इंटर-रोबोट संचार (जैसे, Stack and Pass) की आवश्यकता वाले कार्यों में, SG-CoT ने 75% सफलता दर (Gemini) प्राप्त की, जो अगले सर्वश्रेष्ठ बेसलाइन से 15% सुधार है।
- फ्रेमवर्क ने रोबोट्स को ऑब्जेक्ट लोकेशन्स के बारे में हैलुसिनेशन करने के बजाय एक-दूसरे से लापता अवलोकनों के लिए क्वेरी करने में सफलतापूर्वक सक्षम बनाया।
दक्षता (Efficiency): हालांकि SG-CoT के कारण पुनरावृत्ति कॉल्स के कारण अधिक टोकन उपयोग और लेटेंसी होती है, लेकिन रीजनिंग इटरेशन की संख्या दृश्य में कुल ऑब्जेक्ट्स की संख्या के साथ रैखिक रूप से नहीं बढ़ती है, बल्कि विशिष्ट क्वेरी की जटिलता के साथ बढ़ती है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

मजबूती (Robustness): SG-CoT रोबोटिक प्लानिंग को टेक्स्ट के आधार पर "अनुमान लगाने" से बदलकर संरचित विजुअल डेटा के आधार पर "सत्यापन करने" की ओर ले जाता है। यह अस्पष्ट परिदृश्यों में हैलुसिनेशन और असुरक्षित कार्यों को काफी कम करता है।
मानव-रोबोट सहयोग: अस्पष्टता के सटीक कारण को पहचानने और विशिष्ट प्रश्न पूछने में सक्षम बनाकर, यह फ्रेमवर्क अधिक स्वाभाविक और कुशल मानव-रोबोट इंटरैक्शन की सुविधा प्रदान करता है।
स्केलेबिलिटी: यह दृष्टिकोण प्रदर्शित करता है कि संरचित प्रतिनिधित्व (सीन ग्राफ) को LLMs के साथ एकीकृत करना जटिल, आंशिक रूप से दृश्यमान मल्टी-एजेंट वातावरण में भी सामान्यीकरण योग्य रोबोटिक प्लानिंग के लिए एक व्यवहार्य मार्ग है।

सीमाएँ: वर्तमान प्रणाली प्रारंभिक ग्राफ निर्माण के लिए VLMs पर निर्भर करती है, जो त्रुटियां (हैल्यूसिनेटेड एजेस) पेश कर सकती है। इसके अतिरिक्त, यह विधि वर्तमान में सिमुलेशन-आधारित है, और दृश्य की जटिलता के साथ टोकन लागत बढ़ जाती है। भविष्य के कार्य का लक्ष्य इसे वास्तविक दुनिया के एम्बोडीड AI कार्यों तक विस्तारित करना है।