🤖 AI

CostNav: A Navigation Benchmark for Real-World Economic-Cost Evaluation of Physical AI Agents

यह शोध पत्र CostNav प्रस्तुत करता है, जो पहला भौतिकी-आधारित (physics-grounded) नेविगेशन बेंचमार्क है जो वास्तविक दुनिया के आर्थिक डेटा का उपयोग करके स्वायत्त एजेंटों का मूल्यांकन करता है ताकि यह प्रकट किया जा सके कि वर्तमान विधियाँ, हार्डवेयर और आर्किटेक्चर में भिन्न होने के बावजूद, नकारात्मक योगदान मार्जिन (negative contribution margins) के कारण आर्थिक व्यवहार्यता प्राप्त करने में विफल रहती हैं।

मूल लेखक: Haebin Seong, Sungmin Kim, Yongjun Cho, Myunchul Joe, Geunwoo Kim, Yubeen Park, Sunhoo Kim, Yoonshik Kim, Suhwan Choi, Jaeyoon Jung, Jiyong Youn, Jinmyung Kwak, Sunghee Ahn, Jaemin Lee, Younggil Do, S

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haebin Seong, Sungmin Kim, Yongjun Cho, Myunchul Joe, Geunwoo Kim, Yubeen Park, Sunhoo Kim, Yoonshik Kim, Suhwan Choi, Jaeyoon Jung, Jiyong Youn, Jinmyung Kwak, Sunghee Ahn, Jaemin Lee, Younggil Do, Seungyeop Yi, Woojin Cheong, Minhyeok Oh, Minchan Kim, Seongjae Kang, Samwoo Seong, Youngjae Yu, Yunsung Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक शानदार, सुपर-स्मार्ट रोबोट डिलीवरी ड्राइवर बनाया है। लैब में, यह रोबोट एक सितारा है: यह कभी रास्ता नहीं भटकता, हमेशा सबसे छोटा रास्ता खोज लेता है, और अपने 99% पैकेज सफलतापूर्वक डिलीवर करता है। वैज्ञानिक खुशी से चिल्ला रहे हैं, "बहुत बढ़िया काम! यह रोबोट दुनिया के लिए तैयार है!"

लेकिन फिर, जब आप वास्तव में इसे एक असली शहर में इस्तेमाल करने की कोशिश करते हैं, तो आप एक हफ्ते में ही दिवालिया हो जाते हैं। क्यों? क्योंकि जबकि वह रोबोट दरवाजा खोजने में तो बेहतरीन था, लेकिन वह दरवाजे को तोड़ने, कॉफी गिराने, या पैदल चलने वालों को डराने में बहुत बुरा था।

यही वह समस्या है जिसे CostNav हल करता है।

समस्या: "सफलता दर" का जाल

वर्षों से, शोधकर्ता रोबोट नेविगेशन का परीक्षण एक साधारण स्कोरकार्ड का उपयोग करके कर रहे हैं: "क्या वह वहां पहुँचा?"

हाँ? = 10 अंक।
नहीं? = 0 अंक।

पेपर का तर्क है कि यह एक टैक्सी ड्राइवर को केवल इस आधार पर आंकने जैसा है कि क्या वह हवाई अड्डे तक पहुँचा, यह नजरअंदाज करते हुए कि क्या उसने किसी फूलों के गमले को कुचल दिया, किसी पैदल यात्री को डराया, या इतनी लापरवाही से गाड़ी चलाई कि यात्री बीमार हो गया। वास्तविक दुनिया में, वहाँ पहुँचना ही काफी नहीं है; आपको वहाँ 'लाभकारी' तरीके से पहुँचना होगा।

समाधान: CostNav (रोबोट्स के लिए "बिजनेस स्कूल")

लेखकों ने एक नया परीक्षण बनाया जिसे CostNav कहा जाता है। केवल यह पूछने के बजाय कि "क्या वह पहुँच गया?", वे पूछते हैं: "क्या इस रोबोट ने पैसा कमाया?"

उन्होंने एक हाई-टेक सिमुलेशन बनाया (एक वीडियो गेम की दुनिया जो बिल्कुल वास्तविक जीवन जैसी महसूस होती है) जहाँ हर टक्कर, हर बिखराव और देरी का हर सेकंड वास्तव में पैसे खर्च करता है।

सिमुलेशन कैसे काम करता है (रूपक)

CostNav को रोबोट्स के लिए एक वित्तीय स्ट्रेस टेस्ट के रूप में सोचें। यहाँ बताया गया है कि वे "स्कोर" की गणना कैसे करते हैं:

"पॉपकॉर्न गिरने" का कारक:
सिमुलेशन में, रोबोट पॉपकॉर्न का एक बैग ले जा रहा है। यदि रोबोट बहुत तेजी से मुड़ता है या किसी झटके से टकराता है, तो पॉपकॉर्न गिर जाता है।
- पुराना बेंचमार्क: "यह पहुँच गया! सफलता!"
- CostNav: "यह पहुँच तो गया, लेकिन खाना खराब हो गया। आपको ग्राहक को रिफंड देना होगा। माइनस $30।"
"बम्पर कार" टैक्स:
यदि रोबोट किसी कूड़ेदान या मेलबॉक्स से टकराता है, तो सिमुलेशन केवल "ओह्स" नहीं कहता। सिमुलेशन वास्तविक दुनिया की मरम्मत लागत के आधार पर नुकसान की गणना करता है।
- पुराना बेंचमार्क: "टक्कर हुई। फिर से प्रयास करें।"
- CostNav: "आपने मेलबॉक्स को टक्कर मारी। यह $50 का मरम्मत बिल** और संभावित पैदल यात्री चोट के लिए **$ 200 की लायबिलिटी फीस है।"
"समय ही पैसा है" की घड़ी:
यदि रोबोट बहुत अधिक समय लेता है, तो ग्राहक को रिफंड मिल जाता है।
- पुराना बेंचमार्क: "इसमें 20 मिनट लगे। फिर भी यह एक सफलता है।"
- CostNav: "यह देर से पहुँचा। राजस्व (Revenue) = $0।"

बड़ी हैरानी: "स्मार्ट" रोबोट्स हार गए

शोधकर्ताओं ने इस सिमुलेशन में 7 अलग-अलग प्रकार के रोबोट्स का परीक्षण किया (कुछ पुराने नियमों का उपयोग करने वाले, कुछ AI लर्निंग का)।

परिणाम?
हर एक रोबोट ने पैसे गंवाए।

जो रोबोट केवल गंतव्य तक पहुँचने के मामले में सबसे "सफल" था, उसने अभी भी प्रति डिलीवरी लगभग $27 का नुकसान किया।
सबसे खराब प्रदर्शन करने वाले रोबोट ने प्रति डिलीवरी लगभग $47 का नुकसान किया।

क्यों?
क्योंकि रोबोट बाधाओं से बचने पर इतने केंद्रित थे कि वे बहुत धीरे चले, या वे इतनी अनिश्चितता से चले कि उन्होंने खाना गिरा दिया। वे "किसी चीज़ से न टकराने" का खेल खेल रहे थे, लेकिन असली खेल "मुनाफा कमाने" का है।

विजेता (एक तरह से)

सबसे अच्छा प्रदर्शन करने वाला एक रोबोट था जिसका नाम CANVAS था।

इसने LiDAR जैसे महंगे, भारी सेंसर का उपयोग नहीं किया (जिसकी कीमत हजारों डॉलर होती है)।
इसने केवल एक मानक कैमरा और GPS का उपयोग किया।
यह "कॉमन-सेंस" स्मार्ट था, जिसका अर्थ है कि इसे पता था कि बिना घबराए व्यस्त फुटपाथ पर कैसे नेविगेट करना है।
परिणाम: इसने सबसे कम पैसा गंवाया ($27.36 प्रति रन), लेकिन फिर भी इसने पैसे गंवाए।

मुख्य सीख: इसका आपके लिए क्या मतलब है

यह पेपर टेक जगत के लिए एक चेतावनी है।

पुराना तरीका: "देखो हमारा रोबोट कितना तेज़ है! देखो इसने कितने कार्य पूरे किए!"
नया तरीका (CostNav): "बॉटम लाइन देखें। रोबोट को ठीक करने में कितना खर्च आया? हमने कितने रिफंड दिए? क्या यह व्यवसाय वास्तव में व्यवहार्य है?"

उपमा:
कल्पना कीजिए कि आप एक डिलीवरी ड्राइवर को काम पर रख रहे हैं।

बेंचमार्क A बताता है: "यह ड्राइवर 100% समय समय पर पहुँचा!"
CostNav बताता है: "यह ड्राइवर समय पर पहुँचा, लेकिन यह इतनी तेज़ गाड़ी चला रहा था कि विंडशील्ड में दरार आ गई, सूप गिर गया, और एक पैदल यात्री डर गया। यात्रा की कुल लागत $50 थी, लेकिन हमने ग्राहक से केवल$ 5 लिए। हम हर यात्रा पर पैसा गंा रहे हैं।"

निष्कर्ष

CostNav उन शोधकर्ताओं को रोकने का एक उपकरण है जो ऐसे रोबोट बना रहे हैं जो "तकनीकी रूप से पूर्ण" हैं लेकिन "आर्थिक रूप से विनाशकारी" हैं। यह उन्हें ऐसे रोबोट डिजाइन करने के लिए मजबूर करता है जो केवल स्मार्ट नेविगेटर ही नहीं, बल्कि स्मार्ट बिजनेस पार्टनर भी हों।

जब तक कोई रोबोट CostNav टेस्ट पास नहीं कर लेता (जहाँ वह वास्तव में मुनाफा कमाता है), हम शायद उन्हें लैब में कितने भी "कूल" दिखने के बावजूद, वास्तविक दुनिया में अपना पिज्जा या किराने का सामान डिलीवर करते हुए नहीं देखेंगे।

यहाँ शोध पत्र "CostNav: A Navigation Benchmark for Real-World Economic-Cost Evaluation of Physical AI Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एम्बोडीड एआई एजेंटों (जैसे, डिलीवरी रोबोट) के लिए वर्तमान नेविगेशन बेंचमार्क मुख्य रूप से कार्य-उन्मुख मेट्रिक्स (task-oriented metrics) पर ध्यान केंद्रित करते हैं, जैसे कि सफलता दर (success rate), टकराव दर (collision rate), पथ की लंबाई (path length), और लक्ष्य तक पहुँचने में लगा समय (time-to-goal)। जबकि ये मेट्रिक्स तकनीकी नेविगेशन क्षमता का मूल्यांकन करते हैं, वे वास्तविक दुनिया के व्यावसायिक परिनियोजन (commercial deployment) के लिए आवश्यक आर्थिक व्यवहार्यता (economic viability) को संबोधित करने में विफल रहते हैं।

मौजूदा शोध में पहचाने गए प्रमुख अंतराल इस प्रकार हैं:

छिपी हुई लागतों की उपेक्षा (Neglect of Hidden Costs): पारंपरिक बेंचमार्क टकरावों को बाइनरी विफलता (binary failures) के रूप में देखते हैं, जो मामूली प्रभावों, कार्गो क्षति (जैसे कंपन/जर्क के कारण भोजन का खराब होना), और यांत्रिक घिसावट की सूक्ष्म लागतों की अनदेखी करते हैं।
राजस्व मॉडलिंग का अभाव (Lack of Revenue Modeling): वे टाइमआउट, रिफंड, या सेवा-स्तर समझौते (SLA) के उल्लंघन के कारण होने वाले राजस्व नुकसान को ध्यान में नहीं रखते हैं।
व्यावसायिक वास्तविकता से विच्छेद (Disconnect from Business Reality): ऐसा कोई ढांचा नहीं है जिससे यह निर्धारित किया जा सके कि क्या एक नेविगेशन पॉलिसी लाभ उत्पन्न कर सकती है या अपने पूंजीगत निवेश (CAPEX) की वसूली कर सकती है।
सेंसर ट्रेड-ऑफ (Sensor Trade-offs): मौजूदा बेंचमार्क यह मात्रात्मक रूप रूप से निर्धारित नहीं करते हैं कि कुल स्वामित्व लागत (total cost of ownership) को देखते हुए महंगे सेंसर सूट (जैसे, LiDAR) सस्ते विकल्पों (जैसे, RGB कैमरे) की तुलना में आर्थिक रूप से कितने न्यायसंगत हैं।

2. कार्यप्रणाली: CostNav फ्रेमवर्क (Methodology: The CostNav Framework)

CostNav एक भौतिकी-आधारित आर्थिक बेंचमार्क (physics-grounded economic benchmark) पेश करता है जो व्यापक लागत-राजस्व विश्लेषण के माध्यम से नेविगेशन नीतियों का मूल्यांकन करता है। यह उच्च-सटीकता वाले सिमुलेशन के लिए NVIDIA Isaac Sim का उपयोग करता है और वास्तविक दुनिया के अर्थशास्त्र को मॉडल करने के लिए उद्योग-मानक डेटा (SEC फाइलिंग, चोट की रिपोर्ट) को एकीकृत करता है।

A. सिमुलेशन वातावरण (Simulation Environment)

प्लेटफॉर्म: NVIDIA Isaac Sim, जिसमें PhysX 5 और Newton इंजन शामिल हैं।
भौतिक सटीकता (Physics Fidelity): ज्यामितीय सिम्युलेटरों के विपरीत, CostNav रिजिड बॉडी डायनेमिक्स, पार्टिकल सिस्टम (तरल/दानेदार कार्गो के लिए), और कोलिजन इम्पल्स (collision impulses) का अनुकरण करता है।
एजेंट: Segway E1 डिलीवरी रोबोट मॉडल।
परिदृश्य (Scenarios): गतिशील पैदल यात्रियों, स्थिर बाधाओं (मेलबॉक्स, बोलार्ड्स), और विभिन्न घनत्वों वाले शहरी फुटपाथ वातावरण।
कार्गो डायनेमिक्स: अत्यधिक जर्क या कंपन के कारण होने वाले भोजन के खराब होने को मापने के लिए "पॉपकॉर्न" डिलीवरी का अनुकरण करता है, न कि केवल टकरावों का।

B. आर्थिक मॉडल (Economic Model)

फ्रेमवर्क प्रत्येक रन के लिए लाभ ( $P$ ) की गणना निम्नलिखित सूत्र का उपयोग करके करता है:
$P = R - (C_{CAPEX} + C_{OPEX} \times N)$
जहाँ $R$ राजस्व है, $C_{CAPEX}$ अग्रिम पूंजीगत व्यय है, $C_{OPEX}$ प्रति रन परिचालन लागत है, और $N$ डिलीवरी की संख्या है।

1. पूंजीगत व्यय (Capital Expenditure - CAPEX):

हार्डवेयर: रोबोट चेसिस, कंप्यूट, सेंसर (LiDAR, GPS, कैमरे)।
डेटा संग्रह: लर्निंग-आधारित विधियों के लिए प्रशिक्षण डेटा एकत्र करने की श्रम लागत।

2. प्रति रन परिचालन व्यय (Operational Expenditure - OPEX):

बिजली: सिम्युलेटेड पावर ड्रॉ और अमेरिकी वाणिज्यिक दरों से प्राप्त।
मरम्मत लागत: कोलिजन इम्पल्स ( $\Delta v$ ) और भौतिक सहायता घटनाओं के आधार पर, जिसे रोबोट के जीवनकाल और मरम्मत दरों द्वारा स्केल किया गया है।
सेवा मुआवजा: विफल डिलीवरी (टाइमआउट) या क्षतिग्रस्त कार्गो (खराब होने) के लिए रिफंड।
पैदल यात्री सुरक्षा: एब्रिविएटेड इंजरी स्केल (AIS) और कोलिजन डेल्टा-वी ( $\Delta v$ ) का उपयोग करके अनुमानित देयता लागत (liability costs), जिसे रोबोट के वजन बनाम मानक वाहन क्रैश डेटा के आधार पर समायोजित किया गया है।
संपत्ति का नुकसान: शहरी बुनियादी ढांचे (मेलबॉक्स, कांच, बोलार्ड्स) को नुकसान पहुँचाने की लागत।

3. मुख्य मेट्रिक्स:

योगदान मार्जिन (Contribution Margin): प्रति रन राजस्व घटा परिचालन लागत।
ब्रेक-ईवन पॉइंट (BEP): CAPEX की वसूली के लिए आवश्यक डिलीवरी की संख्या। यदि योगदान मार्जिन नकारात्मक है, तो BEP परिभाषित नहीं है (आर्थिक रूप से अव्यवहार्य)।

3. प्रमुख योगदान (Key Contributions)

प्रथम भौतिकी-आधारित आर्थिक बेंचमार्क: CostNav पहला बेंचमार्क है जो अनुसंधान मेट्रिक्स और व्यावसायिक व्यवहार्यता के बीच के अंतर को मात्रात्मक रूप से उजागर करने के लिए उद्योग-मानक नियामक (AIS) और वित्तीय (SEC) डेटा का उपयोग करता है।
उच्च-सटीकता मैपिंग (High-Fidelity Physics-to-Economy Mapping): यह भौतिक अंतःक्रियाओं (कोलिजन इम्पल्स, जर्क) को सीधे मौद्रिक लागतों (चोट की देयता, कार्गो खराब होना, मरम्मत) में परिवर्तित करता है, जो बाइनरी सफलता/विफलता से आगे बढ़ता है।
व्यापक बेसलाइन मूल्यांकन: लेखकों ने एक एकीकृत वातावरण में 7 नेविगेशन विधियों (2 नियम-आधारित, 5 लर्निंग-आधारित) का मूल्यांकन किया, जो इन दृष्टिकोणों का पहला तुलनात्मक आर्थिक विश्लेषण प्रदान करता है।
ओपन-सोर्स रिलीज: यह बेंचमार्क, जिसमें सिमुलेशन परिदृश्य, लागत मॉडल, प्रशिक्षण कोड और मूल्यांकन उपकरण शामिल हैं, लाभ-संचालित अनुकूलन को प्रोत्साहित करने के लिए पूरी तरह से ओपन-सोर्स है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 100 शहरी फुटपाथ डिलीवरी एपिसोड पर 7 बेसलाइनों का मूल्यांकन किया:

नियम-आधारित (Rule-Based): Nav2 AMCL (LiDAR) के साथ और Nav2 GPS के साथ।
लर्निंग-आधारित (Learning-Based): GNM, ViNT, NoMaD, NavDP, और CANVAS (केवल RGB)।

मुख्य निष्कर्ष:

कोई आर्थिक व्यवहार्यता नहीं: मूल्यांकित की गई कोई भी विधि वर्तमान में आर्थिक रूप से व्यवहार्य नहीं है। सभी का नकारात्मक योगदान मार्जिन रहा, जिसका अर्थ है कि प्रत्येक डिलीवरी संचयी घाटे को बढ़ाती है।
- सबसे खराब प्रदर्शन करने वाला: ViNT ( $-\$ 47.38$/रन)।
- सबसे अच्छा प्रदर्शन करने वाला: CANVAS ( $-\$ 27.36$/रन)।
CANVAS, LiDAR को पछाड़ता है: सबसे अच्छा प्रदर्शन करने वाली विधि, CANVAS, केवल एक RGB कैमरे और GPS का उपयोग करती है। इसने 70% SLA अनुपालन दर प्राप्त की, जो LiDAR-युक्त Nav2 w/ GPS (46%) से बेहतर है।
- तर्क: CANVAS ने बेहतर "कॉमन सेंस" नेविगेशन प्रदर्शित किया, जिससे अनावश्यक बचाव युद्धाभ्यास (evasive maneuvers) से बचा गया जो भोजन के खराब होने का कारण बनते थे (Nav2 w/ GPS के लिए 29% स्पॉइलेज दर बनाम CANVAS के लिए 10%)।
पैदल यात्री सुरक्षा प्रमुख लागत है: सभी विधियों में, पैदल यात्री चोट की देयता लागत सबसे बड़ा OPEX घटक थी (प्रति रन $\$ 9.30 $से$ $29.89$ के बीच), जो यह रेखांकित करता है कि सुरक्षा प्राथमिक आर्थिक बाधा है।
लर्निंग-आधारित विधियाँ संघर्ष करती हैं: अधिकांश लर्निंग-आधारित विधियों (GNM, NoMaD, NavDP) में टाइमआउट के कारण लगभग शून्य (0–1%) SLA अनुपालन था, जिससे उनका कम OPEX अप्रासंगिक हो गया क्योंकि वे कोई राजस्व उत्पन्न नहीं कर पा रहे थे।

5. महत्व और प्रभाव (Significance and Impact)

पैराडाइम शिफ्ट: CostNav समुदाय को "सफलता दर" के अनुकूलन से बदलकर लाभप्रदता (profitability) के अनुकूलन की ओर जाने की चुनौती देता है। यह दर्शाता है कि ऐसी विधि जो उच्च कार्य सफलता लेकिन उच्च टकराव/स्पॉइलेज दर रखती है, वह व्यावसायिक रूप से बेकार है।
हार्डवेयर दक्षता: परिणाम बताते हैं कि यदि नेविगेशन पॉलिसी (जैसे, CANVAS) सस्ते सेंसरों के साथ गतिशील वातावरण को प्रभावी ढंग से संभाल सकती है, तो महंगे सेंसर (LiDAR) आर्थिक रूप से आवश्यक नहीं हो सकते हैं, बशर्ते कि वे महंगी त्रुटियों को कम करें।
भावी अनुसंधान दिशा: यह बेंचमार्क सुदृढीकरण सीखने (Reinforcement Learning - RL) एजेंटों के लिए एक रिवॉर्ड सिग्नल प्रदान करता है ताकि वे सीधे आर्थिक परिणामों के लिए अनुकूलन कर सकें। यह उन नीतियों के विकास का आह्वान करता है जो विशेष रूप से देयता और स्पॉइलेज लागतों को कम करती हैं, न कि केवल टकराव से बचने पर।
वास्तविक दुनिया की प्रासंगिकता: सिमुलेशन को SEC फाइलिंग और वास्तविक दुनिया के चोट डेटा के साथ जोड़कर, CostNav स्वायत्त डिलीवरी स्टार्टअप्स के लिए एक यथार्थवादी "प्री-डिप्लॉयमेंट" स्ट्रेस टेस्ट प्रदान करता है, जो इस महत्वपूर्ण प्रश्न का उत्तर देता है: "यह प्रणाली कब तक लाभदायक बनेगी?"

निष्कर्षतः, CostNav वर्तमान शैक्षणिक नेविगेशन अनुसंधान और व्यावसायिक वास्तविकता के बीच एक महत्वपूर्ण अंतर को प्रकट करता है, और यह सिद्ध करता है कि सरलीकृत कार्यों पर कार्य सफलता के लिए अनुकूलन करना, वास्तविक दुनिया के आर्थिक परिनियोजन के लिए अनुकूलन करने से मौलिक रूप से भिन्न है।