DeepInsight: A Unified Evaluation Infrastructure Across the Physical AI Stack
DeepInsight एक एकीकृत मूल्यांकन अवसंरचना है जो तीन मुख्य अमूर्तताओं (कार्य, संसाधन और परिणाम) के माध्यम से शासन विषमता (regime heterogeneity) को संरक्षित रखते हुए पूरे फिजिकल एआई स्टैक को एक एकल रनटाइम पर फैलाता है, जिससे स्केलेबल बेंचमार्किंग और क्रॉस-लेयर रिग्रेशन डायग्नोसिस सक्षम होता है जिसे खंडित, मल्टी-हार्नेस दृष्टिकोण प्राप्त नहीं कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसे छात्र को ग्रेड दे रहे हैं जो रोबोट बनने के लिए सीख रहा है। इस छात्र के पास तीन बहुत अलग "दिमाग" हैं जो एक साथ काम कर रहे हैं:
- द फिलॉसॉफर (सिस्टम 2 - द दार्शनिक): यह हिस्सा सोचता है, योजना बनाता है और निर्देशों को पढ़ता है। यह एक इंसान की तरह है जो नक्शा पढ़ रहा हो। यह धीरे काम करता है लेकिन गहराई से सोचता है।
- द एथलीट (सिस्टम 1 - एथलीट): यह हिस्सा दुनिया को देखता है और हाथ-पैर चलाता है। यह एक जिम्नास्ट की तरह है जो गेंद की ओर प्रतिक्रिया देता है। यह तेज़ काम करता है और इसे सटीक होने की आवश्यकता होती है।
- द रिफ्लेक्स (सिस्टम 0 - रिफ्लेक्स/प्रतिवर्त): यह हिस्सा रोबोट को गिरने से बचाता है। यह आपके कान के अंदरूनी हिस्से की तरह है जो आपको संतुलन बनाए रखने में मदद करता है। यह अविश्वसनीय रूप से तेज़ काम करता है, प्रति सेकंड हजारों बार।
समस्या: "फ्रेंकेंस्टीन" ग्रेडिंग सिस्टम
इस पेपर से पहले, यदि आप इस रोबोट का परीक्षण करना चाहते थे, तो आपको तीन पूरी तरह से अलग ग्रेडिंग सिस्टम का उपयोग करना पड़ता था जो आपस में बात नहीं करते थे।
- द फिलॉसॉफर का परीक्षण करने के लिए, आपने एक टेक्स्ट-आधारित क्विज़ सिस्टम का उपयोग किया।
- द एथलीट का परीक्षण करने के लिए, आपने एक वीडियो गेम फिजिक्स इंजन का उपयोग किया।
- द रिफ्लेक्स का परीक्षण करने के लिए, आपने एक हाई-स्पीड सिमुलेशन का उपयोग किया।
यदि रोबोट किसी कार्य में विफल हो जाता था, तो आप यह नहीं बता सकते थे कि क्यों। क्या फिलॉसॉफर ने गलत निर्देश दिए? क्या एथलीट ने उन्हें गलत समझा? या क्या रिफ्लेक्स गिरने से बचाने में विफल रहा? यह एक रहस्य को सुलझाने जैसा था जहाँ सुराग तीन अलग-अलग भाषाओं में लिखे गए थे, तीन अलग-अलग फाइलिंग कैबिनेट में रखे गए थे, और जासूस कभी एक-दूसरे से बात नहीं करते थे।
समाधान: डीपइनसाइट (एक सार्वभौमिक ग्रेडिंग रूम)
लेखकों ने DeepInsight बनाया है, जो एक ही "ग्रेडिंग रूम" है जो एक साथ तीनों दिमागों को संभाल सकता है। फिलॉसॉफर को एथलीट की तरह व्यवहार करने के लिए मजबूर करने के बजाय (या इसके विपरीत), DeepInsight एक सार्वभौमिक भाषा बनाता है जो उन्हें उनकी अनूठी शख्सियत खोए बिना एक साथ रहने देती है।
यह कैसे काम करता है, यहाँ तीन सरल रूपकों (metaphors) का उपयोग किया गया है:
1. "बैकपैक" (टास्क एब्स्ट्रैक्शन/कार्य अमूर्तीकरण)
कल्पना कीजिए कि रोबोट द्वारा लिया जाने वाला हर परीक्षण एक यात्री (hiker) है। कुछ यात्री एक छोटा बैकपैक ले जाते हैं (एक त्वरित टेक्स्ट प्रश्न), जबकि अन्य एक विशाल टेंट ले जाते हैं (एक जटिल भौतिक सिमुलेशन)।
- पुराना तरीका: आपको अलग-अलग यात्रियों को ले जाने के लिए अलग-अलग ट्रकों की आवश्यकता थी।
- DeepInsight का तरीका: प्रत्येक यात्री को एक मानक बैकपैक मिलता है। ट्रक (सिस्टम) को इस बात की परवाह नहीं है कि बैकपैक के अंदर क्या है; वह बस बैकपैक को ले जाता है। चाहे यात्री दार्शनिक हो या जिम्नास्ट, वे सभी एक ही ट्रक पर सवार होते हैं। यह सिस्टम को बिना किसी भ्रम के एक ही समय में एक त्वरित टेक्स्ट टेस्ट और एक धीमा भौतिक टेस्ट चलाने की अनुमति देता है।
2. "वेंडिंग मशीन" (रिसोर्स एब्स्ट्रैक्शन/संसाधन अमूर्तीकरण)
कुछ परीक्षण महंगे और धीमे होते हैं (जैसे सुपरकंप्यूटर के सोचने का इंतज़ार करना), जबकि अन्य तेज़ और सस्ते होते हैं।
- पुराना तरीका: मुख्य प्रबंधक खुद सब कुछ करने की कोशिश करता था। यदि वह एक धीमे कंप्यूटर के इंतज़ार में फंस जाता था, तो वह कोई और काम नहीं कर पाता था। पूरी लाइन रुक जाती थी।
- DeepInsight का तरीका: DeepInsight वेंडिंग मशीनों का उपयोग करता है। मुख्य प्रबंधक बस एक "सोचने वाली मशीन" या "फिजिक्स मशीन" माँगने के लिए बटन दबाता है। वेंडिंग मशीन पर्दे के पीछे के जटिल, धीमे या महंगे हिस्सों को संभाल लेती है। प्रबंधक स्वतंत्र और तेज़ रहता है, वह केवल तभी संपर्क करता है जब उसे परिणाम की आवश्यकता होती है। इसका मतलब है कि सिस्टम कभी भी किसी धीमी प्रक्रिया के इंतज़ार में अटका नहीं रहता।
3. "एकल कहानी पुस्तक" (रिजल्ट एब्स्ट्रैक्शन/परिणाम अमूर्तीकरण)
- पुराना तरीका: फिलॉसॉफर अपनी डायरी में नोट्स लिखता था, एथलीट अपने स्केचबुक में चित्र बनाता था, और रिफ्लेक्स दिल की धड़कनों का लॉग रखता था। यदि रोबोट गिर जाता था, तो आपको गलती खोजने के लिए तीन अलग-अलग किताबों का मिलान करना पड़ता था।
- DeepInsight का तरीका: हर एक घटना—हर विचार, हर हरकत, हर धड़कन—को बिल्कुल एक ही प्रारूप में एक विशाल कहानी पुस्तक में लिखा जाता है।
- यदि रोबोट विफल होता है, तो आप कहानी पुस्तक के पन्ने पलटकर देख सकते हैं कि ठीक किस क्षण फिलॉसॉफर ने बुरा विचार दिया, एथलीट ने उसका पालन कैसे करने की कोशिश की, और रिफ्लेक्स ने उसे बचाने की कोशिश कैसे की।
- क्योंकि सब कुछ एक ही किताब में है, आप तुरंत देख सकते हैं कि श्रृंखला कहाँ टूटी। आपको अनुमान लगाने की आवश्यकता नहीं है; कहानी आपको ठीक से बताती है कि कौन सा स्तर विफल हुआ।
यह क्यों महत्वपूर्ण है
यह पेपर दिखाता है कि DeepInsight केवल एक नया उपकरण नहीं है; यह रोबोट का परीक्षण करने के बारे में सोचने का एक नया तरीका है।
- यह तेज़ है: यह मौजूदा उपकरणों की तुलना में तेज़ी से परीक्षण चलाता है क्योंकि यह लाइन में इंतज़ार करने में समय बर्बाद नहीं करता है।
- यह सटीक है: यह "फिलॉसॉफर" वाले हिस्से के लिए मौजूदा सर्वोत्तम उपकरणों के समान स्कोर प्राप्त करता है, जो यह साबित करता है कि यह नियमों को तोड़ता नहीं है।
- यह स्केलेबल है: इसे एक कंप्यूटर पर चलाया जा सकता है या बिना दोबारा ट्यून किए कई कंप्यूटरों में फैलाया जा सकता है।
- बड़ी जीत (निदान/Diagnosis): सबसे महत्वपूर्ण हिस्सा "एकल कहानी पुस्तक" है। यदि कोई रोबोट किसी जटिल कार्य में विफल होता है, तो DeepInsight आपको बता सकता है: "फिलॉसॉफर सही था, एथलीट सही था, लेकिन रिफ्लेक्स बर्फ के एक टुकड़े पर फिसल गया।" इस एकीकृत प्रणाली के बिना, आपको कभी पता नहीं चलता कि रिफ्लेक्स समस्या थी; आप इसके बजाय फिलॉसॉफर को दोष दे सकते थे।
संक्षेप में, DeepInsight पहला ऐसा सिस्टम है जो आपको एक ही समय में, एक ही स्थान पर, एक ही नोटबुक का उपयोग करके एक रोबोट के दिमाग, मांसपेशियों और संतुलन का परीक्षण करने देता है, ताकि आप अंततः समझ सकें कि वे सभी एक साथ कैसे काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।