Quantifying the Expectation-Realisation Gap for Agentic AI Systems
यह शोध पत्र सॉफ्टवेयर इंजीनियरिंग और नैदानिक डोमेन में एजेंटिक एआई (Agentic AI) प्रणालियों की तैनाती-पूर्व अपेक्षाओं और तैनाती-पश्चात वास्तविकताओं के बीच के महत्वपूर्ण अंतर को परिमाणित करता है, जो यह प्रकट करता है कि वर्कफ़्लो घर्षण और सत्यापन संबंधी बोझ अक्सर प्रत्याशित उत्पादकता लाभों को निष्प्रभावी कर देते हैं और यथार्थवादी लाभ अनुमानों के साथ संरचित नियोजन ढाँचों की आवश्यकता को अनिवार्य बनाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नई, हाई-टेक सेल्फ-ड्राइविंग कार खरीद रहे हैं। सेल्सपर्समैन वादा करता है कि यह आपके आने-जाने के समय को आधा कर देगी, बिल्कुल सही तरीके से चलेगी, और आपको पूरे रास्ते सोने देगी। आप भविष्य के लिए उत्साहित होकर इसे खरीद लेते हैं। लेकिन जब आप वास्तव में इसे चलाना शुरू करते हैं, तो आप खुद को लगातार स्टीयरिंग संभालते हुए, जीपीएस (GPS) से बहस करते हुए और कार की गलतियों को सुधारते हुए पाते हैं। समय बचाने के बजाय, आपका सफर पहले की तुलना में अधिक लंबा हो जाता है।
यह बिल्कुल वही हो रहा है जो एजेंटिक एआई (Agentic AI) (स्मार्ट कंप्यूटर प्रोग्राम जो हमारे लिए जटिल काम करने की कोशिश करते हैं) के साथ हो रहा है। सेबेस्टियन लोबेंटेंज़र का एक नया शोध पत्र जांच करता है कि क्यों एआई के बारे में "हाइप" (बढ़ा-चढ़ाकर कही गई बातें) ज़मीनी "हकीकत" से मेल नहीं खाती।
यहाँ उस शोध पत्र का सरल, रोज़मर्रा की भाषा में विवरण दिया गया है:
1. बड़ा अंतर: "उम्मीद बनाम वास्तविकता" का अंतर
शोध पत्र इसे एक्सपेक्टेशन-रियलाइजेशन गैप (Expectation–Realisation Gap) कहता है।
- वादा: कंपनियाँ और विक्रेता कहते हैं, "यह एआई आपके एक कार्य में 5 मिनट बचाएगा!" या "यह आपको 20% तेज़ बना देगा!"
- हकीकत: जब लोग वास्तव में इन टूल्स का उपयोग करते हैं, तो वे अक्सर धीमे हो जाते हैं, या बचत बहुत मामूली होती है (जैसे 30 सेकंड), या टूल ऐसी गलतियाँ करता है जिन्हें ठीक करने में खुद काम करने से भी ज़्यादा समय लगता है।
2. तीन वास्तविक दुनिया के उदाहरण ("टेस्ट ड्राइव")
शोध पत्र ने तीन अलग-अलग क्षेत्रों को देखा जहाँ एआई का उपयोग किया जा रहा है:
सॉफ्टवेयर कोडिंग (द "जूनियर मैकेनिक" समस्या):
- उम्मीद: अनुभवी प्रोग्रामर्स को लगा कि एआई उन्हें कोड लिखने में 24% तेज़ी से मदद करेगा।
- हकीकत: वे वास्तव में 19% धीमे रहे।
- क्यों? एआई ने कोड तो लिखा, लेकिन वह अक्सर त्रुटिपूर्ण (buggy) या भ्रमित करने वाला था। प्रोग्रामर्स को एआई के काम को पढ़ने, उसे डीबग करने और ठीक करने में अतिरिक्त समय बिताना पड़ा। यह एक ऐसे तेज़ लेकिन अनाड़ी सहायक को काम पर रखने जैसा था जो 5 मिनट में रिपोर्ट लिख देता है, लेकिन फिर आपको उसकी स्पेलिंग और तर्क (logic) को सुधारने में 20 मिनट खर्च करने पड़ते हैं।
- नोट: एआई ने शुरुआती लोगों को सरल कार्यों में मदद की, लेकिन जटिल, वास्तविक दुनिया के कामों में विशेषज्ञों को भ्रमित कर दिया।
मेडिकल नोट्स (द "टाइम-शिफ्टिंग" भ्रम):
- उम्मीद: डॉक्टरों को बताया गया था कि एआई "स्क्राइब्स" (scribes) सुनकर और नोट्स अपने आप टाइप करके उनके हर मरीज के दौरे से 5 मिनट बचा लेंगे।
- हकीकत: बचत अक्सर 1 मिनट से भी कम थी, या शून्य थी।
- क्यों? एआई कभी-कभी गलत मेडिकल विवरण लिख देता था। डॉक्टरों को हर वाक्य को ध्यान से जांचने के लिए रुकना पड़ता था। साथ ही, दिन के दौरान बचा हुआ समय अक्सर शाम तक चला जाता था, जहाँ डॉक्टर नोट्स को ठीक करने के लिए देर तक रुकते थे। यह बचा हुआ समय नहीं था; यह केवल स्थानांतरित किया गया समय था।
मेडिकल निर्णय (द "आत्मविश्वासी लेकिन गलत" समस्या):
- उम्मीद: एआई टूल्स ने दावा किया कि वे 80%+ सटीकता के साथ बीमारियों (जैसे सेप्सिस) की भविष्यवाणी कर सकते हैं।
- हकीकत: जब वास्तविक अस्पतालों में परीक्षण किया गया, तो सटीकता गिरकर लगभग 63% रह गई।
- क्यों? एआई का परीक्षण एक "लैब" में किया गया था जहाँ डेटा एकदम सटीक था। वास्तविक दुनिया की अव्यवस्था में, इसने दो-तिहाई बीमार मरीजों को पहचानने में चूक की। यह एक मौसम ऐप की तरह है जो सिमुलेशन में तो परफेक्ट है, लेकिन आपके वास्तविक शहर में बारिश का अनुमान लगाने में विफल रहता है।
3. ऐसा क्यों होता है? (तीन अपराधी)
शोध पत्र पहचानता है कि एआई के वादे विफल होने के तीन मुख्य कारण क्या हैं:
- "फ्रिक्शन" (घर्षण) का कारक: एआई शून्य में काम नहीं करता है। इसे आपके मौजूदा जटिल वर्कफ़्लो में फिट होना पड़ता है। यदि एआई आपके अन्य सॉफ़्टवेयर के साथ ठीक से तालमेल नहीं बिठा पाता, या यदि आपको इसे उपयोग करने के लिए पाँच अतिरिक्त बटन दबाने पड़ते हैं, तो यह 'फ्रिक्शन' आपके द्वारा बचाए गए समय को खत्म कर देता है।
- "विश्वास करें लेकिन जांचें" टैक्स (Trust but Verify Tax): आप बस एआई को काम करने के लिए छोड़कर दूर नहीं जा सकते। आपको इसके काम की जांच करनी होगी। एआई के काम को चेक करने में लगने वाला समय अक्सर उस समय को खत्म कर देता है जो एआई ने आपके लिए बचाया था।
- "एक आकार सबके लिए नहीं" का जाल (One Size Fits None Trap): एआई सभी को समान रूप से मदद नहीं करता है।
- उपमा: एक नए जीपीएस (GPS) ऐप के बारे में सोचें। एक नया ड्राइवर इसे पसंद कर सकता है और इससे वह कम रास्ता भटकेगा। लेकिन एक अनुभवी ड्राइवर, जो पहले से ही हर शॉर्टकट जानता है, उसे जीपीएस कष्टप्रद या धीमा लग सकता है।
- अध्ययनों में, एआई ने कम अनुभवी श्रमिकों की सबसे अधिक मदद की, लेकिन अक्सर उन विशेषज्ञों को धीमा कर दिया जिन्होंने पहले से ही अपनी प्रणालियों को अनुकूलित (optimize) कर लिया था।
4. समाधान: अनुमान लगाना बंद करें, मापना शुरू करें
लेखक का तर्क है कि हमें "एआई हमें तेज़ बना देगा" जैसे अस्पष्ट वादे करना बंद करना चाहिए। इसके बजाय, हमें एक संरचित योजना (जिसे "एजेंटिक ऑटोमेशन कैनवस" कहा जाता है) की आवश्यकता है।
यह योजना पूछती है:
- हम ठीक से क्या बचाने की कोशिश कर रहे हैं? (समय? पैसा? त्रुटियां?)
- वास्तव में किसे लाभ होगा? (नए कर्मचारियों को या अनुभवी लोगों को?)
- हम एआई के काम की जांच करने में कितना समय खर्च करेंगे? (इसे बचत में से घटा दें!)
- क्या होगा यदि यह विफल हो जाता है? (क्या हमारे पास कोई बैकअप प्लान है?)
निष्कर्ष
एआई एक शक्तिशाली उपकरण है, लेकिन यह जादू नहीं है। शोध पत्र चेतावनी देता है कि यदि हम केवल सेल्स पिच और "लैब परिणामों" के आधार पर एआई खरीदते रहे, तो हम निराश होते रहेंगे। एआई को सफल बनाने के लिए, हमें वास्तविक परिणामों को मापना होगा (जिसमें गलतियों को ठीक करने में लगने वाला समय भी शामिल है), और यह समझना होगा कि यह कुछ लोगों को दूसरों की तुलना में अधिक मदद करता है।
संक्षेप में: केवल इसलिए "सेल्फ-ड्राइविंग कार" न खरीदें क्योंकि ब्रोशर कहता है कि यह परफेक्ट है। इसे अपने खुद के मोहल्ले में टेस्ट ड्राइव करें, यह गिनें कि आपको स्टीयरिंग संभालने में कितना समय लगता है, और उसके बाद ही तय करें कि क्या यह इसकी कीमत के लायक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।