STOCKTAKE: Measuring the Gap Between Perception and Action in LLM Agents with a Fair Oracle
यह शोध पत्र STOCKTAKE को प्रस्तुत करता है, जो एक 26-सप्ताह का आपूर्ति-श्रृंखला बेंचमार्क है जिसमें एक निष्पक्ष ओरेकल (oracle) शामिल है जो अवस्था अनुमान (state estimation) को नियंत्रण कार्यों (control actions) से अलग करता है, यह प्रकट करते हुए कि जहाँ उन्नत LLM एजेंट छिपी हुई विफलताओं का सटीक निदान कर सकते हैं, वहीं वे अक्सर इस ज्ञान को प्रभावी निर्णयों में बदलने में विफल रहते हैं, जिसके परिणामस्वरूप प्रदर्शन अंतराल उत्पन्न होता है जहाँ कुछ मॉडल बेहतर पहचान क्षमताओं के बावजूद एक लक्षण-अंध (symptom-blind) बेसलाइन से भी कम प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कोहरे से भरे द्वीपसमूह (archipelago) में से गुजर रहे जहाज के कप्तान हैं। आपके हाथ में जो नक्शा है वह अधूरा है; आप छिपी हुई चट्टानों या बदलते समुद्री प्रवाहों को सीधे नहीं देख सकते। इसके बजाय, आप केवल पतवार से टकराती लहरों, पानी के रंग और हवा की आवाज़ को देख सकते हैं। सुरक्षित रूप से नेविगेट करने के लिए, आपको इन संकेतों के आधार पर अनुमान लगाना होगा कि सतह के नीचे क्या हो रहा है। यह AI एजेंट्स (AI agents) की दुनिया है जो दीर्घकालिक निर्णय लेने की कोशिश कर रहे हैं। इस क्षेत्र में, वैज्ञानिक यह परीक्षण कर रहे हैं कि कृत्रिम बुद्धिमत्ता कितनी अच्छी तरह एक मानव कप्तान की तरह कार्य कर सकती है, जो शोर भरे लक्षणों से छिपे हुए खतरों का अनुमान लगाता है और ऐसे विकल्प चुनता है जो हफ्तों या महीनों तक पैसा बचाते हैं या आपदा को रोकते हैं।
बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: जब एक AI विफल होता है, तो क्या इसलिए क्योंकि उसने संकेतों को नहीं समझा, या इसलिए क्योंकि उसने संकेतों को पूरी तरह से समझा लेकिन एक भयानक निर्णय लिया? इसे "जानने-करने का अंतर" (knowing-doing gap) कहा जाता है। यह उस छात्र की तरह है जो गणित के सवाल का जवाब जानता है तो है, लेकिन घबराहट में गलत नंबर लिख देता है। लंबे समय तक, अंतर बताना कठिन था क्योंकि "सही" उत्तर के लिए आमतौर पर उन छिपी हुई चट्टानों को देखने की आवश्यकता होती थी जिन्हें AI देखने के लिए अधिकृत नहीं था। यदि AI विफल होता, तो हमें पता नहीं चलता कि वह अंधा था या केवल अनाड़ी।
द ग्रेट सप्लाई चेन स्टॉकटेक (The Great Supply Chain Stocktake)
इस शोध पत्र में, शोधकर्ताओं ने इस रहस्य को सुलझाने के लिए STOCKTAKE नामक एक डिजिटल खेल बनाया। उन्होंने 26-सप्ताह का एक सिमुलेशन बनाया जहाँ एक AI एक इलेक्ट्रॉनिक्स आयातक (importer) के रूप में प्रबंधक (manager) की भूमिका निभाता है। प्रबंधक को हर हफ्ते यह तय करना होता है कि कितने गैजेट्स ऑर्डर करने हैं। समस्या क्या है? दुनिया छिपे हुए व्यवधानों से भरी है: एक आपूर्तिकर्ता (supplier) विफल हो सकता है, एक शिपिंग नहर अवरुद्ध हो सकती है, या मांग अचानक बढ़ सकती है। AI इन समस्याओं को सीधे नहीं देख सकता; वह केवल एक साप्ताहिक डैशबोर्ड देखता है जो शोर भरे और भ्रमित करने वाले लक्षणों (जैसे "बर्थ वेट टाइम अधिक है" या "माल ढुलाई के दाम बढ़ गए हैं") से भरा होता है।
यह पता लगाने के लिए कि AI "अंधा" है या केवल "अनाड़ी", शोधकर्ताओं ने एक फेयर ओरकल (Fair Oracle) का आविष्कार किया। इसे एक सुपर-स्मार्ट, पूरी तरह से तार्किक रोबोट के रूप में समझें जो AI के बगल में बैठा है। यह रोबॉट ठीक वही भ्रमित करने वाला डैशबोर्ड देखता है जो AI देखता है। इसे भी छिपे हुए व्यवधानों को देखने की अनुमति नहीं है। हालाँकि, यह रोबोट गणित का जीनियस है: यह सटीक संभाव्यता नियमों (Bayesian filters) का उपयोग करके अनुमान लगाता है कि क्या हो रहा है और उन अनुमानों के आधार पर सबसे अच्छा संभव ऑर्डर निकालता है।
AI के प्रदर्शन की तुलना इस फेयर ओरकल से करके, शोधकर्ता दो चीजों को अलग-अलग माप सके:
- धारणा (Perception): क्या AI ने सही ढंग से अनुमान लगाया कि क्या गलत था? (क्या इसने छिपी हुई समस्या का नाम लिया?)
- क्रिया (Action): क्या AI ने उस अनुमान के बाद सही कदम उठाया? (क्या इसने सही मात्रा में ऑर्डर दिया?)
उन्होंने चार उपलब्ध सबसे स्मार्ट AI मॉडलों (Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro, और Grok 4.5) के साथ 50 अलग-अलग "सीड्स" (छिपी हुई दुनिया के विभिन्न संस्करणों) पर यह प्रयोग चलाया।
उन्हें क्या मिला: "जानने-करने" का अंतर वास्तविक है
परिणाम आश्चर्यजनक और थोड़े मजेदार थे।
1. AI देख तो बहुत अच्छा सकता है
सबसे पहले, शोधकर्ताओं ने यह जांचा कि क्या AI छिपी हुई समस्याओं को पहचान सकता है। उत्तर एक जोरदार हाँ था। चारों मॉडल "देखने" में उत्कृष्ट थे। उन्होंने छिपे हुए तनाव (जैसे बंदरगाह का अवरुद्ध होना या आपूर्तिकर्ता की विफलता) को 84% से 88% मामलों में सही ढंग से पहचाना। इससे भी बेहतर, वे आमतौर पर इसके शुरू होने के एक सप्ताह के भीतर ही इसे समझ लेते थे। वास्तव में, जो मॉडल आर्थिक रूप से सबसे खराब प्रदर्शन करते थे, वे वास्तव में समस्याओं को पहचानने में सबसे तेज़ थे। इसलिए, विफलता यह नहीं थी कि AI अंधा था।
2. AI कार्य नहीं कर पाता (कभी-कभी)
यहीं से कहानी दिलचस्प होती है। भले ही AI जानता था कि क्या गलत है, लेकिन वह अक्सर गलत कदम उठाता था।
- "अल्प-प्रतिक्रिया देने वाले" (The Under-Responders): कुछ मॉडल, जैसे Claude Sonnet 5, समस्या का सही निदान तो करते थे लेकिन फिर जम जाते थे। उदाहरण के लिए, यदि वे देखते कि एक बंदरगाह अवरुद्ध है, तो वे पूरी तरह से ऑर्डर करना बंद कर देते, यह सोचकर कि उनके पास वर्तमान स्टॉक पर्याप्त है। लेकिन चूंकि बंदरगाह अवरुद्ध था, इसलिए उनका स्टॉक कभी पहुँच ही नहीं पाता, और उनके पास सामान खत्म हो जाता, जिससे पैसा डूब जाता। वे समस्या को जानते थे लेकिन बहुत अधिक सावधानी बरतते थे।
- "अति-प्रतिक्रिया देने वाले" (The Over-Responders): अन्य मॉडल, जैसे DeepSeek-V4-Pro और Grok 4.5, इसके विपरीत थे। वे समस्या को देखते और घबरा जाते, और भारी मात्रा में महंगे एयर फ्रेट का ऑर्डर देते या ऊँची कीमतों पर सौदा पक्का कर लेते। वे समस्या को जानते थे, लेकिन वे इतनी बुरी तरह से अति-प्रतिक्रिया देते थे कि उन्होंने जरूरत से कहीं ज्यादा पैसा खर्च कर दिया। वास्तव में, लगभग आधे टेस्ट रन में, इन मॉडलों ने इतना खराब प्रदर्शन किया कि एक साधारण नियम, जो सभी लक्षणों को अनदेखा करता है, उससे अधिक पैसा बचाया जा सकता था। उनके "स्किल स्कोर" वास्तव में नकारात्मक थे (विशेष रूप से -0.23 और -0.13), जिसका अर्थ है कि वे लक्षण-अंध (symptom-blind) रणनीति के बेसलाइन से भी नीचे गिर गए थे।
3. "जानने-करने" का अंतर ही मुख्य बाधा है
अध्ययन में पाया गया कि एक अच्छे AI और एक महान AI के बीच सबसे बड़ा अंतर बुद्धिमत्ता या दुनिया को स्पष्ट रूप से देखने के बारे में नहीं था। यह नियंत्रण (control) के बारे में था।
- "परसिस्टेंट" (लगातार रहने वाले) तनाव परिदृश्यों में (जहाँ एक समस्या कई हफ्तों तक चलती है), भले ही AI ने समस्या का सही निदान किया हो, 34% से 43% बार उनका स्टॉक खत्म हो गया।
- शोधकर्ताओं ने यह देखने के लिए एक "स्किल स्कोर" की गणना की कि AI फेयर ओरकल के कितने करीब पहुँचा। दो मॉडलों (DeepSeek और Grok) का स्कोर नकारात्मक था, जिसका अर्थ है कि वे एक साधारण नियम से भी बदतर प्रदर्शन करते हैं जो सभी लक्षणों को अनदेखा करता है। फिर भी, ये वही मॉडल थे जो अपने लिखित स्पष्टीकरणों में समस्याओं को पहचानने में सबसे तेज़ थे।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि वर्तमान AI एजेंट्स के लिए, समस्या यह नहीं है कि वे दुनिया में क्या हो रहा है यह नहीं समझ सकते। वे निष्कर्ष निकालने में उत्कृष्ट हैं। समस्या यह है कि एक सही विचार को एक सही क्रिया में बदलना अविश्वसनीय रूप से कठिन है।
AI एक आदर्श पैराग्राफ लिख सकता है, जैसे "नहर बंद है, और हमें अधिक ऑर्डर करने की आवश्यकता है," लेकिन फिर भी वह बहुत कम ऑर्डर कर सकता है, बहुत देर से कर सकता है, या समाधान के लिए बहुत अधिक भुगतान कर सकता है। "जानने-करने का अंतर" वास्तविक है: ये मॉडल सही विश्वास तो रख सकते हैं लेकिन उस पर प्रभावी ढंग से कार्य करने में विफल रहते हैं। शोधकर्ताओं का सुझाव है कि इसे ठीक करने के लिए केवल बेहतर देखने वाले स्मार्ट AI की आवश्यकता नहीं होगी; इसके लिए AI को यह सिखाने के बेहतर तरीकों की आवश्यकता होगी कि वह अपने ज्ञान को सही और महंगी क्रियाओं में कैसे अनुवादित करे।
संक्षेप में: AI अंधा नहीं है। यह बस अपने हाथों के इस्तेमाल में अनाड़ी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।