How Do Tool-Augmented LLM Agents Perform on Real-World Energy Analytics Tasks?
यह शोध पत्र 243 विशेषज्ञ-क्यूरेटेड, वास्तविक दुनिया के ऊर्जा बाजार विश्लेषण कार्यों—लाइव डेटा पुनर्प्राप्ति से लेकर मात्रात्मक मॉडलिंग तक—पर टूल-संवर्धित एलएलएम (LLM) एजेंटों के प्रदर्शन का मूल्यांकन करने वाले एक अनुभवजन्य अध्ययन को प्रस्तुत करता है, जिसमें यह आकलन करने के लिए एक बहु-आयामी स्कोरिंग प्रोटोकॉल का उपयोग किया गया है कि मॉडल की क्षमताएं और डोमेन-विशिष्ट उपकरण उच्च-दांव वाले पेशेवर परिवेश में कैसे परस्पर क्रिया करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि ऊर्जा क्षेत्र (बिजली बाजार, नियम और पावर ग्रिड) एक विशाल, अराजक पुस्तकालय की तरह है जहाँ किताबें लगातार बदल रही हैं, कीमतें अदृश्य स्याही से लिखी जा रही हैं, और नियम ऐसी भाषा में लिखे गए हैं जिन्हें केवल कुछ ही विशेषज्ञ समझते हैं।
लंबे समय से, आर्टिफिशियल इंटेलिजेंस (AI) एक बहुत ही बुद्धिमान छात्र की तरह रहा है जो पुस्तकालय के कैटलॉग को तो पूरी तरह से याद कर सकता है, लेकिन वह वास्तव में किताबें खोजने, बारीक अक्षरों को पढ़ने, या यह गणित लगाने में सक्षम नहीं है कि क्या कोई पावर प्लांट मुनाफा कमा रहा है।
यह शोध पत्र, जिसका शीर्षक "How Do Tool-Augmented LLM Agents Perform on Real-World Energy Analytics Tasks?" है, एक नए प्रकार के AI छात्र का रिपोर्ट कार्ड है। ये छात्र केवल तथ्यों को रट नहीं रहे हैं; वे एक टूलबॉक्स (जैसे कि चाबियों, कैलकुलेटर और सर्च इंजन का एक सेट) से लैस हैं जो उन्हें लाइव डेटा खोजने, वास्तविक नियमों को पढ़ने और जटिल वित्तीय मॉडल चलाने की अनुमति देता है।
यहाँ बताया गया है कि शोधकर्ताओं ने क्या किया और उन्हें क्या मिला, सरल उपमाओं का उपयोग करते हुए:
1. परीक्षण: एक "वास्तविक दुनिया" का बाधा दौड़ (Obstacle Course)
शोधकर्ताओं ने AI से केवल साधारण सामान्य ज्ञान वाले प्रश्न नहीं पूछे जैसे कि "टेक्सास की राजधानी क्या है?" (जिसे याद करना आसान है)। इसके बजाय, उन्होंने वास्तविक ऊर्जा विशेषज्ञों द्वारा डिज़ाइन की गई एक 243-प्रश्नों वाली बाधा दौड़ बनाई।
इस दौड़ में तीन प्रकार की चुनौतियाँ थीं:
- जासूस (डेटा रिट्रीवल): "पिछले मंगलवार को दोपहर 2 बजे ह्यूस्टन में बिजली की कीमत खोजें।"
- वकील (ज्ञान की व्याख्या): "इस 50 पन्नों की सरकारी नियम पुस्तिका को पढ़ें और मुझे ठीक-ठीक बताएं कि बैटरी कंपनी को ग्रिड से जुड़ने के लिए कितना भुगतान करना होगा।"
- अकाउंटेंट (मात्रात्मक मॉडलिंग): "यदि मैं यहाँ एक बैटरी बनाता हूँ, और बिजली की कीमतें 15 वर्षों तक इस तरह से घटती-बढ़ती हैं, तो क्या मैं लाभ कमाऊँगा? सटीक संख्या की गणना करें।"
कार्य आसान (एक नंबर ढूँढना) से लेकर कठिन (कड़े नियमों के साथ एक बहु-चरणीय वित्तीय पहेली को हल करना) तक विस्तृत थे।
2. प्रतियोगी: सात AI "मस्तिष्क"
उन्होंने सात अलग-अलग AI मॉडल का परीक्षण किया (कुछ बड़ी टेक कंपनियों जैसे OpenAI और Google द्वारा बनाए गए हैं, और कुछ ओपन-सोर्स हैं)।
- सेटअप: उन्होंने इन AI को नौ विशिष्ट उपकरणों वाला एक "बैकपैक" दिया। इन उपकरणों में बिजली बाजारों के लाइव कनेक्शन, उपयोगिता दरों के डेटाबेस और गणित करने के लिए कोड रनर शामिल थे।
- नियम: AI को केवल अपनी याददाश्त के आधार पर अनुमान लगाने के बजाय इन उपकरणों का उपयोग करके समस्याओं को हल करना था।
3. स्कोरिंग सिस्टम: केवल "सही या गलत" नहीं
शोधकर्ताओं ने केवल यह नहीं देखा कि अंतिम संख्या सही थी या नहीं। उन्होंने AI को तीन चीजों पर ग्रेड दिया, एक सख्त शिक्षक की तरह:
- दृष्टिकोण (क्या उन्होंने पेशेवर की तरह सोचा?): क्या उन्होंने सही उपकरण चुने और उनका सही क्रम में उपयोग किया? यदि किसी AI ने सही उत्तर प्राप्त किया लेकिन डेटा खोजने के बजाय अनुमान लगाया, तो उनके अंक काट लिए गए।
- सटीकता (क्या उन्होंने तथ्यों को सही पाया?): क्या संख्या सही थी? क्या उन्होंने सही टाइम ज़ोन और सही राज्य का उपयोग किया?
- स्रोत वैधता (क्या उन्होंने धोखाधड़ी की?): क्या उन्होंने उस वास्तविक दस्तावेज़ का उल्लेख किया जिसे उन्होंने पढ़ा था, या उन्होंने एक नकली नियम पुस्तिका बना दी?
4. परिणाम: अच्छा, बुरा और "लगभग"
यहाँ बताया गया है कि जब AI ने परीक्षा दी तो क्या हुआ:
- "सबसे बुद्धिमान" छात्र: क्लोज्ड-सोर्स मॉडल (जैसे Gemini-3.1-Pro और GPT-5.2) सबसे अच्छा प्रदर्शन करते हुए लगभग 60% उत्तर सही करने में सफल रहे। सबसे अच्छा ओपन-सोर्स मॉडल (Kimi-K2.5) लगभग 49% तक पहुँच सका।
- पेंच: सबसे अच्छे छात्र ने भी लगभग आधे प्रश्नों को गलत किया। इसका मतलब है कि AI मददगार तो है, लेकिन यह अभी मानव विशेषज्ञों की जगह लेने के लिए तैयार नहीं है।
- "योजना बनाम क्रियान्वयन" का अंतर: दिलचस्प बात यह है कि AI योजना बनाने में काफी अच्छा था ( "Approach" पर उच्च स्कोर प्राप्त किया)। वे जानते थे कि कौन सा उपकरण चुनना है। लेकिन वे योजना को पूरी तरह से लागू करने (गलत नंबर या गलत तारीख मिलने) में अक्सर विफल रहे। यह एक ऐसे शेफ की तरह है जो जानता है कि कौन सी सामग्री खरीदनी है, लेकिन खाना बनाते समय स्टेक को जला देता है।
- "भ्रम" (Hallucination) की समस्या: AI स्रोतों का हवाला देने में बहुत खराब थे। वे अक्सर भूल जाते थे कि "मुझे यह 2024 की नियम पुस्तिका में मिला" या वे दस्तावेज़ों के फर्जी नाम बना देते थे। वास्तविक दुनिया में, यदि आप यह साबित नहीं कर सकते कि आपका डेटा कहाँ से आया, तो आप उत्तर पर भरोसा नहीं कर सकते।
- "टूल" का प्रभाव: जब शोधकर्ताओं ने उपकरण वापस ले लिए और AI को अपनी याददाश्त से समस्याओं को हल करने के लिए कहा, तो स्कोर आधा रह गया। यह साबित करता है कि ऊर्जा कार्यों के लिए, केवल एक स्मार्ट दिमाग होने से ज्यादा महत्वपूर्ण टूल्स का होना है।
- "मेमोरी" की सीमा: कुछ मॉडल इसलिए विफल रहे क्योंकि प्रश्न बहुत लंबे और जटिल थे, जिससे उनकी "शॉर्ट-टर्म मेमोरी" (कॉन्टेक्स्ट विंडो) भर गई। वे समस्या के अंतिम चरण तक पहुँचते-पहुँचते पहले चरण को ही भूल गए।
5. मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि AI एजेंट शक्तिशाली सहायक हैं, लेकिन वे अभी स्वतंत्र विशेषज्ञ नहीं हैं।
इसे एक जूनियर एनालिस्ट की तरह समझें जिसके पास एक सुपर-फास्ट कंप्यूटर और दुनिया के हर पुस्तकालय तक पहुँच है। वे भारी काम कर सकते हैं और डेटा तेज़ी से खोज सकते हैं। हालाँकि, उन्हें अभी भी एक सीनियर एक्सपर्ट (एक मानव) की आवश्यकता है जो उनके काम की दोबारा जाँच करे, यह सुनिश्चित करे कि उन्होंने कोई नियम मनगढ़ंत तो नहीं बनाया, और अंतिम गणित को सत्यापित करे।
शोधकर्ताओं ने अपने सभी परीक्षण प्रश्न, उपकरण और परिणाम सार्वजनिक कर दिए हैं ताकि अन्य वैज्ञानिक भविष्य के बेहतर "छात्र" बनाने का प्रयास कर सकें। वे अगले दौर में इस परीक्षण को अन्य देशों और ऊर्जा के अन्य प्रकारों (जैसे तेल या गैस) तक विस्तारित करने की योजना बना रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।