A Benchmark on LLM-Based Power Flow Computation: Do More Structured Prompts Help?
यह शोध पत्र एक बेंचमार्क प्रस्तुत करता है जो यह प्रदर्शित करता है कि जबकि Gemini 2.5 Pro, LLM-आधारित Gauss-Seidel पावर फ्लो गणना में अन्य मॉडलों से बेहतर प्रदर्शन करता है, कोई भी कॉन्फ़िगरेशन प्रत्यक्ष संख्यात्मक समाधान के लिए आवश्यक विश्वसनीयता प्राप्त नहीं कर पाता है, और विरोधाभासी रूप से, सरल वर्णनात्मक प्रारूपों की तुलना में अधिक संरचित प्रॉम्प्ट सटीकता को कम कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास तीन अलग-अलग AI "छात्र" हैं (आइए उन्हें Gemini, Claude, और GPT-3.5 कहें) और आप देखना चाहते हैं कि क्या वे एक पावर ग्रिड के लिए कैलकुलेटर के रूप में कार्य कर सकते हैं। विशेष रूप से, आप उन्हें "पावर फ्लो" नामक एक क्लासिक, स्टेप-बाय-स्टेप गणितीय समस्या हल करने के लिए कह रहे हैं, जिसका उपयोग इंजीनियर यह सुनिश्चित करने के लिए करते हैं कि बिजली नेटवर्क के तारों के माध्यम से सुरक्षित रूप से प्रवाहित हो रही है।
शोधकर्ताओं ने एक नियंत्रित प्रयोग आयोजित किया ताकि दो चीजें देखी जा सकें:
- क्या ये AI छात्र वास्तव में गणित कर सकते हैं?
- क्या सवाल पूछने का तरीका (प्रॉम्प्ट) उनके प्रदर्शन को बदल देता है?
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
सेटअप: एक तीन-लेन वाली सड़क
शोधकर्ताओं ने एक बहुत ही छोटा, सरलीकृत पावर ग्रिड बनाया जिसमें केवल तीन "शहर" (बस) थे जो सड़कों (ट्रांसमिशन लाइनों) से जुड़े हुए थे। उन्होंने 50 अलग-अलग ट्रैफिक परिदृश्य (रैंडम लोड और सड़क की स्थितियाँ) बनाए और AI से पूछा कि मुख्य पावर प्लांट (स्लैक बस) को सब कुछ सुचारू रूप से चलाने के लिए कितनी बिजली उत्पन्न करने की आवश्यकता है।
उन्होंने AI का परीक्षण सवाल पूछने के चार अलग-अलग तरीकों के साथ किया:
- द स्टोरी (कहानी): समस्या का वर्णन करने वाला एक साधारण पैराग्राफ (जैसे कि टेक्स्टबुक का प्रश्न)।
- द स्टोरी + एग्जांपल (कहानी + उदाहरण): वही कहानी, लेकिन उससे ठीक पहले एक टेक्स्टबुक से हल किया गया उदाहरण भी शामिल है।
- द चेकलिस्ट (चेकलिस्ट): पालन करने के लिए चरणों की एक क्रमांकित सूची, जिसमें AI से अपना काम दिखाने के लिए कहा गया है।
- द स्प्रेडशीट (स्प्रेडशीट): एक कठोर, मशीन-पठनीय प्रारूप (JSON) जिसमें गणना के हर चरण को दिखाने की सख्त आवश्यकता है।
परिणाम: कौन पास हुआ और कौन फेल?
1. "ओवर-थिंकर" (Gemini 2.5 Pro)
- आश्चर्य: आप सोच सकते हैं कि AI को एक कठोर स्प्रेडशीट देना और उसे हर एक चरण दिखाने के लिए कहना इसे अधिक सटीक बना देगा। लेकिन इसने इसके विपरीत परिणाम दिया।
- उपमा: कल्पना कीजिए कि आप एक प्रतिभाशाली गणित के छात्र को एक समस्या हल करने के लिए कह रहे हैं। जब आप बस कहते हैं, "यह रहा सवाल, मुझे उत्तर दे दो," तो वह 54% बार सही होता है। लेकिन जब आप उसे एक जटिल फॉर्म देते हैं और कहते, "हर बॉक्स भरें और लाइन-दर-लाइन अपना काम दिखाएं," तो वह भ्रमित हो जाता है, चीजों को बहुत जटिल बना देता है, और उसकी गलतियाँ तीन गुना बढ़ जाती हैं।
- निर्णय: Gemini तीनों में सबसे स्मार्ट है, लेकिन यह इस बात के प्रति बहुत संवेदनशील है कि आप इससे कैसे बात करते हैं। सरल होना बेहतर है; जटिल निर्देश वास्तव में इसके प्रदर्शन को नुकसान पहुँचाते हैं।
2. "स्टेडी एडी" (Claude Sonnet 4.5)
- व्यवहार: Claude को इस बात से ज्यादा फर्क नहीं पड़ता था कि सवाल कैसे पूछा गया। चाहे वह एक कहानी हो, चेकलिस्ट हो, या स्प्रेडशीट, इसने लगभग 38% समय सही उत्तर दिया, चाहे स्थिति कुछ भी हो।
- उपमा: Claude को एक ऐसे छात्र के रूप में सोचें जिसके पास पढ़ने का एक विशिष्ट तरीका है। टेस्ट का फॉर्मेट बदलने से उन्हें मदद नहीं मिलती, लेकिन इससे उन्हें नुकसान भी नहीं होता। वे बस उसी "औसत" क्षेत्र में बने रहते हैं।
- निर्णय: एक हल किया हुआ उदाहरण (उन्हें एक हल की गई समस्या दिखाना) वास्तव में Claude की थोड़ी मदद करता है, लेकिन यह अभी भी एक विश्वसनीय कैलकुलेटर बनने के लिए पर्याप्त नहीं था।
3. "स्ट्रगलिंग स्टूडेंट" (GPT-3.5 Turbo)
- व्यवहार: यह मॉडल लगभग हर बार विफल रहा, चाहे सवाल कैसे भी पूछा गया हो।
- उपमा: कल्पना कीजिए कि आप एक ऐसे छात्र से कैलकुलस की समस्या हल करने के लिए कह रहे हैं जिसने अभी तक सामग्री सीखी ही नहीं है। चाहे आप उन्हें संकेत दें, टेक्स्टबुक दें, या कैलकुलेटर दें, वे फिर भी 90% से 96% समय गलत होते हैं।
- निर्णय: यह वर्तमान में इस प्रकार की जटिल, बहु-चरणीय गणित करने में सक्षम नहीं है।
मुख्य निष्कर्ष: "अधिक निर्देश" ≠ "बेहतर परिणाम"
इस पेपर का सबसे महत्वपूर्ण निष्कर्ष उन लोगों के लिए एक चेतावनी है जो गणित या इंजीनियरिंग के लिए AI का उपयोग करने की कोशिश कर रहे हैं: AI को अधिक विस्तृत निर्देश, संरचित डेटा देना, या उसे "अपना काम दिखाने" के लिए कहना बेहतर सटीकता की गारंटी नहीं देता है।
वास्तव में, परीक्षण किए गए सबसे स्मार्ट मॉडल के लिए, प्रॉम्प्ट को अधिक जटिल बनाने से यह और खराब हो गया। यह एक GPS को "एक विशिष्ट एल्गोरिदम का उपयोग करके रूट को पुनर्गणना करें" कहने जैसा है, जबकि उसे बस "वहाँ तक ड्राइव करें" कहने की आवश्यकता थी। अतिरिक्त नियमों ने सिस्टम को भ्रमित कर दिया।
अंतिम निष्कर्ष: अभी यह काम के लायक नहीं है
शोधकर्ताओं ने निष्कर्ष निकाला कि इनमें से कोई भी AI मॉडल वास्तविक इंजीनियरिंग कैलकुलेटर को बदलने के लिए तैयार नहीं है।
- यहाँ तक कि सबसे अच्छा परिणाम (सरल प्रॉम्प्ट के साथ Gemini) भी केवल आधे समय में 5% त्रुटि मार्जिन के भीतर सही उत्तर प्राप्त कर सका।
- वास्तविक दुनिया में, यदि आप पावर ग्रिड का प्रबंधन कर रहे हैं, तो 5% की त्रुटि ब्लैकआउट या आग का कारण बन सकती है। आपको 100% सटीकता की आवश्यकता है।
सारांश: ये AI मॉडल यह समझाने के लिए बेहतरीन हैं कि पावर फ्लो क्या है या इंजीनियरों को विचार मंथन (brainstorming) में मदद करने के लिए, लेकिन वे ग्रिड चलाने वाले वास्तविक कैलकुलेटर बनने के लिए तैयार नहीं हैं। यदि आप उन्हें गणित करने के लिए कहते हैं, तो आपको अभी भी संख्याओं की जांच करने के लिए एक इंसान (या एक पारंपरिक कंप्यूटर प्रोग्राम) की आवश्यकता होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।