VEHBench: A Stage-Local Diagnostic Benchmark for LLM-Assisted Vibration Energy Harvester Design

तकनीकी सारांश: VEHBench

समस्या विवरण

बैटरी-मुक्त इंटरनेट ऑफ थिंग्स (IoT) उपकरणों के लिए कंपन ऊर्जा हार्वेस्टर्स (VEHs) का डिज़ाइन, घनिष्ठ रूप से जुड़े यांत्रिक-विद्युत अंतर्संबंधों और सख्त भौतिक बाधाओं (जैसे, कंपन स्पेक्ट्रा, पावर लक्ष्य, आकार की सीमाएं, सामग्री के गुण और सुरक्षा मार्जिन) को शामिल करता है। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग इंजीनियरिंग वर्कफ़्लो के इंटरफेस के रूप में—आवश्यकताओं को अनुवादित करने, फीडबैक की समीक्षा करने और डिज़ाइन संशोधनों का प्रस्ताव देने के लिए—बढ़ता जा रहा है, मौजूदा इंजीनियरिंग बेंचमार्क मुख्य रूप से अंतिम आर्टिफैक्ट (artifact) की वैधता का मूल्यांकन करते हैं। ये एंडपॉइंट मूल्यांकन यह प्रकट करने में विफल रहते हैं कि LLMs एक जुड़े हुए भौतिक डिज़ाइन वर्कफ़्लो के विभिन्न चरणों में कैसे व्यवहार करते हैं। विशेष रूप से, वर्तमान बेंचमार्क यह निदान नहीं कर पाते कि क्या एक मॉडल अधूरे ब्रीफ का सही ढंग से वर्गीकरण करता है, भौतिक फीडबैक के बाद सीमित संपादन करता है, दूषित डिज़ाइन प्रक्षेपवक्र (trajectories) से उबरता है, या स्पष्ट चयन नीतियों का पालन करता है। यह स्टेज-लोकल नैग्नोस्टिसिटी (diagnosticity) की कमी विशिष्ट वर्कफ़्लो विफलताओं (जैसे, एंट्री कंट्रोल त्रुटियां बनाम सर्च फेल्योर) की पहचान करना कठिन बना देती है और विशिष्ट इंजीनियरिंग भूमिकाओं के लिए मॉडल्स के चयन या रूटिंग में बाधा डालती है।

कार्यप्रणाली

लेखक VEHBench पेश करते हैं, जो एक इंजीनियरिंग-नेटिव डायग्नोस्टिक बेंचमार्क है जिसे स्टेज-लोकल, वेरीफायर-ग्राउंडेड कार्यों के माध्यम से LLM-असिस्टेड VEH को-डिज़ाइन का मूल्यांकन करने के लिए डिज़ाइन किया गया है।

बेंचमार्क निर्माण

• डोमेन: बेंचमार्क प्रारंभिक-चरण के कैंटिलीवर पीज़ोइलेक्ट्रिक VEH को-डिज़ाइन पर केंद्रित है, जो संरचनात्मक गतिशीलता (structural dynamics), स्मार्ट सामग्री और सर्किट डिज़ाइन से जुड़ा एक संक्षिप्त लेकिन युग्मित डोमेन है।
• डेटा स्रोत: कार्य 209 शोध पत्रों के लिटरेचर ऑडिट से प्राप्त किए गए हैं, जिसके परिणामस्वरूप 52 साफ़ किए गए "डिज़ाइन एंकर्स" (चर, सीमाएं और बाधाओं के साथ सामान्यीकृत भौतिक अवस्थाएं) प्राप्त हुए।
• सत्यापन (Verification): एक विश्लेषणात्मक भौतिक ओरेकल (क्लोज्ड-फॉर्म यूलर-बर्नौली बीम थ्योरी और इलेक्ट्रोमैकेनिकल कपलिंग समीकरणों पर आधारित) व्यवहार्यता और ऑब्जेक्टिव क्वालिटी की गणना करता है। स्कोरिंग के लिए किसी मानव लेबल या "LLM-as-a-judge" का उपयोग नहीं किया गया है।
• कार्य अपघटन (Task Decomposition): वर्कफ़्लो को चार विशिष्ट डिज़ाइन भूमिकाओं (प्रोब्स) में विभाजित किया गया है, जिनमें से प्रत्येक के पास विशिष्ट विश्वसनीय अवस्थाएं, स्वीकार्य क्रियाएं और विफलता के परिणाम हैं:
  1. P1 (स्पेसिफिकेशन ट्राइएज): मॉडल को एक डिज़ाइन ब्रीफ (पूर्ण, लुप्त, या अव्यवहार्य) प्राप्त होता है और उसे प्रस्ताव देने, रुकने (abstain), या लुप्त जानकारी के लिए अनुरोध करने का निर्णय लेना होता है।
  2. P2 (वेरिफायर-गाइडेड सर्च): एक सीड डिज़ाइन और ओरेकल फीडबैक दिए जाने पर, मॉडल उम्मीदवार को बेहतर बनाने के लिए सीमित संपादन (bounded edits) करता है।
  3. P3 (करप्टेड-स्टेट रिकवरी): मॉडल को एक दूषित या भ्रामक डिज़ाइन प्रक्षेपवक्र के संपर्क में लाया जाता है और उसे ट्रैप से बाहर निकलने के लिए रीसेट, री-एंकर, या स्टेबलाइज़ करना होता है।
  4. P4 (पॉलिसी-कंडीशन्ड सिलेक्शन): व्यवहार्य उम्मीदवारों के एक पूल को देखते हुए, मॉडल एक स्पष्ट इंजीनियरिंग पॉलिसी (जैसे, पावर बनाम विश्वसनीयता को प्राथमिकता देना) के आधार पर रैंकिंग या चयन करता है।

मूल्यांकन ढांचा

• मॉडल्स: सभी 763 कार्यों में 12 पूर्ण मॉडल रन (Qwen, Gemini, DeepSeek, GPT, Hunyuan, आदि सहित) का मूल्यांकन किया गया।
• मेट्रिक्स:
  • हेडलाइन मेट्रिक्स: P1-कंपोजिट (वेटेड सर्टिफिकेशन स्कोर), P2 फाइनल फिजिबल पावर रेशियो, P3-सक्सेस (रिकवरी के बाद अंतिम व्यवहार्यता), और P4 केंडल $\tau_b$ (रैंकिंग निरंतरता)।
  • डायग्नोस्टिक प्रोफाइल्स: लॉग्स से रिस्पॉन्स-कंट्रोल प्रोफाइल्स (एक्शन डिसिप्लिन, एडिट स्टाइल, फीडबैक कंडीशनिंग, स्टेट-रीसेट एफर्ट, पॉलिसी एक्जीक्यूशन) निकाले गए ताकि विफलताओं को व्यवहारिक संकेतों से मैप किया जा सके।
  • एरर फैमिलीज: विशिष्ट विफलता मोड की पहचान करने के लिए नॉन-एक्सक्लूसिव एरर रेट्स (जैसे, ओवर-एक्शन, इनफीजिबल क्लोजर, पोस्ट-एस्केप फेल्योर, पॉलिसी मिसमैच) की गणना की गई।

प्रमुख योगदान

1. बेंचमार्क फ्रेमवर्क (VEHBench): पहला डायग्नोस्टिक बेंचमार्क जो अंतिम आर्टिफैक्ट की वैधता से आगे बढ़कर स्टेज-लोकल डिज़ाइन व्यवहार का मूल्यांकन करता है। यह लिटरेचर-ग्राउंडेड टास्क कंस्ट्रक्शन, बाहरी विश्लेषणात्मक सत्यापन और स्टेज-विशिष्ट मूल्यांकन को जोड़ता है।
2. अनुभवजन्य निष्कर्ष और व्याख्या: लेखकों ने व्यवस्थित रूप से वर्तमान LLMs का मूल्यांकन किया और पाया कि क्षमता अत्यधिक स्टेज-डिपेंडेंट है। कोई भी एकल मॉडल पूरे वर्कफ़्लो में हावी नहीं है। उन्होंने अनुभवजन्य परिणामों को व्याख्यात्मक व्यवहार संबंधी विशेषताओं (जैसे, एक्शन डिसिप्लिन, बाउंडेड एडिटिंग, स्टेट रिकवरी) से जोड़ने वाला एक फ्रेमवर्क पेश किया।
3. स्टेज-अवेयर गाइडेंस: पेपर दिखाता है कि कैसे स्टेज-लोकल परिणाम व्यावहारिक इंजीनियरिंग अनुप्रयोगों, जिसमें मॉडल चयन, रूटिंग और अनुकूलन शामिल है, को सूचित कर सकते हैं। यह विशिष्ट क्षमता अंतराल (जैसे, स्पेसिफिकेशन ट्राइएज, करप्टेड-स्टेट रिकवरी) की पहचान करता है।

प्रयोगात्मक परिणाम

• स्टेज-डिपेंडेंट रैंकिंग: कोई भी मॉडल पूरे वर्कफ़्लो का नेतृत्व नहीं करता है।
  • P1 (ट्राइएज): qwen3-max ने एक्शन डिसिप्लिन (असुरक्षित प्रविष्टियों को रोकने और लुप्त-जानकारी मिस होने को रोकने) को संतुलित करके सर्वश्रेष्ठ प्रदर्शन किया।
  • P2 (सर्च): gemini-3.1-pro-preview उच्च फिजिबल क्लोजर और उपयोगी पावर रेशियो के कारण अग्रणी रहा।
  • P3 (रिकवरी): hunyuan-hy3-preview दूषित अवस्थाओं से निकलने के बाद स्थिर होने में उत्कृष्ट रहा।
  • P4 (सिलेक्शन): gpt-5.4 ने उच्चतम पॉलिसी एक्जीक्यूशन और रैंकिंग निरंतरता प्राप्त की।
• विफलता मोड:
  • P1: प्रमुख त्रुटियां "ओवर-एक्शन" (अव्यवहार्य ब्रीफ होने पर भी प्रस्ताव देना) और "मिसिंग-इन्फो मिस" थीं, न कि ओवर-रिफ्यूज़ल।
  • P2: अधिकांश मॉडल आउटपुट प्रोटोकॉल का पालन कर सकते थे लेकिन भौतिक खोज लूप (इनफीजिबल क्लोजर) को बंद करने में विफल रहे या यूटिलिटी लॉस का शिकार हुए।
  • P3: प्राथमिक बाधा ट्रैप से निकलना नहीं था, बल्कि उसके बाद अवस्था को स्थिर करना (पोस्ट-एस्केप फेल्योर) था।
  • P4: विफलताएं मुख्य रूप से "पॉलिसी मिसमैच" (निर्धारित इंजीनियरिंग प्राथमिकताओं को निष्पादित करने में विफल होना) थीं, न कि पार्सिंग एरर या इनफीजिबल कैंडिडेट सिलेक्शन।
• हस्तक्षेप और रूटिंग:
  • स्टेट इंटरफेस: रॉ करप्टेड हिस्ट्री को वेरीफायर-ऑथरड स्टेट समरी से बदलने से P3 रिकवरी दर (50.0% से 63.2% मीन में सुधार) में सुधार हुआ और कैस्केड विफलताओं में कमी आई।
  • रूटिंग: एक स्टेज-अवेयर राउटर (विभिन्न चरणों के लिए अलग-अलग मॉडल चुनना) ने मीन नॉर्मलाइज्ड हेल्ड-आउट स्कोर को 0.892 (सर्वश्रेष्ठ सिंगल मॉडल फॉलबैक) से बढ़ाकर 0.945 कर दिया, जो मुख्य रूप से P3 स्पेशलिस्ट को स्विच करने के कारण हुआ।

महत्व और दावे

पेपर दावा करता है कि इंजीनियरिंग डिज़ाइन में LLM क्षमता रोल-डिपेंडेंट है, और एग्रीगेट रैंकिंग्स स्टेज कम्पैटिबिलिटी की तुलना में कम सूचनात्मक हैं। VEHBench, यह उजागर करके कि वर्कफ़्लो व्यवहार कहाँ विफल होता है, वेरीफायर-ग्राउंडेड इंजीनियरिंग LLMs के मूल्यांकन, चयन, रूटिंग और सुधार के लिए एक आधार प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि VEHBench, फाइनाइट एलीमेंट मेथड (FEM) सिमुलेशन, मैन्युफैक्चरिंग रिव्यू, या हार्डवेयर सर्टिफिकेशन का विकल्प नहीं है। इसके बजाय, यह एक डायग्नोस्टिक लेयर के रूप में कार्य करता है ताकि यह निर्धारित किया जा सके कि क्या एक LLM प्रत्येक डिज़ाइन चरण में भौतिक वैधता संकेतों का उचित रूप से उपयोग करता है। बेंचमार्क विश्लेषणात्मक रूप से सत्यापन योग्य कैंटिलीवर VEH को-डिज़ाइन तक सीमित है, और लेखक नोट करते हैं कि इसी ढांचे को समृद्ध सिम्युलेटर और अन्य युग्मित डोमेन के लिए स्थापित किया जा सकता है। यह कार्य तर्क देता है कि इंजीनियरिंग अनुप्रयोगों के लिए, ध्यान "स्वायत्त हार्डवेयर डिज़ाइन" से बदलकर "स्टेज-लोकल असिस्टेंस" पर होना चाहिए जहाँ मॉडल्स को उनके विशिष्ट व्यवहारिक प्रोफाइल के आधार पर चुना और रूट किया जाता है।