🤖 AI

CAX-Agent: A Lightweight Agent Harness for Reliable APDL Automation

यह शोध पत्र CAX-Agent प्रस्तुत करता है, जो एक रिकवरी लैडर (recovery ladder) के साथ बहु-स्तरीय आर्किटेक्चर को लागू करके APDL स्वचालन की विश्वसनीयता बढ़ाने के लिए डिज़ाइन किया गया एक हल्का हार्नेस है, जो अनुभवजन्य बेंचमार्क के माध्यम से यह प्रदर्शित करता है कि मॉडल-संचालित पुनर्जनन (model-driven regeneration), कार्य पूर्णता और हस्तक्षेप में कमी के मामले में नियम-आधारित या बिना-रिकवरी वाली रणनीतियों की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Chenying Lin, Yichen Hai, Yi He, Ran Wang, Haiyan Qiang, Liang Yu

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenying Lin, Yichen Hai, Yi He, Ran Wang, Haiyan Qiang, Liang Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन थोड़े जल्दबाज़ वास्तुकार (AI) को एक पुल बनाना सिखाने की कोशिश कर रहे हैं, जिसके लिए एक बहुत ही सख्त, पुराने ज़माने के निर्माण मैनुअल (MAPDL नामक सॉफ़्टवेयर) का उपयोग करना है। वास्तुकार ब्लूप्रिंट लिखने में तो माहिर है, लेकिन अगर मैनुअल कहता है "त्रुटि: बीम बहुत पतली है," तो वास्तुकार भ्रमित हो सकता है, वही गलती दोबारा करने वाला नया ब्लूप्रिंट लिखने की कोशिश कर सकता है, या बस हार मान सकता है।

यह शोध पत्र CAX-Agent पेश करता है, जो एक "निर्माण स्थल प्रबंधक" (construction site manager) है जिसे वास्तुकार और मैनुअल के बीच बैठने के लिए डिज़ाइन किया गया है ताकि यह सुनिश्चित किया जा सके कि पुल वास्तव में बन जाए।

यह कैसे काम करता है और शोधकर्ताओं ने क्या पाया, इसका विवरण यहाँ सरल उपमाओं (analogies) का उपयोग करके दिया गया है:

1. समस्या: "एक बार और बस" का जाल (The "One-and-Done" Trap)

आमतौर पर, जब आप किसी AI को सिमुलेशन के लिए कोड लिखने के लिए कहते हैं, तो वह केवल एक बार प्रयास करता है। यदि कंप्यूटर "त्रुटि" (Error) कहता है, तो AI अक्सर घबरा जाता है या रुक जाता है। पूरा प्रोजेक्ट विफल हो जाता है।

शोध पत्र का दृष्टिकोण: बिना किसी प्रबंधक के जो गलतियों को पकड़ सके, एक एकल त्रुटि पूरी प्रक्रिया को रोक देती है।

2. समाधान: "एजेंट हार्नेस" (साइट मैनेजर)

AI को बेकाबू छोड़ने के बजाय, लेखकों ने एक हार्नेस (Harness) बनाया है। इसे एक सख्त साइट मैनेजर के रूप में समझें जो:

AI पर नज़र रखता है: वह देखता है कि AI क्या लिख रहा है।
मैनुअल की जाँच करता है: वह कोड चलाता है और त्रुटि संदेशों को पढ़ता है।
अगला कदम तय करता है: यदि कोई त्रुटि होती है, तो प्रबंधक तय करता है कि क्या इसे एक त्वरित नियम के साथ ठीक किया जाए या AI को फिर से प्रयास करने के लिए कहा जाए।

यह प्रणाली तीन परतों में बनी है:

AI (वास्तुकार): कोड लिखता है।
हार्नेस (प्रबंधक): काम को व्यवस्थित करता है, त्रुटियों की जाँच करता है, और पुन: प्रयास (retries) का प्रबंधन करता है।
सॉल्वर (निर्माण दल): वास्तव में सिमुलेशन का निर्माण करता है।

3. "रिकवरी लैडर" (गलतियों को सुधारने का तरीका)

जब निर्माण दल को किसी बाधा का सामना करना पड़ता है, तो प्रबंधक के पास इसे ठीक करने के तरीकों की एक "सीढ़ी" (ladder) होती है, जो सबसे आसान से लेकर सबसे कठिन तक जाती है:

रंग 1 (नियम): "ओह, मेश (mesh) बहुत बड़ा है? चलिए बस स्वचालित रूप से संख्याओं को छोटा कर देते हैं।" (जैसे कि एक पहले से लिखा गया 'चीट शीट')।
रंग 2 (मॉडल): "एरर लॉग कहता है कि बीम गलत है। AI, इस त्रुटि को पढ़ो और खुद अपना ब्लूप्रिंट फिर से लिखो।"
रंग 3 (संदर्भ): "आइए AI को समस्या के बारे में अधिक विवरण दें।"
रंग 4 (मानव): "ठीक है, हम फंस गए हैं। एक मानव इंजीनियर को बुलाएं।"

4. प्रयोग: तीन टीमों के बीच एक दौड़

शोधकर्ताओं ने 50 सरल पुल बनाने के कार्यों (बीम, प्लेट और सिलेंडर) पर त्रुटियों को संभालने के तीन अलग-अलग तरीकों का परीक्षण किया। उन्होंने निश्चित होने के लिए प्रत्येक कार्य को तीन बार चलाया।

टीम A (कोई रिकवरी नहीं): AI एक बार प्रयास करता है। यदि वह विफल होता है, तो वह रुक जाता है।
- परिणाम: यह एक ऐसे ड्राइवर की तरह है जो गड्ढे में गिरते ही कार रोक देता है। वे अक्सर विफल रहे।
टीम B (केवल नियम): AI एक बार प्रयास करता है। यदि वह विफल होता है, तो प्रबंधक एक सख्त, पहले से लिखे गए नियम को लागू करता है (जैसे, "यदि त्रुटि X है, तो Y करें")।
- परिणाम: टीम A से बेहतर, लेकिन नियम बहुत कठोर थे। कभी-कभी "चीट शीट" विशिष्ट समस्या के अनुकूल नहीं बैठती थी।
टीम C (केवल मॉडल): AI एक बार प्रयास करता है। यदि वह विफल होता है, तो प्रबंधक AI को त्रुटि संदेश पढ़ने और स्वयं कोड को फिर से लिखने के लिए मजबूर करता है, अधिकतम तीन बार।
- परिणाम: यह टीम भारी अंतर से जीत गई। AI यह समझने में सक्षम था कि वह क्यों विफल हुआ और उसने रचनात्मक रूप से इसे ठीक किया।

5. परिणाम: "मॉडल ओनली" क्यों जीता

शोधकर्ताओं ने अंतिम ब्लूप्रिंटों को देखने के लिए दो मानव न्यायाधीशों को नियुक्त किया (ब्लाइंडली, ताकि उन्हें पता न चले कि कौन सी टीम थी) और स्कोर दिया।

सफलता दर: टीम C (मॉडल ओनली) 93% बार सफल रही। टीम B (नियम) 77% बार सफल रही, और टीम A (कोई रिकवरी नहीं) केवल 69% बार सफल रही।
स्वायत्तता (Autonomy): टीम C ने बिना किसी मानवीय हस्तक्षेप के 84% बार काम पूरा किया। टीम B और टीम A को विफल होने पर 100% बार मानवीय सहायता की आवश्यकता थी।
"मानवीय" कारक: "केवल नियम" वाली टीम को वास्तव में फिर से प्रयास करने से पहले एक मानव द्वारा सुधार की पुष्टि कराने की आवश्यकता थी, यही कारण है कि उनका "शून्य हस्तक्षेप" स्कोर 0 था। AI-संचालित टीम ने अपने आप चीजों को ठीक किया।

6. पकड़ (सीमाएँ)

लेखक अपने अध्ययन की सीमाओं के बारे में ईमानदार हैं:

सरल कार्य: उन्होंने केवल सरल, सीधे ढांचों (जैसे सीधे बीम) का परीक्षण किया। उन्होंने जटिल, मुड़े हुए या "बिखरे हुए" वास्तविक दुनिया के इंजीनियरिंग समस्याओं का परीक्षण नहीं किया।
विशिष्ट उपकरण: उन्होंने केवल एक विशिष्ट सॉफ़्टवेयर (MAPDL) और एक विशिष्ट AI मॉडल का उपयोग किया।
"पतली दीवार" का मुद्दा: यहाँ तक कि विजेता टीम भी बहुत पतले, नाजुक हिस्सों (जैसे धातु की एक बहुत पतली शीट) के साथ संघर्ष करती थी जिन्हें मेश करना कठिन होता है। AI कभी-कभी उन विशिष्ट आकारों के लिए ग्रिड कैसे बनाया जाए, यह समझने में असमर्थ रहता था।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र यह सिद्ध करता है कि यदि आप चाहते हैं कि AI इंजीनियरिंग सिमुलेशन को स्वचालित करे, तो आप केवल कोड लिखकर और उम्मीद करके काम नहीं चला सकते। आपको एक प्रबंधक (हार्नेस) की आवश्यकता है जो AI को अपनी गलतियों को पढ़ने और फिर से प्रयास करने के लिए मजबूर करे।

जबकि सरल "चीट शीट्स" (नियम) थोड़ा मदद करती हैं, AI को अपनी गलतियों के बारे में सोचने और अपनी योजना को फिर से लिखने देने से ही ऐसा सिस्टम मिलता है जो विश्वसनीय रूप से काम करता है और जिसे हर बार ठोकर लगने पर इंसान के हाथ पकड़ने की आवश्यकता नहीं होती।

तकनीकी सारांश: विश्वसनीय APDL स्वचालन के लिए CAX-Agent

समस्या विवरण

मैकेनिकल एनालिसिस एंड डिज़ाइन (MAPDL) परिमित तत्व सिमुलेशन (finite-element simulation) के लिए तैनात किए गए लार्ज लैंग्वेज मॉडल्स (LLMs) महत्वपूर्ण विश्वसनीयता चुनौतियों का सामना करते हैं। हालांकि LLMs कोड उत्पन्न कर सकते हैं, लेकिन उनमें अक्सर वह संरचित निष्पादन नियंत्रण (structured execution control), टूल एनकैप्सुलेशन और दोष रिकवरी तंत्र (fault recovery mechanisms) की कमी होती है जो इंजीनियरिंग वर्कफ़्लो के लिए आवश्यक है। सिमुलेशन पाइपलाइनों में, रनटाइम त्रुटियां—जैसे मेशिंग विफलता, अभिसरण (convergence) संबंधी मुद्दे, या परिणामों का अनुपलब्ध होना—सरल कार्यों के लिए भी सामान्य हैं। स्पष्ट रिकवरी तंत्र के बिना, एक एकल विफलता पूरे पाइपलाइन को समाप्त कर देती है। मौजूदा एजेंट फ्रेमवर्क अक्सर यह अपेक्षा करते हैं कि LLM स्वयं अपने निष्पादन का प्रबंधन करे, जो विश्वसनीय, दोहराने योग्य स्वचालन के लिए आवश्यक इंजीनियरिंग कंकाल (engineering skeleton) प्रदान करने में विफल रहता है। विभिन्न रिकवरी नीतियों (जैसे, नियम-आधारित बनाम मॉडल-संचालित) की मानव-सत्यापित परिणामों के साथ बार-बार होने वाली स्थितियों में तुलना करने के लिए नियंत्रित, अनुभवजन्य साक्ष्य का अभाव है।

कार्यप्रणाली

सिस्टम आर्किटेक्चर: CAX-Agent

यह शोध पत्र CAX-Agent को पेश करता है, जो एक हल्का, डोमेन-नेटिव एजेंट हार्नेस है जिसे जेनेरिक फ्रेमवर्क को अनुकूलित करने के बजाय विशेष रूप से APDL स्वचालन के लिए डिज़ाइन किया गया है। आर्किटेक्चर को तीन परतों में व्यवस्थित किया गया है:

LLM सर्विस लेयर: इसमें तेज़ प्रथम-पास जनरेशन के लिए एक स्थानीय हल्का मॉडल (Qwen-27B) और जटिल तर्क एवं मरम्मत के लिए एक बाहरी उच्च-क्षमता वाला API (Claude Sonnet 4.6) शामिल है।
एजेंट हार्नेस (ऑर्केस्ट्रेटर): यह मिडलवेयर टूल लाइफसाइकिल, वर्कफ़्लो स्टेट और दोष निदान (fault diagnosis) का प्रबंधन करता है। महत्वपूर्ण रूप से, ऑर्केस्ट्रेटर—LLM नहीं—रिट्राय बजट (retry budgets), टूल डिस्पैच और स्टॉप कंडीशंस का स्वामी है। यह एक रिकवरी लैडर (Recovery Ladder) लागू करता है जो नियत नियम पैचिंग (deterministic rule patching) से लेकर मॉडल-संचालित पुनर्जनन (regeneration), संदर्भ संवर्धन (context enrichment), और अंततः मानव हस्तक्षेप तक बढ़ता है।
सॉल्वर बैकएंड: MAPDL इंजनों (PyMAPDL, CLI, या फॉलबैक मोड) से जुड़ने वाला एक एकीकृत इंटरफेस।

प्रयोगात्मक डिज़ाइन

अध्ययन 50 मानक संरचनात्मक कार्यों (स्थिर, मोडल और थर्मल लोडिंग के तहत बीम, प्लेट, सिलेंडर) के बेंचमार्क पर तीन अलग-अलग रिकवरी रणनीतियों का मूल्यांकन करता है। कार्यों को जानबूझकर सरल रखा गया है ताकि रिकवरी पॉलिसी के प्रभाव को कार्य की कठिनाई के बजाय अलग किया जा सके।

नो रिकवरी (No Recovery): बिना किसी मरम्मत प्रयास के वन-शॉट निष्पादन।
रूल ओनली (Rule Only): चार स्ट्रिंग-ट्रांसफॉर्म नियमों (जैसे, मेष विफलता के लिए एलिमेंट साइज को दोगुना करना, कन्वर्जेंस समस्याओं के लिए टाइम-स्टेपिंग डालना) का उपयोग करके नियत लॉग-टू-पैच सुधार, बिना अतिरिक्त मॉडल रीजनिंग के।
मॉडल ओनली (Model Only): बाउंडेड रिट्राइज़ (अधिकतम 3 फोर्स्ड रिट्राय राउंड) के साथ एरर-लॉग-कंडीशन्ड मॉडल पुनर्जनन, जहाँ LLM एरर लॉग पढ़ता है, विफलता का निदान करता है, और स्क्रिप्ट को पुनर्जीवित करता है।

मूल्यांकन मेट्रिक्स

प्रत्येक 450 कुल केस-रन (50 कार्य × 3 रणनीतियाँ × 3 रिपीट) का मूल्यांकन निम्नलिखित का उपयोग करके किया गया था:

टास्क स्कोर ( $t_i$ ): आउटपुट इमेज की शुद्धता और पूर्णता के लिए एक मानव-आकलन स्कोर (0–4)।
ऑटोनॉमी स्कोर ( $a_i$ ): एक सिस्टम-व्युत्पन्न स्कोर (0–3) इस आधार पर कि क्या मैन्युअल हस्तक्षेप की आवश्यकता थी।
रिकवरी एफिशिएंसी स्कोर ( $e_i$ ): रिट्राइ काउंट और सॉल्वर परिणामों के आधार पर।
टोटल स्कोर ( $q_i$ ): उपरोक्त का योग ( $t_i + a_i + e_i$ ), जो 0 से 10 तक है।
कम्प्लीशन रेट: एक बाइनरी मीट्रिक जो यह दर्शाता है कि क्या कम से कम एक पोस्ट-प्रोसेसिंग इमेज बनाई गई।
सांख्यिकीय विश्लेषण: क्लिफ्स $\delta$ (इफेक्ट साइज) और मैन-व्हिटनी U टेस्ट का उपयोग करके पेयरवाइज तुलना, जिसमें इंटर-रेटर एग्रीमेंट को क्वाड्रेटिक वेटेड कोहेन'स $\kappa$ (0.84) द्वारा मापा गया।

मुख्य योगदान

CAX-Agent आर्किटेक्चर: एक तीन-स्तरीय, MAPDL-नेटिव एजेंट हार्नेस जिसमें रिकवरी लैडर और ऑर्केस्ट्रेटर-सेंट्रिक कंट्रोल मॉडल है, जो सिमेंटिक रिपेयर (LLM) को निष्पादन नियंत्रण (Harness) से अलग करता है।
नियंत्रित अनुभवजन्य मूल्यांकन: मानव-ब्लाइंड स्कोरिंग और इंटर-रेटर वैलिडेशन का उपयोग करते हुए 50 मानकीकृत APDL कार्यों पर तीन रिकवरी रणनीतियों का एक कठोर, रिपीटेड-रन तुलना।
अनुभवजन्य साक्ष्य: यह प्रदर्शन करना कि मॉडल-ड्रिवन रिकवरी, कम्प्लीशन रेट, आउटपुट क्वालिटी और ऑटोनॉमी में 'रूल ओनली' और 'नो रिकवरी' बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करती है।

परिणाम

मॉडल ओनली रणनीति ने रूल ओनली और नो रिकवरी की तुलना में सभी मेट्रिक्स में श्रेष्ठ प्रदर्शन किया:

कम्प्लीशन रेट: मॉडल ओनली (0.9267) ने रूल ओनली (0.7733) और नो रिकवरी (0.6933) की तुलना में काफी बेहतर प्रदर्शन किया। मॉडल ओनली के 95% कॉन्फिडेंस इंटरवल बेसलाइन्स के साथ ओवरलैप नहीं हुए।
टास्क क्वालिटी: मॉडल ओनली ने 3.59/4 का औसत टास्क स्कोर प्राप्त किया, जबकि रूल ओनली के लिए यह 3.17/4 और नो रिकवरी के लिए 2.74/4 था।
टोटल स्कोर: मॉडल ओनली ने 9.16/10 स्कोर किया, जो रूल ओनली (7.03/10) और नो रिकवरी (5.60/10) से काफी अधिक था।
जीरो-इंटरवेंशन रेट: मॉडल ओनली ने 0.84 प्राप्त किया, जबकि रूल ओनली ने 0.00 प्राप्त किया। पेपर नोट करता है कि रूल ओनली का जीरो स्कोर इसके डिज़ाइन गुण को दर्शाता है जिसमें पुन: निष्पादन से पहले मानव पुष्टि की आवश्यकता होती है, जो पूरी तरह से स्वायत्त संचालन को रोकता है।
इफेक्ट साइजेस: मॉडल ओनली और अन्य रणनीतियों के बीच बड़े इफेक्ट साइज़ (क्लिफ्स $\delta$ = 0.81–0.87) देखे गए, जो इस बात की उच्च संभावना दर्शाते हैं कि एक यादृच्छिक रूप से चुना गया मॉडल ओनली रन, एक रूल ओनली रन से बेहतर होता है।

विफलता विश्लेषण (Failure Analysis): अवशेष विफलताएं स्टैटिक स्ट्रक्चरल सेटिंग्स में केंद्रित थीं, विशेष रूप से उन मामलों में जिनमें पतली दीवार (thin-wall) या मेष-संवेदनशील ज्यामितीय विशेषताएं शामिल थीं। नियत नियम (Deterministic rules) लॉन्ग-टेल सॉल्वर और स्क्रिप्ट-पाथ विफलताओं के लिए अपर्याप्त पाए गए, जबकि मॉडल-ड्रिवन रिपेयर व्यापक विफलता हस्ताक्षरों (failure signatures) के अनुकूल हो गया।

महत्व और दावे

पेपर का दावा है कि CAX-Agent यह प्रदर्शित करता है कि एक हल्का, डोमेन-नेटिव हार्नेस, MAPDL सिमुलेशन को बिखरे हुए, अविश्वसनीय LLM कॉल्स से एक मानकीकृत, पता लगाने योग्य (traceable) और दोहराने योग्य इंजीनियरिंग वर्कफ़्लो में बदल सकता है।

मुख्य निष्कर्षों में शामिल हैं:

रिकवरी की आवश्यकता: स्पष्ट रिकवरी तंत्र सिस्टम विश्वसनीयता के लिए केंद्रीय हैं; रिकवरी के बिना, एकल विफलता पाइपलाइन को समाप्त कर देती है।
मॉडल-ड्रिवन रिपेयर की श्रेष्ठता: जबकि नियत नियम नो रिकवरी की तुलना में कुछ सुधार प्रदान करते हैं, वे विश्वसनीय रूप से आउटपुट क्वालिटी या पूर्ण स्वायत्तता नहीं बढ़ाते हैं। मॉडल-ड्रिवन रिकवरी वर्तमान CAX परिनियोजन के लिए सबसे व्यावहारिक डिफ़ॉल्ट रणनीति है।
ऑर्केस्ट्रेटर-सेंट्रिक कंट्रोल: LLM के तर्क को हार्नेस के निष्पादन नियंत्रण (रिट्राय बजट, स्टॉप कंडीशंस) से अलग करना, व्यवहार संबंधी गारंटी प्रदान करता है जो केवल प्रॉम्प्टिंग अकेले नहीं दे सकती।
मेथोडोलॉजिकल योगदान: यह अध्ययन एक पुनरुत्पादनीय टेम्पलेट प्रदान करता है जिसे अन्य हार्नेस घटकों और सिमुलेशन बैकएंड पर लागू किया जा सकता है।

लेखक इसके दायरे के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि बेंचमार्क सरल ज्यामिति और लीनियर इलास्टिसिटी का उपयोग करता है। वे कहते हैं कि जटिल औद्योगिक सेटिंग्स में व्यावहारिक परिनियोजन से पहले अधिक विविध बेंचमार्क और कई सॉल्वर बैकएंड पर सत्यापन की आवश्यकता है। हालांकि, मुख्य निष्कर्ष—कि नियंत्रित स्थितियों के तहत मॉडल-ड्रिवन रिकवरी, नियम-आधारित और नो-रिकवरी दृष्टिकोणों से बेहतर प्रदर्शन करती है—मजबूत और सांख्यिकीय रूप से महत्वपूर्ण के रूप में प्रस्तुत किया गया है।