Beyond Executable Models: The Pufibara Agent Harness and the Modelica Agent Workflow Benchmark for Physical System Modeling

इंजीनियरिंग की दुनिया में, एक पुल, एक पावर ग्रिड या एक हीटिंग सिस्टम बनाने के लिए केवल उस कोड को लिखने से कहीं अधिक की आवश्यकता होती है जिसे कंप्यूटर पढ़ सके। इसके लिए यह आवश्यक है कि डिजिटल मॉडल बिल्कुल उसी वास्तविक भौतिक वस्तु की तरह व्यवहार करे जिसका वह प्रतिनिधित्व करता है। दशकों से, इंजीनियर इन जटिल प्रणालियों का वर्णन करने के लिए 'मॉडलिका' (Modelica) नामक एक विशेष भाषा का उपयोग करते आए हैं। मानक प्रोग्रामिंग के विपरीत, जहाँ एक कंप्यूटर ऊपर से नीचे तक निर्देशों की एक सख्त सूची का पालन करता है, मॉडलिका मात्राओं के बीच संबंधों को बताने का काम करती है, जैसे कि दबाव का प्रवाह से या वोल्टेज का करंट से संबंध कैसे होता है। इसके बाद कंप्यूटर इन संबंधों को हल करने के लिए संचालन के क्रम का निर्धारण करता है। यह लचीलापन शक्तिशाली तो है, लेकिन यह कृत्रिम बुद्धिमत्ता (AI) के लिए एक अनूठी समस्या भी पैदा करता है। एक AI आसानी से ऐसा मॉडलिका कोड लिख सकता है जो दिखने में सही हो और बिना क्रैश हुए चल भी जाए, फिर भी वह एक ऐसे भौतिक सिस्टम का वर्णन कर सकता है जो भौतिकी के नियमों का उल्लंघन करता हो या परियोजना की विशिष्ट आवश्यकताओं को पूरा करने में विफल हो। मशीन ने सिंटैक्स के नियमों का पालन किया है, लेकिन वह इंजीनियरिंग के मूल उद्देश्य को समझने में चूक गई है।

एक ऐसे मॉडल के बीच जो केवल चलता है और एक ऐसे मॉडल के बीच जो वास्तव में सही है, यह अंतर ही टीयू ड्रेसडेन (TU Dresden) के शोधकर्ताओं के एक नए अध्ययन द्वारा संबोधित किया गया मुख्य विषय है। वांग ज़िज़े (Wang Zizhe) के नेतृत्व वाली टीम ने यह देखने के लिए प्रयास किया कि क्या AI एजेंट—ऐसे प्रोग्राम जो सोच सकते हैं, कार्य कर सकते हैं और उपकरणों का उपयोग कर सकते हैं—इन भौतिक सिस्टम मॉडलों को अपने आप ठीक करने, बनाने और ट्यून करने के लिए भरोसेमंद हो सकते हैं। उन्होंने पाया कि जबकि वर्तमान AI उपकरण कोड उत्पन्न करने में सक्षम हैं, वे अक्सर बदलाव करते समय मूल इंजीनियरिंग लक्ष्यों से भटक जाते हैं, या वे मॉडल के पुराने संस्करणों के परीक्षण परिणामों पर निर्भर रहते हैं जो अब लागू नहीं होते। इसे हल करने के लिए, शोधकर्ताओं ने 'पुफिबारा' (Pufibara) नामक एक नया सिस्टम बनाया। यह सिस्टम एक सख्त पर्यवेक्षक के रूप में कार्य करता है जो इस बात का स्थायी रिकॉर्ड रखता है कि परियोजना की आवश्यकताएं क्या हैं, यह सुनिश्चित करते हुए कि जब भी AI मॉडल में कोई बदलाव करता है, तो वह नए संस्करण की मूल लक्ष्यों के विरुद्ध पुन: जाँच करता है। उन्होंने इस प्रणाली का परीक्षण 232 विभिन्न इंजीनियरिंग कार्यों के एक विशाल संग्रह का उपयोग करके एक अग्रणी वाणिज्यिक AI कोडिंग टूल के विरुद्ध किया। परिणामों ने दिखाया कि नया सिस्टम न केवल अधिक समस्याओं को हल करता है, बल्कि यह काफी कम कंप्यूटिंग संसाधनों का उपयोग करके भी करता है, जिससे सिद्ध होता है कि AI को कैसे निर्देशित किया जाता है, यह उतना ही महत्वपूर्ण है जितना कि वह बुद्धिमत्ता जिसका वह उपयोग करता है।

शोधकर्ताओं ने इस समस्या के प्रति यह पहचानते हुए दृष्टिकोण अपनाया कि भौतिक इंजीनियरिंग, एक मानक कंप्यूटर प्रोग्राम लिखने से भिन्न है। एक विशिष्ट सॉफ्टवेयर प्रोजेक्ट में, यदि कोई प्रोग्राम त्रुटियों के बिना चलता है, तो इसे अक्सर सफलता माना जाता है। भौतिक मॉडलिंग में, एक मॉडल पूरी तरह से चल सकता है और फिर भी गलत हो सकता है। उदाहरण के लिए, एक AI पानी के पंप का एक मॉडल बना सकता है जो बिना किसी त्रुटि के संकलित (compile) होता है और सुचारू रूप से सिम्युलेट होता है, लेकिन यदि वह मॉडल भविष्यवाणी करता है कि पानी पंप के बिना ऊपर की ओर चढ़ रहा है, तो वह इंजीनियरिंग परीक्षण में विफल हो गया है। मुख्य कठिनाई कार्य की पुनरावृत्ति (iterative) प्रकृति में निहित है। जैसे ही एक AI एजेंट मॉडल को ठीक करने का प्रयास करता है, वह एक पैरामीटर बदल सकता है, एक सिमुलेशन चला सकता है, एक परिणाम देख सकता है, और फिर दूसरा पैरामीटर बदल सकता है। एक सावधानीपूर्वक मेमोरी सिस्टम के बिना, एजेंट यह भूल सकता है कि पहला बदलाव क्यों आवश्यक था, या वह गलती से यह मान सकता है कि मॉडल के पुराने संस्करण से प्राप्त सिमुलेशन परिणाम अभी भी नए संस्करण पर लागू होते हैं। यह भ्रम एजेंट को एक ऐसा अंतिम मॉडल प्रस्तुत करने की ओर ले जा सकता है जो सतह पर तो अच्छा दिखता है लेकिन कार्य की विशिष्ट भौतिक आवश्यकताओं को पूरा करने में विफल रहता है।

इसे रोकने के लिए, टीम ने पुफिबारा को एक विशिष्ट आर्किटेक्चर के साथ डिजाइन किया जो इंजीनियरिंग आवश्यकताओं को निरंतर दायित्वों (persistent obligations) के रूप में मानता है। एक प्रोजेक्ट मैनेजर की कल्पना करें जो उस चेकलिस्ट को रखता है जिसका पालन हर नियम को करना है, चाहे वह स्टील की मजबूती हो या हवा का प्रवाह। हर बार जब वास्तुकार (architect) कोई बदलाव करता है, तो मैनेजर नए डिजाइन की जांच उसी चेकलिस्ट के विरुद्ध करता है, और उन पुराने परीक्षण परिणामों को अनदेखा करता है जो वर्तमान डिजाइन से मेल नहीं खाते। पुफिबारा AI एजेंटों के लिए बिल्कुल यही करता है। यह इंजीनियरिंग आवश्यकताओं का एक "लेजर" (ledger) बनाए रखता है जो पूरी प्रक्रिया के दौरान सक्रिय रहता है। यह प्रत्येक सिमुलेशन परिणाम को सीधे उस मॉडल के विशिष्ट संस्करण से जोड़ता है जिसने उसे उत्पन्न किया है। यदि मॉडल बदलता है, तो सिस्टम जानता है कि पुराने परिणाम अब वैध नहीं हैं और वह एजेंट को नए संस्करण का पुनर्मूल्यांकन करने के लिए मजबूर करता है। महत्वपूर्ण रूप से, सिस्टम एजेंट को एक अंतिम उत्तर प्रस्तुत करने के लिए एक स्पष्ट निर्णय लेने की आवश्यकता देता है। AI केवल इसलिए नहीं रुक सकता क्योंकि उसका समय समाप्त हो गया है या क्योंकि कोड संकलित हो गया है; उसे सक्रिय रूप से यह घोषित करना होगा कि उसने पर्याप्त साक्ष्य एकत्र कर लिया है जो यह सिद्ध करता है कि मॉडल सभी इंजीनियरिंग नियमों को पूरा करता है।

यह परीक्षण करने के लिए कि क्या यह दृष्टिकोण वास्तव में काम करता है, शोधकर्ताओं को प्रदर्शन को मापने के लिए एक निष्पक्ष और यथार्थवादी तरीके की आवश्यकता थी। वे केवल मौजूदा सार्वजनिक मॉडलों का उपयोग नहीं कर सकते थे, क्योंकि एक AI ने प्रशिक्षण के दौरान उन्हें पहले ही देख लिया होगा और उत्तरों को बस याद कर लिया होगा। इसके बजाय, उन्होंने 'मॉडलिका एजेंट वर्कफ़्लो बेंचमार्क' (Modelica Agent Workflow Benchmark) नामक एक नया बेंचमार्क बनाया। उन्होंने वास्तविक, कार्यशील इंजीनियरिंग मॉडलों से शुरुआत की और फिर विशिष्ट दोषों, नई डिजाइन आवश्यकताओं या ट्यूनिंग लक्ष्यों को पेश करके 232 अद्वितीय चुनौतियाँ बनाईं। ये कार्य टूटे हुए मॉडलों को ठीक करने से लेकर नए मॉडल बनाने और विशिष्ट प्रदर्शन लक्ष्यों को पूरा करने के लिए मापदंडों को समायोजित करने तक विस्तृत थे। इस बेंचमार्क में एक छिपा हुआ "इवैल्यूएटर" (evaluator) शामिल था जो एक स्वतंत्र न्यायाधीश के रूप में कार्य करता था। यह न्यायाधीश AI की आंतरिक विचार प्रक्रिया या उसके मध्यवर्ती चरणों को नहीं देखता था; वह केवल एजेंट द्वारा प्रस्तुत किए गए अंतिम मॉडल को देखता था और यह जाँचता था कि क्या वह भौतिक और व्यवहारिक परीक्षणों के एक सख्त सेट को पास करता है। इसने यह सुनिश्चित किया कि AI का परीक्षण उसकी समस्या को हल करने की क्षमता पर हो रहा है, न कि इस पर कि वह परीक्षण के स्वरूप का अनुमान लगाने में कितना सक्षम है।

अध्ययन ने नए पुफिबारा सिस्टम की तुलना 'क्लॉड कोड' (Claude Code) से की, जो एक प्रसिद्ध वाणिज्यिक AI कोडिंग सहायक है, जिसमें एजेंट के पीछे के "मस्तिष्क" के रूप में दो अलग-अलग लार्ज लैंग्वेज मॉडल्स का उपयोग किया गया। परिणाम स्पष्ट और सुसंगत थे। सभी 232 कार्यों में, पुफिबारा ने वाणिज्यिक टूल की तुलना में अधिक समस्याओं को सफलतापूर्वक पूरा किया। जब एक विशिष्ट AI मस्तिष्क का उपयोग किया गया, तो पुफिबारा ने 202 कार्यों को हल किया जबकि दूसरे टूल ने 185 को हल किया। एक अलग AI मस्तिष्क के साथ, पुफिबारा ने फिर से 202 कार्यों को हल किया जबकि प्रतिस्पर्धी ने 187 को हल किया। अंतर उन कार्यों में सबसे अधिक स्पष्ट था जिनमें शून्य से मॉडल बनाने की आवश्यकता थी, जहाँ पुफिबरा ने अन्य सिस्टम की तुलना में काफी अधिक समस्याओं को हल किया। केवल अधिक समस्याओं को हल करने के अलावा, पुफिबारा बहुत अधिक कुशल भी था। इसने लगभग 76% से 82% कम कंप्यूटिंग टोकन—सूचना की बुनियादी इकाइयाँ जिन्हें AI प्रोसेस करता है—का उपयोग किया और कार्यों को काफी कम समय में पूरा किया, जिसमें कुछ रन प्रतिस्पर्धी की तुलना में 58% तक कम समय लेते हैं।

शायद सबसे महत्वपूर्ण निष्कर्ष यह नहीं था कि पुफिबारा ने अधिक समस्याओं को हल किया, बल्कि यह था कि उसने सही प्रकार की समस्याओं को हल किया। शोधकर्ताओं ने पाया कि प्रतिस्पर्धी टूल अक्सर ऐसे मॉडल तैयार करता था जो निष्पादन योग्य (executable) थे और बुनियादी जाँचों को पास कर लेते थे, लेकिन गहरे भौतिक आवश्यकताओं में विफल हो जाते थे। कठिन कार्यों के एक सेट में, वाणिज्यिक टूल ने ऐसे मॉडल प्रस्तुत किए जो बिना किसी त्रुटि के चले लेकिन इंजीनियरिंग नियमों के अनुसार सही व्यवहार नहीं करते थे, जो 38 में से 21 मामलों में देखा गया। पुफिबारा ने यह गलती केवल चार बार की। यह सुझाव देता है कि वाणिज्यिक टूल अक्सर एक ऐसे मॉडल से संतुष्ट था जो बस चलता था, जबकि पुफिबारा की सख्त आवश्यकता कि साक्ष्य को मॉडल के वर्तमान संस्करण से जोड़ा जाए और इंजीनियरिंग दायित्वों को स्पष्ट रूप से सत्यापित किया जाए, इसे त्रुटिपूर्ण समाधान प्रस्तुत करने से रोकती है। अध्ययन से पता चलता है कि AI के वर्कफ़्लो की संरचना—कि वह कैसे याद रखता है, जाँच करता है और निर्णय लेता है—उस भाषा मॉडल की बुद्धिमत्ता जितनी ही महत्वपूर्ण है।

इस कार्य के निहितार्थ केवल एक प्रकार की इंजीनियरिंग भाषा तक सीमित नहीं हैं। अनुसंधान यह प्रदर्शित करता है कि भौतिकी और इंजीनियरिंग जैसे जटिल, वास्तविक दुनिया के क्षेत्रों में AI के वास्तव में उपयोगी होने के लिए, यह केवल एक कोड जनरेटर नहीं हो सकता है। इसे एक ऐसा एजेंट होना चाहिए जो एक ऐसे प्रोग्राम और एक ऐसी प्रणाली के बीच के अंतर को समझता हो जो चलता है और जो भौतिक रूप से सही है। इंजीनियरिंग आवश्यकताओं का एक निरंतर रिकॉर्ड रखकर और AI को प्रत्येक परिवर्तन के साथ उन आवश्यकताओं के विरुद्ध अपने कार्य को पुन: सत्यापित करने के लिए मजबूर करके, यह प्रणाली सुनिश्चित करती है कि अंतिम आउटपुट विश्वसनीय है। शोधकर्ता नोट करते हैं कि हालांकि उनके परिणाम मजबूत हैं, वे उन कार्यों और स्थितियों के विशिष्ट हैं जिनका उन्होंने परीक्षण किया है। वे यह दावा नहीं करते हैं कि उन्होंने इंजीनियरिंग में AI की समस्या को हमेशा के लिए हल कर दिया है, बल्कि उन्होंने एक स्पष्ट ब्लूप्रिंट प्रदान किया है कि कैसे ऐसे AI सिस्टम बनाए जाएं जिनके खतरनाक गलतियाँ करने की संभावना कम हो। जैसे-जैसे क्षेत्र आगे बढ़ रहा है, ध्यान संभवतः इन विधियों को और भी अधिक जटिल औद्योगिक समस्याओं पर परीक्षण करने और यह देखने पर केंद्रित होगा कि वे विभिन्न प्रकार के AI मॉडल्स के साथ कैसे काम करते हैं, ताकि यह सुनिश्चित किया जा सके कि भविष्य के उपकरण उतने ही विश्वसनीय हों जितने कि वे सिस्टम जिन्हें वे बनाने के लिए डिज़ाइन किए गए हैं।