🤖 AI

Frontier-Eng: Benchmarking Self-Evolving Agents on Real-World Engineering Tasks with Generative Optimization

यह शोधपत्र Frontier-Eng को प्रस्तुत करता है, जो एक मानव-सत्यापित बेंचमार्क है जिसमें 47 औद्योगिक-स्तर के इंजीनियरिंग कार्य शामिल हैं जो निरंतर फीडबैक और कठिन बाधाओं के माध्यम से प्रपोज़-एग्जीक्यूट-इवैल्यूएट लूप्स के जरिए डिज़ाइनों को पुनरावृत्तीय रूप से अनुकूलित करने की फ्रंटियर भाषा मॉडलों की क्षमता का मूल्यांकन करते हैं, जिससे यह खुलासा होता है कि हालांकि Claude 4.6 Opus अग्रणी है, फिर भी महत्वपूर्ण चुनौतियां बनी हुई हैं और सुधार दोनों आवृत्ति और परिमाण में एक दोहरे पावर-लॉ डिके (dual power-law decay) का अनुसरण करता है।

मूल लेखक: Yizhe Chi, Deyao Hong, Dapeng Jiang, Tianwei Luo, Kaisen Yang, Boshi Zhang, Zhe Cao, Xiaoyan Fan, Bingxiang He, Han Hao, Weiyang Jin, Dianqiao Lei, Qingle Liu, Houde Qian, Bowen Wang, Situ Wang, Youji

प्रकाशित 2026-04-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yizhe Chi, Deyao Hong, Dapeng Jiang, Tianwei Luo, Kaisen Yang, Boshi Zhang, Zhe Cao, Xiaoyan Fan, Bingxiang He, Han Hao, Weiyang Jin, Dianqiao Lei, Qingle Liu, Houde Qian, Bowen Wang, Situ Wang, Youjie Zheng, Yifan Zhou, Calvin Xiao, Eren Cai, Qinhuai Na

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ हैं। वर्षों से, AI शोधकर्ता अपने "कुकिंग रोबोट्स" का परीक्षण करने के लिए एक बहुत ही सरल खेल का उपयोग कर रहे हैं: "क्या आप एक परफेक्ट ऑमलेट बना सकते हैं?"

रोबोट या तो ऑमलेट बनाता है (पास) या उसे जला देता है (फेल)। यह एक बाइनरी गेम है। लेकिन वास्तविक दुनिया में, इंजीनियरिंग केवल एक ऑमलेट बनाने के बारे में नहीं है; यह सबसे बेहतरीन ऑमलेट बनाने के बारे में है। यह गर्मी, समय और सामग्री को थोड़ा बदलने के बारे में है ताकि पैसा बचाया जा सके, बर्बादी कम की जा सके, या इसे कल की तुलना में 1% बेहतर बनाया जा सके। वह छोटा सा 1% सुधार ही असली मूल्य है।

यह पेपर Frontier-Eng पेश करता है, जो AI एजेंटों के लिए एक नया, बहुत कठिन परीक्षण है। यह पूछने के बजाय कि, "क्या आपने इसे हल किया?", यह पूछता है, "आप इसमें कितने बेहतर हुए, और कितनी तेज़ी से?"

यहाँ रोजमर्रा के उपमाओं (analogies) का उपयोग करके इस नए बेंचमार्क का विवरण दिया गया है:

1. पुराना तरीका बनाम नया तरीका

पुराना तरीका (बाइनरी पास/फेल): एक कोडिंग टेस्ट की कल्पना करें जहाँ AI एक प्रोग्राम लिखता है। यदि प्रोग्राम बिना क्रैश हुए चलता है, तो उसे "A" ग्रेड मिलता है। यदि वह क्रैश हो जाता है, तो उसे "F" मिलता है। AI को इससे फर्क नहीं पड़ता कि प्रोग्राम धीमा है या बहुत अधिक मेमोरी का उपयोग कर रहा है; उसे बस काम करना है।
Frontier-Eng का तरीका (जेनरेटिव ऑप्टिमाइज़ेशन): एक वीडियो गेम लेवल की कल्पना करें जहाँ आप एक ऐसे पात्र के साथ शुरू करते हैं जो चल सकता है। लक्ष्य केवल लेवल को पूरा करना नहीं है; बल्कि इसे सबसे तेज़ समय में पूरा करना है।
- AI एक बुनियादी समाधान (जैसे चलना) के साथ शुरू करता है।
- यह दौड़ने, फिर स्प्रिंट करने, फिर उड़ने की कोशिश करता है।
- हर प्रयास के बाद, एक सख्त रेफरी (एक सिम्युलेटर) कहता है, "आप क्रैश हो गए!" या "आपने 2 सेकंड बचाए!"
- AI को लगातार प्रयास करना होगा, रेफरी से सीखना होगा, और अपनी रणनीति को तब तक परिष्कृत (refine) करना होगा जब तक कि वह समय सीमा तक न पहुँच जाए।

2. AI इंजीनियरों के लिए "जिम"

Frontier-Eng एक विशाल, हाई-टेक जिम की तरह है जिसमें 5 अलग-अलग खेलों में 47 अलग-अलग बाधा कोर्स (टास्क) हैं:

कंप्यूटिंग और क्वांटम: जैसे कि एक रेस कार के इंजन को ट्यून करना (GPU कर्नल्स) या क्वांटम लेगो ब्लॉक्स को व्यवस्थित करना।
ऑपरेशंस रिसर्च: जैसे कि बॉटलनेक से बचने के लिए एक विशाल गोदाम या फैक्ट्री असेंबली लाइन का प्रबंधन करना।
रोबोटिक्स और ऊर्जा: जैसे कि एक रोबोट डॉग को बिना गिरे तेज़ी से दौड़ना सिखाना, या बैटरी को फटने से बचाते हुए उसे जितनी जल्दी हो सके चार्ज करना।
ऑप्टिक्स और कम्युनिकेशन: जैसे कि प्रकाश को पूरी तरह से केंद्रित करने के लिए एक लेंस को डिजाइन करना या रेडियो संकेतों को व्यवस्थित करना ताकि वे आपस में न टकराएं।
भौतिक विज्ञान (Physical Sciences): जैसे कि एक ऐसा पुल बनाना जो सबसे अधिक वजन संभालने के साथ कम से कम स्टील का उपयोग करता हो।

3. "चीटिंग रोकने के नियम"

कई AI परीक्षणों में, एक चालाक रोबोट उत्तर याद करके या टेस्ट को चकमा देकर "चीट" कर सकता है। Frontier-Eng में चीटिंग रोकने के लिए सख्त नियम हैं:

ब्लैक बॉक्स रेफरी: AI रेफरी के स्कोरकार्ड को नहीं देख सकता। उसे केवल एक नंबर वापस मिलता है (जैसे, "आपका पुल 500 किलोग्राम झेल सकता है")। वह स्कोर की नकल नहीं कर सकता।
सैंडबॉक्स: AI को अपना समाधान एक बंद कमरे में बनाना होता है। वह दीवारों को तोड़ नहीं सकता या भौतिकी (physics) के नियमों को बदल नहीं सकता।
बजट: AI के पास सीमित "प्रयास" (जैसे 100 प्रयास) होते हैं। वह बस बेतरतीब ढंग से अनुमान नहीं लगा सकता; उसे स्मार्ट और कुशल होना होगा।

4. उन्होंने क्या खोजा (The "Aha!" Moments)

शोधकर्ताओं ने उपलब्ध सबसे स्मार्ट AI मॉडल्स (जैसे Claude, GPT, और अन्य) का इस जिम में परीक्षण किया। यहाँ उन्हें क्या मिला:

"डीप डाइव" बनाम "वाइड नेट":
कल्पना कीजिए कि आप एक छिपे हुए खजाने को खोजने की कोशिश कर रहे हैं।
- चौड़ाई (Width): आप 100 अलग-अलग उथले गड्ढों में देखने के लिए 100 लोगों को भेजते हैं।
- गहराई (Depth): आप एक सही जगह पर एक बहुत गहरा गड्ढा खोदने के लिए एक व्यक्ति को भेजते हैं।
- परिणाम: इंजीनियरिंग में, गहराई जीतती है। वह AI जिसने एक विचार पर टिके रहने और उसे बार-बार परिष्कृत करने (गहराई तक जाने) का फैसला किया, उसने कई उथले विचारों को आज़माने वाले AI की तुलना में बेहतर समाधान खोजे।
सुधार का "पावर लॉ" (Power Law of Improvement):
AI की प्रगति को पहाड़ चढ़ने जैसा समझें।
- शुरुआत में: AI बहुत बड़ी छलांग लगाता है। वह "चलने" से "दौड़ने" तक बहुत तेज़ी से पहुँच जाता है।
- बाद में: लाभ छोटे और छोटे होते जाते हैं। "दौड़ने" से "स्प्रिंट करने" तक जाना कठिन है। "स्प्रिंट करने" से "सुपर-स्प्रिंट करने" तक जाना अविश्वसनीय रूप से कठिन है।
- पेपर में पाया गया कि सुधार कम बार होते हैं और लंबे समय तक प्रयास करने पर छोटे होते जाते हैं। यह स्पंज निचोड़ने जैसा है: पहले कुछ निचोड़ बहुत सारा पानी निकालते हैं; आखिरी कुछ निचोड़ शायद ही एक बूंद निकाल पाते हैं।
सर्वश्रेष्ठ एथलीट:
परीक्षण किए गए मॉडल्स में से, Claude 4.6 Opus सबसे सुसंगत एथलीट था। वह जरूरी नहीं कि हर एक दौड़ जीते, लेकिन वह सभी अलग-अलग खेलों में एक अच्छा स्कोर प्राप्त करने में सबसे विश्वसनीय था। हालांकि, यहाँ तक कि सर्वश्रेष्ठ AI भी सबसे कठिन कार्यों के साथ संघर्ष करता है, जो यह साबित करता है कि अभी भी सुधार की बहुत गुंजाइश है।

5. यह क्यों मायने रखता है

यह पेपर एक चेतावनी (wake-up call) है। यह हमें बताता है कि AI को ऐसा बनाने के लिए जो वास्तव में इंजीनियरों, वैज्ञानिकों और डॉक्टरों की मदद कर सके, हमें उन्हें सरल "सही या गलत" वाले सवालों पर टेस्ट करना बंद करना होगा।

हमें उन्हें पुनरावृत्त सुधार (iterative improvement) पर टेस्ट करने की आवश्यकता है। हमें यह देखने की आवश्यकता है कि क्या वे एक "काफी अच्छे" समाधान को "महान" बना सकते हैं, ठीक वैसे ही जैसे एक मानव इंजीनियर करता है। Frontier-Eng वास्तविक दुनिया की इंजीनियरिंग के जटिल और मूल्यवान काम में AI को एक सच्चा साथी बनाने की दिशा में पहला बड़ा कदम है।

यहाँ शोध पत्र "Frontier-Eng: Generative Optimization के माध्यम से वास्तविक दुनिया के इंजीनियरिंग कार्यों पर Self-Evolving Agents का बेंचमार्किंग" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) एजेंट बेंचमार्क मुख्य रूप से बाइनरी पास/फेल कार्यों (जैसे, टेस्ट सुइट पास करने वाला कोड जनरेशन, या एक निश्चित सही उत्तर के साथ खोज-आधारित प्रश्न उत्तर) पर ध्यान केंद्रित करते हैं। ये बेंचमार्क वास्तविक दुनिया की इंजीनियरिंग के सार को पकड़ने में विफल रहते हैं, जो शायद ही कभी शून्य से किसी एक "सही" समाधान को खोजने के बारे में होती है। इसके बजाय, इंजीनियरिंग एक पुनरावृत्त अनुकूलन प्रक्रिया (iterative optimization process) है: एक व्यवहार्य लेकिन उप-इष्टतम (suboptimal) डिज़ाइन से शुरू होकर, विशेषज्ञ कठिन बाधाओं (सुरक्षा, भौतिकी, लागत) के तहत इसे व्यवस्थित रूप से परिष्कृत करते हैं ताकि ऐसे मामूली लाभ प्राप्त किए जा सकें जो महत्वपूर्ण आर्थिक और व्यावहारिक मूल्य में बदल जाते हैं।

मौजूदा बेंचमक्सों में निम्नलिखित का अभाव है:

निरंतर रिवॉर्ड सिग्नल (Continuous reward signals): वे अक्सर बाइनरी परिणामों पर निर्भर होते हैं न कि क्रमिक प्रदर्शन सुधारों पर।
कठोर व्यवहार्यता बाधाएं (Hard feasibility constraints): वे शायद ही कभी सख्त भौतिक या सुरक्षा सीमाओं को लागू करते हैं जो किसी समाधान को अमान्य कर देती हैं यदि उनका उल्लंघन किया जाता है।
बजट-जागरूक खोज (Budget-aware search): वे यह मूल्यांकन नहीं करते हैं कि एक एजेंट एक निश्चित इंटरैक्शन बजट (पुनरावृत्ति सीमा) के भीतर कितनी प्रभावी ढंग से सर्वश्रेष्ठ संभव समाधान खोजता है।
डोमेन विविधता (Domain diversity): वे अक्सर शुद्ध गणित या सॉफ्टवेयर जैसे विशिष्ट डोमेन तक सीमित होते हैं, जिनमें भौतिक विज्ञान, नियंत्रण प्रणाली और हार्डवेयर डिज़ाइन जैसी व्यापकता की कमी होती है।

2. कार्यप्रणाली: Frontier-Eng बेंचमार्क

लेखक Frontier-Eng पेश करते हैं, जो एक बड़े पैमाने का बेंचमार्क है जिसे जेनेरेटिव ऑप्टिमाइज़ेशन (Generative Optimization) के मूल्यांकन के लिए डिज़ाइन किया गया है—वह प्रक्रिया जहाँ एक एजेंट प्रदर्शन में सुधार के लिए आर्टिफैक्ट्स (artifacts) का प्रस्ताव करता है, निष्पादित करता है, मूल्यांकन करता है और उनमें संशोधन करता है।

A. कार्य संरचना (Task Formulation)

एक इंजीनियरिंग कार्य को एक ट्रिपल $\tau = (C, x_0, E)$ के रूप में परिभाषित किया गया है:

संदर्भ (Context - $C$ ): केवल पढ़ने योग्य (read-only) समस्या विनिर्देश, बाधाएं और संदर्भ डेटा।
प्रारंभिक समाधान (Initial Solution - $x_0$ ): एक व्यवहार्य लेकिन सरल शुरुआती आर्टिफैक्ट (जैसे, कोड, कॉन्फ़िगरेशन)।
इवैल्यूएटर (Evaluator - $E$ ): एक निश्चित, केवल पढ़ने योग्य फ़ंक्शन जो एक व्यवहार्यता संकेतक ( $v \in \{0,1\}$ ) और एक स्केलर स्कोर ( $s \in \mathbb{R}$ ) लौटाता है। स्कोर केवल तभी सार्थक होता है जब समाधान व्यवहार्य हो।

एजेंट एक निश्चित बजट $B$ के तहत कार्य करता है, जिसका लक्ष्य सर्वोत्तम व्यवहार्य स्कोर प्राप्त करना है: $s^* = \max \{s_t \mid v_t=1, 0 \le t \le B\}$ ।

B. बेंचमार्क संरचना (Benchmark Composition)

Frontier-Eng 5 इंजीनियरिंग श्रेणियों में 47 कार्यों को समाहित करता है:

कंप्यूटिंग और क्वांटम सूचना: GPU कर्नेल ऑप्टिमाइज़ेशन (CUDA/Triton), मेमोरी एलोकेटर्स, क्रिप्टोग्राफिक थ्रूपुट, और क्वांटम सर्किट रूटिंग।
ऑपरेशंस रिसर्च और निर्णय विज्ञान: इन्वेंट्री ऑप्टिमाइज़ेशन, जॉब-शॉप शेड्यूलिंग, और पोर्टफोलियो रीबैलेंसिंग।
रोबोटिक्स, कंट्रोल और ऊर्जा प्रणाली: PID ट्यूनिंग, क्वाड्रुपेड गेट ऑप्टिमाइज़ेशन, UAV पाथ प्लानिंग, और बैटरी फास्ट-चार्जिंग प्रोफाइल।
ऑप्टिक्स और संचार प्रणाली: एडेप्टिव ऑप्टिक्स कंट्रोल, होलोग्राफिक पैटर्न डिज़ाइन, और फाइबर-ऑप्टिक नेटवर्क एलोकेशन।
भौतिक विज्ञान और इंजीनियरिंग डिज़ाइन: स्ट्रक्चरल ट्रस ऑप्टिमाइज़ेशन, केमिकल रिएक्शन ऑप्टिमाइज़ेशन, और एरोडायनामिक सेंसर प्लेसमेंट।

C. अखंडता और एंटी-हैकिंग सुरक्षा (Integrity and Anti-Hacking Safeguards)

"रिवॉर्ड हैकिंग" (जहाँ एजेंट समाधान में सुधार करने के बजाय इवैल्यूएटर की कमजोरियों का फायदा उठाते हैं) को रोकने के लिए, बेंचमार्क निम्नलिखित लागू करता है:

रीड-ओनली इवैल्यूएटर: सिमुलेटर्स, सॉल्वर (जैसे, FEM, SPMe), और रेफरेंस इम्प्लीमेंटेशन फ्रीज किए गए हैं और एजेंट के लिए अप्राप्य हैं।
सैंडबॉक्स्ड निष्पादन (Sandboxed Execution): उम्मीदवार आइसोलेटेड वातावरण में चलते हैं।
वेरिफायर-पार्सड स्कोरिंग: स्कोर सिमुलेटर लॉग से निकाले जाते हैं, न कि एजेंट द्वारा स्वयं रिपोर्ट किए जाते हैं।
व्यवहार्यता जाँच (Feasibility Checks): स्कोर मान्य होने के लिए सख्त बाधाओं (जैसे, वोल्टेज सीमाएं, स्ट्रक्चरल स्ट्रेस) को पूरा करना आवश्यक है।

D. मूल्यांकन प्रोटोकॉल (Evaluation Protocol)

चूंकि कार्यों की इकाइयाँ असंगत हैं (जैसे, लेटेंसी बनाम वजन), बेंचमार्क एक रैंक-आधारित प्राथमिक मीट्रिक का उपयोग करता है:

औसत रैंक (Average Rank): मॉडलों को प्रत्येक कार्य पर रैंक किया जाता है; सभी 47 कार्यों में औसत रैंक प्रदर्शन निर्धारित करती है।
परफॉरमेंस प्रोफाइल्स: डोलन और मोरे (2002) पर आधारित, यह उस कार्यों के अंश को मापता है जहाँ एक मॉडल सबसे अच्छे स्कोर के एक कारक $\alpha$ के भीतर है।
जीत की दर (Win Rate): उन कार्यों का अंश जहाँ मॉडल प्रारंभिक बेसलाइन में सुधार करता है।

3. मुख्य योगदान (Key Contributions)

जेनेरेटिव ऑप्टिमाइज़ेशन का औपचारिक रूप देना: एक नया मूल्यांकन दायरा परिभाषित करता है जो एक-बार के जेनरेशन (one-shot generation) के बजाय, निष्पादन योग्य आर्टिफैक्ट्स के पुनरावृत्त, बजट-जागरूक सुधार पर केंद्रित है।
व्यापक बेंचमार्क: वास्तविक सिमुलेटर्स और सॉल्वर्स पर आधारित एकीकृत इंटरफेस के साथ 47 विविध, औद्योगिक-ग्रेड इंजीनियरिंग कार्य पेश करता है।
स्केलिंग और डायनेमिक्स का अनुभवजन्य विश्लेषण: 9 फ्रंटियर मॉडल्स और 3 सर्च फ्रेमवर्क्स का मूल्यांकन करता है, जो व्यवस्थित विफलता मोड और स्केलिंग लॉ को प्रकट करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

A. मॉडल प्रदर्शन (Model Performance)

शीर्ष प्रदर्शनकर्ता: Claude 4.6 Opus ने सर्वश्रेष्ठ औसत रैंक (3.18) प्राप्त की, जो विविध डोमेन में मजबूत प्रदर्शन प्रदर्शित करती है।
अन्य मॉडल: GLM-5 (4.02) और DeepSeek-V3.2 (4.41) इसके बाद आते हैं।
विश्वसनीयता: जबकि Claude 4.6 Opus सबसे मजबूत था, GLM-5 और GPT-OSS-120B ने उच्च "विन रेट" (95% से अधिक कार्यों में सुधार) दिखाया, जो दर्शाता है कि वे हमेशा पूर्णतः सर्वश्रेष्ठ न होने के बावजूद विश्वसनीय सुधारक हैं।

B. सर्च फ्रेमवर्क डायनेमिक्स (Search Framework Dynamics)

अध्ययन ने तीन सर्च फ्रेमवर्क की तुलना की: ABMCTS (रूढ़िवादी), OpenEvolve (आक्रामक), और ShinkaEvolve (निरंतर परिशोधन)।

मॉडल-फ्रेमवर्क इंटरैक्शन: विभिन्न फ्रेमवर्क ने अलग-अलग शक्तियों को उजागर किया। उदाहरण के लिए, OpenEvolve उन मॉडलों का पक्ष लेता है जो "बोल्ड" स्ट्रक्चरल रीराइट करने में सक्षम हैं, जबकि ShinkaEvolve उन मॉडलों की मदद करता है जिन्हें "कैपेबिलिटी कोलैप्स" से बचने के लिए क्रमिक स्कैफोल्डिंग की आवश्यकता होती है।
डेप्थ बनाम विड्थ (Depth vs. Width): एक निश्चित बजट के तहत, डेप्थ (कई चरणों के लिए एक ही रीजनिंग चेन चलाना) विड्थ (उथले डेप्थ के साथ कई समानांतर चेन चलाना) की तुलना में काफी बेहतर प्रदर्शन करती है। यह सुझाव देता है कि जेनेरेटिव ऑप्टिमाइज़ेशन के लिए स्ट्रक्चरल ब्रेकथ्रू के लिए निरंतर संदर्भ संचय (context accumulation) की आवश्यकता होती है।

C. ऑप्टिमाइज़ेशन डायनेमिक्स (Optimization Dynamics - Power Laws)

सुधार के प्रक्षेपवक्र (trajectories) के विश्लेषण ने एक दोहरा पावर-लॉ डिके (dual power-law decay) प्रकट किया:

आवृत्ति (Frequency): सुधार की घटनाएं $t^{-1}$ के अनुपात में घटती हैं (अधिकांश सुधार जल्दी होते हैं)।
परिमाण (Magnitude): $k$ -वें सुधार का आकार $k^{-1}$ के अनुपात में घटता है (शुरुआती सुधार बड़े स्ट्रक्चरल परिवर्तन होते हैं; बाद के सुधार छोटे परिशोधन होते हैं)।

निहितार्थ: ~50–100 पुनरावृत्तियों के बाद मार्जिनल रिटर्न तेजी से कम हो जाता है, जिससे पता चलता है कि खोज रणनीतियों को शुरुआती अन्वेषण और देर के चरण के परिशोधन के बीच संतुलन बनाना चाहिए।

D. केस स्टडी अंतर्दृष्टि (Case Study Insights)

स्ट्रक्चरल थ्रेशोल्ड्स (जैसे, MallocLab): कुछ कार्यों के लिए "रेजीम शिफ्ट" (जैसे, बंप एलोकेटर से सेग्रिगेटेड लिस्ट पर स्विच करना) की आवश्यकता होती है। जो मॉडल "वन-शॉट" आर्किटेक्चरल ओवरहाल (जैसे, Claude + OpenEvolve) कर सकते हैं, वे सफल होते हैं, जबकि अन्य बिना क्रमिक स्कैफोल्डिंग के विफल हो जाते हैं।
बाउंड्री कंट्रोल (जैसे, बैटरी चार्जिंग): सफलता के लिए सुरक्षा सीमाओं के विरुद्ध "बोल्डनेस" (साहस) की आवश्यकता थी। क्रमिक विधियाँ अक्सर रूढ़िवादी शासन में फंसी रहती हैं, जबकि आक्रामक खोज (aggressive search) निकट-इष्टतम सीमाओं को खोज लेती है।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

AI इंजीनियरिंग के लिए नया मानक: Frontier-Eng फोकस को "क्या AI समस्या को हल कर सकता है?" से बदलकर "AI समाधान को कितना अच्छा ऑप्टिमाइज़ कर सकता है?" पर ले जाता है। यह AI मूल्यांकन को मानव इंजीनियरों के वास्तविक वर्कफ़्लो के साथ संरेखित करता है।
इंजीनियरिंग में AGI का मार्ग: परिणाम बताते हैं कि इंजीनियरिंग में आर्टिफिशियल जनरल इंटेलिजेंस (AGI) प्राप्त करने के लिए केवल बड़े मॉडल्स की ही नहीं, बल्कि ऐसी सर्च रणनीतियों की भी आवश्यकता है जो डोमेन ज्ञान को निष्पादन योग्य फीडबैक के साथ प्रभावी ढंग से एकीकृत कर सकें।
व्यावहारिक प्रभाव: यह बेंचमार्क पहचानता है कि वर्तमान एजेंट जटिल भौतिक प्रणालियों में मल्टी-ऑब्जेक्टिव ट्रेड-ऑफ और लॉन्ग-होरिज़न रीजनिंग में संघर्ष करते हैं, जो एजेंट डिज़ाइन के लिए भविष्य के अनुसंधान के विशिष्ट क्षेत्रों को रेखांकित करता है।

निष्कर्षतः, Frontier-Eng यह स्थापित करता है कि हालांकि वर्तमान LLMs में पुनरावृत्त अनुकूलन में उभरती क्षमताएं दिख रही हैं, फिर भी उन्हें वास्तविक दुनिया की इंजीनियरिंग में निहित जटिल, बाधित और निरंतर खोज स्थानों (search spaces) को नेविगेट करने में महत्वपूर्ण चुनौतियों का सामना करना पड़ता है। यह बेंचमार्क उन प्रणालियों की प्रगति को संचालित करने के लिए आवश्यक बुनियादी ढांचा प्रदान करता है जो व्यवस्थित इंजीनियरिंग अनुकूलन के माध्यम से मूर्त मूल्य प्रदान करने में सक्षम हों।