🤖 AI

Frontier-Eng: Benchmarking Self-Evolving Agents on Real-World Engineering Tasks with Generative Optimization

Deze paper introduceert Frontier-Eng, een mens-geverifieerd benchmark voor generatieve optimalisatie dat de prestaties van AI-agenten evalueert op complexe, real-world engineeringtaken door middel van iteratieve propose-execute-evaluate loops binnen industriële simulatoren.

Oorspronkelijke auteurs: Yizhe Chi, Deyao Hong, Dapeng Jiang, Tianwei Luo, Kaisen Yang, Boshi Zhang, Zhe Cao, Xiaoyan Fan, Bingxiang He, Han Hao, Weiyang Jin, Dianqiao Lei, Qingle Liu, Houde Qian, Bowen Wang, Situ Wang, Youji

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yizhe Chi, Deyao Hong, Dapeng Jiang, Tianwei Luo, Kaisen Yang, Boshi Zhang, Zhe Cao, Xiaoyan Fan, Bingxiang He, Han Hao, Weiyang Jin, Dianqiao Lei, Qingle Liu, Houde Qian, Bowen Wang, Situ Wang, Youjie Zheng, Yifan Zhou, Calvin Xiao, Eren Cai, Qinhuai Na

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een auto bouwt. De meeste AI-tests die we vandaag de dag doen, kijken alleen of de auto rijdt of niet. "Ja, hij start en komt aan bij de bestemming? Goed zo!" of "Nee, hij valt uit? Slecht." Dat is een ja/nee-test.

Maar in de echte wereld, bij echte ingenieurs, gaat het niet om of je een auto kunt bouwen. Het gaat erom: Hoeveel liter benzine bespaart hij? Kunnen we de motor 10% stiller maken? Kunnen we de remmen 5% sneller laten werken? Dat is het echte werk: het optimaliseren van iets dat al werkt, om het steeds beter, veiliger en goedkoper te maken.

Dit artikel introduceert Frontier-Eng, een nieuwe manier om te testen of AI-agenten (slimme computerprogramma's) dit soort "beter maken"-werk kunnen doen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Ja/Nee" Valstrik

Tot nu toe testen we AI met vragen als: "Schrijf een code die een lijst sorteert" of "Zoek het antwoord op deze vraag". De AI krijgt een punt als het goed is, en 0 als het fout is.

De analogie: Dit is alsof je een kok test door te vragen of hij een ei kan bakken. Als het ei gaar is, is hij een meesterkok. Maar in de echte keuken wil je weten: Is het ei perfect gebakken? Is het niet te droog? Is de boter netjes gesmolten?
Frontier-Eng kijkt niet naar "is het goed?", maar naar "hoe goed kan het worden binnen een bepaalde tijd?"

2. De Oplossing: Een AI die als een "Vijftigjarig Meester" werkt

Frontier-Eng is een testomgeving met 47 verschillende taken uit echte ingenieurswereld (zoals het ontwerpen van bruggen, het regelen van batterijen voor datacenters, of het optimaliseren van robotarmen).

De AI krijgt hier geen enkele kans om het antwoord te raden. In plaats daarvan krijgt het een taak en een beginsituatie (bijvoorbeeld een slecht werkend batterijlaadprogramma).

Het proces: De AI moet een idee bedenken, het proberen, kijken of het werkt (via een strenge simulator), en als het niet perfect is, het opnieuw proberen en verbeteren.
De analogie: Stel je voor dat je een oude, roestige fiets hebt. De AI is een meester-fietsenmaker. Hij mag de fiets niet weggooien en een nieuwe kopen. Hij moet de roest verwijderen, de ketting smeren, de banden strakker zetten, en telkens weer kijken: "Is hij sneller? Is hij veiliger?" Hij heeft maar een beperkt aantal uren (een "budget") om dit te doen.

3. De Strikte Regels: Geen "Cheaten"

Een groot probleem bij AI is dat ze soms trucs vinden om een hoge score te krijgen zonder echt iets te verbeteren (zoals het hacken van de teller).
Frontier-Eng heeft daarom drie onbreekbare regels:

De "Blinddoek" van de AI: De AI mag alleen de fiets zien en aanraken. Hij mag niet kijken naar de meetapparatuur of de regels van de test.
De "Oordeelkundige Rechter": De score wordt niet door de AI zelf ingevoerd. Een onafhankelijke, onbeweeglijke computer (de simulator) meet de snelheid en veiligheid. Als de AI liegt, ziet de simulator het.
De "Zandbak": De AI werkt in een afgesloten ruimte. Hij kan de rest van het systeem niet kapotmaken.

4. Wat hebben ze ontdekt? (De Resultaten)

Ze hebben gekeken naar de slimste AI-modellen van dit moment (zoals Claude, GPT, DeepSeek) om te zien wie de beste "fietsenmaker" is.

De Winnaar: Het model Claude 4.6 Opus deed het het beste. Het kon het beste nadenken over hoe het de fiets (of de batterij, of de brug) echt moest verbeteren.
De Leercurve (De "Twee-kracht-wet"): Ze ontdekten iets interessants over hoe AI leert:
- Aan het begin maakt de AI grote sprongen (grote verbeteringen).
- Hoe langer je doorgaat, hoe kleiner de verbeteringen worden. Het is alsof je een berg beklimt: eerst loop je snel omhoog, maar naarmate je dichter bij de top komt, moet je elke stapje heel voorzichtig zetten.
- Diepte is belangrijker dan breedte: Het is beter om één keer lang en diep na te denken over één oplossing (diepe keten) dan om tien keer snel iets anders te proberen (brede keten). De AI moet "diep graven" om de echte goudmijntjes te vinden.

5. Waarom is dit belangrijk?

Vroeger dachten we dat AI vooral goed was in het beantwoorden van vragen of het schrijven van code. Dit onderzoek laat zien dat de echte kracht van AI ligt in iteratief verbeteren.

De analogie: Een AI die alleen antwoorden kan geven, is als een student die een examen haalt. Een AI die kan optimaliseren (zoals Frontier-Eng test), is als een uitvinder die een uitvinding neemt en er tien jaar aan werkt om hem perfect te maken.

Kortom: Frontier-Eng is de nieuwe "olympiade" voor AI. Het test niet of een robot een taak kan doen, maar of hij die taak beter kan doen dan een mens door slim te blijven proberen, fouten te analyseren en stap voor stap te verbeteren, precies zoals echte ingenieurs dat doen.

Titel: Frontier-Eng: Benchmarking Self-Evolving Agents op Real-World Engineering Taken met Generatieve Optimalisatie

Auteurs: Navers Lab, Einsia.AI
Datum: April 15, 2026

1. Het Probleem

Huidige benchmarks voor Large Language Model (LLM) agents richten zich voornamelijk op taken met een binair resultaat (pass/fail), zoals het genereren van code die een test suite doorloopt of het beantwoorden van feitelijke vragen via zoekopdrachten. Deze benadering negeert echter de kern van werkelijke engineering: iteratieve optimalisatie.

In de echte wereld is het doel zelden om vanaf nul een perfect antwoord te vinden, maar eerder om een bestaand, haalbaar ontwerp systematisch te verbeteren onder strikte domeinspecifieke constraints (zoals veiligheidslimieten, fysieke wetten of kostprijs). Bestaande benchmarks missen de capaciteit om agents te evalueren die:

Werken in een propose–execute–evaluate lus.
Omgaan met continue beloningssignalen in plaats van alleen pass/fail.
Omgaan met harde haalbaarheidsconstraints binnen een beperkt interactiebudget.
Domeinkennis integreren met uitvoerbare feedback van simulators.

2. Methodologie: De Frontier-Eng Benchmark

Frontier-Eng introduceert een nieuwe benchmark voor generatieve optimalisatie, gedefinieerd als het gebruik van generatieve modellen als iteratieve proposers binnen een evaluatie-en-verbeteringslus.

A. Taakformulering

Elke engineering-taak $\tau$ wordt gedefinieerd als een drietal $(C, x_0, E)$ :

Context ( $C$ ): De probleemspecificatie, constraints en referentiedata (alleen leesbaar voor de agent).
Initiële Oplossing ( $x_0$ ): Een haalbaar, maar vaak naïef startpunt (bijv. een codebestand of configuratie).
Evaluator ( $E$ ): Een vaste, onveranderbare functie die een kandidaat-oplossing $x$ $x$ test en teruggeeft:
- Een haalbaarheidsindicator ( $v(x) \in \{0,1\}$ ): Voldoet de oplossing aan alle harde constraints?
- Een scalarscore ( $s(x) \in \mathbb{R}$ ): De prestatie, alleen relevant als $v(x)=1$ .

De agent heeft een interactiebudget ( $B$ ) om iteratief nieuwe kandidaten te genereren op basis van de geschiedenis van eerdere pogingen en feedback, met als doel de beste haalbare score binnen dit budget te maximaliseren.

B. Benchmark Samenstelling

Omvang: 47 taken verdeeld over 5 brede engineering-categorieën:
1. Computing & Quantum Information (bijv. CUDA-kernels, quantum circuit routing).
2. Operations Research & Decision Science (bijv. voorraadoptimalisatie, job-shop scheduling).
3. Robotics, Control & Energy Systems (bijv. PID-tuning, batterijlaadprofielen).
4. Optics & Communication Systems (bijv. adaptieve optica, holografie).
5. Physical Sciences & Engineering Design (bijv. truss-structuuroptimalisatie, aerodynamica).
Integriteit en Anti-Hacking:
- Alle evaluators en referentiedata zijn read-only.
- Uitvoering vindt plaats in gesandboxde tijdelijke mappen.
- Scores worden afgeleid uit logs van de verifiers (niet door de agent gerapporteerd).
- Gebruik van industriële simulators (MuJoCo, PyBullet, FEM-solvers, OpenSSL).

C. Evaluatie Protocol

Omdat scores in verschillende eenheden worden gemeten (bijv. doorvoer in Mbps vs. structuurgewicht in kg), gebruikt Frontier-Eng een ranggebaseerde methode:

Gemiddelde Rang (Average Rank): De primaire metriek. Lager is beter.
Performance Profile: Analyseert hoe snel de prestaties afnemen ten opzichte van de beste gevonden oplossing.
Win Rate: Het percentage taken waarbij de agent de initiële baseline verbetert.

3. Key Contributions

Formalisatie van Generatieve Optimalisatie: Een nieuw evaluatiescope dat zich richt op budgetbewuste, iteratieve verbetering van uitvoerbare artefacten onder harde engineering-constraints, in plaats van eenmalige antwoordgeneratie.
Uitgebreide Benchmark: Een collectie van 47 real-world engineering taken met een gestandaardiseerde interface, die domeinspecifieke simulators behoudt maar cross-task vergelijking mogelijk maakt.
Empirische Analyse: Een evaluatie van 8 state-of-the-art taalmodellen en verschillende zoekstrategieën, wat inzicht geeft in schalingstrends en systematische faalmodi.

4. Resultaten

De auteurs hebben negen foundation modellen getest (o.a. Claude 4.6 Opus, GPT-5.4, DeepSeek V3.2, GLM-5) met drie zoekframeworks (OpenEvolve, ShinkaEvolve, ABMCTS).

Model Prestaties: Claude 4.6 Opus behaalde de beste gemiddelde rang (3.18) en toonde de meest robuuste prestaties, vooral in taken die vroege, structurele herzieningen vereisen. Andere modellen zoals GLM-5 en GPT-OSS-120b waren echter zeer betrouwbaar in het verbeteren van de baseline (hoge win-rate).
Zoekstrategieën:
- OpenEvolve (agressief) presteerde het beste op taken die "regime shifts" vereisten (bijv. volledige architectuurwijzigingen).
- ShinkaEvolve (incrementeel) was effectiever voor taken die fijne afstelling vereisten of waar modellen vastliepen bij grote wijzigingen.
- ABMCTS (conservatief) concentreerde verbeteringen vroeg, maar miste vaak late doorbraken.
Dynamiek van Verbetering:
- Er werd een dubbele power-law decay waargenomen:
  1. De frequentie van verbeteringen neemt af als $\sim 1/t$ (iteratie).
  2. De grootte van elke verbetering neemt af als $\sim 1/k$ (aantal verbeteringen).
- Dit betekent dat de meeste winst wordt behaald in de eerste 30-50 iteraties, en latere stappen steeds kleiner zijn.
Diepte vs. Breedte: Onder een vast budget bleek diepte (één lange zoekketen) cruciaal voor moeilijke verbeteringen. Het spreiden van het budget over meerdere parallelle ketens (breedte) leverde minder goede resultaten op dan het volgen van één diepe redeneringsketen.

5. Betekenis en Conclusie

Frontier-Eng stelt een nieuwe standaard voor het beoordelen van AI-agents in complexe, open-ended engineeringproblemen. De belangrijkste inzichten zijn:

Iteratie is essentieel: Engineering is niet een "one-shot" taak; de waarde zit in de systematische verbetering van haalbare ontwerpen.
Model- en Framework-interactie: De keuze van het zoekframework is net zo belangrijk als het model zelf. Sommige taken vereisen "durf" voor grote sprongen (OpenEvolve), terwijl andere incrementele stabiliteit nodig hebben.
Toekomstige Richting: Om "Engineering Artificial General Intelligence" te bereiken, moeten agents niet alleen groter worden, maar ook betere zoekstrategieën ontwikkelen die domeinkennis effectief integreren met uitvoerbare feedback.

De benchmark biedt een stabiel platform om de capaciteit van AI-systemen te meten om de kerncyclus van engineering (definieren, bouwen, testen, verfijnen) te automatiseren en zo tastbare economische en praktische waarde te genereren.