🤖 AI

Frontier-Eng: Benchmarking Self-Evolving Agents on Real-World Engineering Tasks with Generative Optimization

Das Paper stellt Frontier-Eng vor, ein neues Benchmark für generative Optimierung, das die Fähigkeit von KI-Agenten bewertet, durch iterative Schleifen mit industriellen Simulatoren und kontinuierlichen Feedback-Signalen komplexe reale Ingenieursaufgaben zu lösen.

Ursprüngliche Autoren: Yizhe Chi, Deyao Hong, Dapeng Jiang, Tianwei Luo, Kaisen Yang, Boshi Zhang, Zhe Cao, Xiaoyan Fan, Bingxiang He, Han Hao, Weiyang Jin, Dianqiao Lei, Qingle Liu, Houde Qian, Bowen Wang, Situ Wang, Youji

Veröffentlicht 2026-04-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yizhe Chi, Deyao Hong, Dapeng Jiang, Tianwei Luo, Kaisen Yang, Boshi Zhang, Zhe Cao, Xiaoyan Fan, Bingxiang He, Han Hao, Weiyang Jin, Dianqiao Lei, Qingle Liu, Houde Qian, Bowen Wang, Situ Wang, Youjie Zheng, Yifan Zhou, Calvin Xiao, Eren Cai, Qinhuai Na

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Geschichte vom perfekten Kochrezept

Stell dir vor, du hast einen Koch, der sehr gut darin ist, ein Gericht zum ersten Mal zuzubereiten. Er kann ein Rezept lesen und sofort einen funktionierenden Salat oder eine Suppe machen. Das ist das, was die meisten aktuellen KI-Tests prüfen: „Kann der Koch das Gericht überhaupt fertigstellen? Ja? Super! Punkte."

Aber im echten Leben, besonders in der Ingenieurwissenschaft (also beim Bauen von Brücken, Batterien oder Robotern), reicht es nicht, nur etwas zu bauen, das funktioniert. Das Ziel ist es, es besser, schneller und effizienter zu machen.

Ein Ingenieur sagt nicht: „Hier ist eine Brücke, sie hält."
Er sagt: „Hier ist eine Brücke. Aber können wir sie so umbauen, dass sie 20 % leichter ist, ohne dass sie einstürzt? Können wir die Batterie so laden, dass sie 10 Minuten schneller voll ist, ohne zu überhitzen?"

Das Problem: Der „Ja/Nein"-Test vs. Der „Verbesserungs"-Test

Die bisherigen KI-Tests waren wie ein Schultest mit nur „Richtig" oder „Falsch".

Der alte Weg: Der KI wird eine Aufgabe gegeben. Sie schreibt Code. Der Test läuft. Wenn der Code funktioniert, gibt es einen Haken (✓). Wenn nicht, ein Kreuz (✗). Fertig.
Das Problem: In der echten Welt gibt es selten nur eine richtige Antwort. Es gibt viele gute Antworten, und die Kunst liegt darin, die beste zu finden. Ein Code, der funktioniert, ist nur der Anfang. Die wahre Leistung zeigt sich darin, ihn immer weiter zu optimieren.

Die Lösung: Frontier-Eng (Der neue „Meister-Koch-Wettbewerb")

Das Team hinter Frontier-Eng hat einen neuen Wettbewerb erfunden, der genau dieses „Verbessern" testet. Stell dir das wie einen Kochwettbewerb vor, bei dem der Chefkoch nicht nur ein neues Gericht erfinden muss, sondern ein bestehendes Rezept 47 Mal hintereinander verbessern muss, bis es perfekt ist.

Wie funktioniert das?

Der Start: Die KI bekommt ein „naives" (einfaches) Design, das funktioniert, aber nicht toll ist (z. B. eine Batterie, die langsam lädt).
Der Kreislauf (Propose – Execute – Evaluate):
- Vorschlag: Die KI denkt sich eine Änderung aus (z. B. „Lass uns den Ladestrom in drei Stufen statt einer Stufe erhöhen").
- Ausführung: Ein strenger, unbestechlicher Simulator (der „Schiedsrichter") baut das neue Design im Computer nach.
- Bewertung: Der Schiedsrichter prüft: Hält es noch? Ist es sicher? Wie viel besser ist es? Er gibt eine Zahl zurück (z. B. „10 % schneller"), keine einfache Ja/Nein-Antwort.
Wiederholung: Die KI nutzt diese Zahl, um den nächsten Vorschlag zu machen. Sie darf das nur eine begrenzte Zeit tun (ein „Budget" an Versuchen).

Warum ist das so schwierig? (Die 47 Aufgaben)

Der Wettbewerb hat 47 verschiedene Aufgaben aus fünf Bereichen, wie ein riesiges Buffet an Problemen:

Computer & Quanten: Wie macht man einen Chip schneller?
Logistik: Wie plant man Lieferketten so, dass keine Ware verdirbt?
Robotik: Wie lässt man einen Roboterarm schneller und sicherer bewegen?
Energie: Wie lädt man eine E-Auto-Batterie am schnellsten, ohne sie zu zerstören?
Optik & Physik: Wie fokussiert man Licht so präzise wie möglich?

Das Tolle daran: Die KI kann nicht schummeln. Der „Schiedsrichter" ist ein festes Computerprogramm, das man nicht manipulieren kann. Die KI muss das Problem wirklich lösen, nicht nur den Test trickreich bestehen.

Was haben sie herausgefunden? (Die Ergebnisse)

Sie haben verschiedene KI-Modelle (die „Köche") getestet.

Der Gewinner: Ein Modell namens Claude 4.6 Opus war der beste. Es konnte die meisten Probleme am effektivsten verbessern.
Die Erkenntnis: Es ist nicht genug, einfach nur „klüger" zu sein. Die KI muss lernen, schrittweise zu optimieren.
- Tiefe vs. Breite: Es bringt nichts, 100 verschiedene, oberflächliche Ideen zu testen. Es ist besser, sich auf eine gute Idee zu konzentrieren und sie immer weiter zu verfeinern (Tiefe), als viele neue, aber schwache Ideen zu versuchen (Breite).
- Das Gesetz des abnehmenden Ertrags: Am Anfang passieren große Sprünge (die Batterie wird sofort 20 % schneller). Aber je weiter man kommt, desto schwieriger wird es. Die nächsten 1 % Verbesserung sind viel härter zu erreichen als die ersten 20 %.

Warum ist das wichtig?

Bisher haben wir KIs getestet, die gut darin sind, Fragen zu beantworten oder Code zu schreiben, der funktioniert.
Frontier-Eng testet KIs, die gut darin sind, Ingenieure zu sein.

Es ist der Unterschied zwischen einem Schüler, der eine Matheaufgabe richtig löst, und einem Ingenieur, der eine Brücke baut, die nicht nur steht, sondern auch das Material spart und den Verkehr beschleunigt.

Zusammengefasst:
Frontier-Eng ist ein neuer, fairer und strenger Test, der zeigt, wie gut eine KI echte Probleme in der Welt verbessern kann – nicht nur, ob sie sie lösen kann. Es ist der erste Schritt hin zu einer KI, die uns wirklich hilft, die Welt effizienter und besser zu machen.

1. Problemstellung und Motivation

Herkömmliche Benchmarks für Large Language Model (LLM) Agenten konzentrieren sich überwiegend auf binäre „Pass/Fail"-Aufgaben, wie z. B. das Generieren von Code, der einen Test besteht, oder das Beantworten von Faktenfragen. Diese Ansätze vernachlässigen jedoch den Kern realer Ingenieursarbeit: die iterative Optimierung bereits existierender, machbarer Designs unter komplexen, domänenspezifischen Randbedingungen.

In der echten Welt geht es selten darum, eine perfekte Lösung von Null zu erstellen, sondern einen funktionsfähigen Entwurf schrittweise zu verbessern (z. B. Batterieladezeiten verkürzen, Materialverbrauch bei Trägern reduzieren oder Scheduling-Algorithmen optimieren). Diese Probleme zeichnen sich durch folgende Merkmale aus:

Kein eindeutiges Optimum: Oft gibt es kein bekanntes theoretisches Maximum; der Suchraum ist unbeschränkt, und weitere Anstrengungen führen zu messbaren, wenn auch kleineren Gewinnen.
Kontinuierliche Belohnung: Im Gegensatz zu binären Tests liefern reale Simulatoren kontinuierliche Feedback-Signale (Scores).
Harte Constraints: Lösungen müssen physikalische oder sicherheitsrelevante Grenzen einhalten (z. B. Temperaturlimits, strukturelle Integrität), sonst sind sie wertlos.

Bisher fehlte ein umfassender Benchmark, der Agenten in der Lage prüft, domänenspezifisches Wissen mit ausführbarem Feedback zu integrieren, um unter einem festen Interaktionsbudget („Budget") die bestmögliche Lösung zu finden.

2. Methodik: Frontier-Eng Benchmark

Das Paper stellt Frontier-Eng vor, einen groß angelegten Benchmark für „Generative Optimization" (generative Optimierung).

Aufgabenformulierung:
Eine Ingenieursoptimierungsaufgabe wird als Tripel $\tau = (C, x_0, E)$ definiert:

$C$ (Kontext): Problemstellung, Constraints und Referenzdaten (nur lesbar).
$x_0$ (Initiale Lösung): Ein funktionsfähiger, aber oft naiver Startcode oder eine Konfiguration.
$E$ $E$ (Evaluator): Ein festes, unveränderbares Programm (Simulator, Solver), das eine Kandidatenlösung $x$ $x$ bewertet und zwei Signale zurückgibt:
1. Ein Machbarkeits-Indikator ( $v \in \{0, 1\}$ ): Erfüllt die Lösung alle harten Constraints?
2. Ein Skalarer Score ( $s \in \mathbb{R}$ ): Wie gut ist die Lösung (nur relevant, wenn $v=1$ ).

Der Optimierungsprozess:
Ein Agent hat ein festes Budget $B$ an Interaktionen. In jedem Schritt $t$ generiert der Agent basierend auf dem Kontext und der Historie der vorherigen Versuche eine neue Kandidatenlösung $x_t$ . Der Evaluator bewertet diese. Das Ziel ist es, den höchsten erreichbaren Score unter den machbaren Lösungen innerhalb des Budgets zu maximieren.

Benchmark-Zusammensetzung:

Umfang: 47 Aufgaben in 5 Ingenieurskategorien:
1. Computing & Quanteninformation (z. B. CUDA-Kernel-Optimierung, Quantenschaltkreise).
2. Operations Research & Entscheidungsfindung (z. B. Lagerhaltung, Job-Shop-Scheduling).
3. Robotik, Steuerung & Energiesysteme (z. B. PID-Regler, Batterieladeprofile).
4. Optik & Kommunikationssysteme (z. B. adaptive Optik, Wellenleiter).
5. Physikalische Wissenschaften & Engineering-Design (z. B. Strukturoptimierung, Reaktionsdesign).
Integritätssicherungen: Um „Reward Hacking" (das Ausnutzen von Schwachstellen im Evaluator) zu verhindern, sind alle Evaluatoren und Referenzdaten schreibgeschützt. Scores werden ausschließlich aus den Logs der isolierten, sandgeboxten Ausführung der Verifizierer extrahiert, nicht aus Selbstauskünften des Agenten.

Evaluationsmetriken:
Da Scores unterschiedliche Einheiten haben (z. B. Latenz, Gewicht, Durchsatz), wird der durchschnittliche Rang (Average Rank) als primäre Metrik verwendet. Zusätzlich werden „Performance Profiles" (nach Dolan & Moré) und „Win Rates" gegenüber der Baseline analysiert.

3. Wichtige Beiträge

Formalisierung der generativen Optimierung: Das Paper definiert eine neue Evaluationskategorie für KI-Agenten, die sich von der einmaligen Antwortgenerierung unterscheidet und stattdessen die budgetbewusste, iterative Verbesserung ausführbarer Artefakte unter harten Constraints erfordert.
Umfassender Benchmark: Mit 47 Aufgaben aus fünf Disziplinen bietet Frontier-Eng eine heterogene Testumgebung, die industrielle Simulatoren, FEM-Löser und physikalische Modelle integriert, während sie eine standardisierte Schnittstelle für den Vergleich bietet.
Empirische Analyse von Agenten und Suchstrategien: Das Paper evaluiert acht führende Sprachmodelle (u. a. Claude 4.6 Opus, GPT-OSS, DeepSeek) in Kombination mit verschiedenen Suchframeworks (evolutionär, baumbasiert, bandit-gesteuert) und identifiziert systematische Fehlermuster und Skalierungstrends.

4. Ergebnisse und Erkenntnisse

Modellleistung:

Claude 4.6 Opus erzielte die robusteste Gesamtleistung (niedrigster durchschnittlicher Rang), gefolgt von GLM-5 und DeepSeek-V3.2.
Trotz der Stärke der Modelle bleibt der Benchmark eine große Herausforderung; keine der aktuellen Lösungen erreicht auf allen Aufgaben das theoretische Optimum.

Suchdynamik und Power-Law-Gesetze:
Die Analyse der Optimierungsverläufe ergab ein doppeltes Power-Law-Verhalten:

Die Häufigkeit von Verbesserungen nimmt mit der Iterationszahl $t$ ab ( $\propto t^{-1}$ ). Die meisten großen Sprünge passieren früh.
Die Größe der Verbesserungen nimmt mit der Rangfolge der Verbesserung $k$ ab ( $\propto k^{-1}$ ). Jede nachfolgende Verbesserung ist kleiner als die vorherige.

Fazit: Die marginalen Renditen sinken nach ca. 50–100 Iterationen stark ab.

Tiefe vs. Breite (Depth vs. Width):
Unter einem festen Gesamtbudget ist es effektiver, eine einzige tiefe Suchkette (viele Iterationen in einer Sequenz) zu verfolgen, als das Budget auf viele unabhängige, flache Suchläufe zu verteilen. Tiefe ist entscheidend für strukturelle Durchbrüche, da Neustarts den akkumulierten Kontext und das „Gedächtnis" der Optimierung verlieren.

Verhalten der Modelle:

Claude 4.6 Opus: Zeigt eine starke Fähigkeit zu frühen, qualitativ hochwertigen architektonischen Änderungen („One-Shot"-Überholmanöver).
GPT-OSS-120B: Zeigt eine höhere Persistenz in späteren Phasen und führt häufiger kleinere, inkrementelle Verbesserungen durch, besonders in Kombination mit Suchframeworks, die eine feinkörnige Verfeinerung zulassen.
Framework-Interaktion: Die Wahl des Suchframeworks (z. B. OpenEvolve für aggressive Änderungen vs. ShinkaEvolve für schrittweise Verfeinerung) beeinflusst das Ergebnis stark. Für komplexe strukturelle Probleme (z. B. Speicherallokatoren) ist die Fähigkeit des Modells, große Sprünge zu machen, entscheidend; für fein abgestimmte Probleme (z. B. Batterieladung) hilft eine schrittweise Annäherung an die Constraints.

5. Bedeutung und Ausblick

Frontier-Eng etabliert einen neuen Standard für die Bewertung von KI-Agenten in der Ingenieurwissenschaft. Es verschiebt den Fokus von der bloßen „Lösung eines Problems" hin zur Fähigkeit, wertsteigernde Optimierungen in realen, eingeschränkten Umgebungen durchzuführen.

Die Ergebnisse zeigen, dass der Weg zu „Engineering Artificial General Intelligence" nicht nur in größeren Modellen liegt, sondern in der Entwicklung von Suchstrategien, die domänenspezifisches Wissen effektiv mit strukturiertem Feedback aus ausführbaren Umgebungen kombinieren. Der Benchmark dient als Katalysator für die Entwicklung von Agenten, die den Kernzyklus des Ingenieurwesens (Definieren, Bauen, Testen, Verfeinern) autonom unterstützen können, um reale wirtschaftliche und ökologische Werte zu generieren.