🤖 machine learning

ShapeBench: A Scalable Benchmark and Diagnostic Suite for Standardized Evaluation in Aerodynamic Shape Optimization

Dit artikel introduceert ShapeBench, een open-source, schaalbare benchmark en diagnostische suite met 103 diverse taken voor aerodynamische vormoptimalisatie en gestandaardiseerde baselines om een eerlijke, systematische evaluatie van zowel klassieke als door LLM-aangedreven optimalisatiemethoden mogelijk te maken, waarbij aanzienlijke prestatievariatie tussen probleemklassen en de behoefte aan meer algemene benaderingen worden blootgelegd.

Oorspronkelijke auteurs: Shaghayegh Fazliani, Krissh Chawla, Jack Guo, Yiren Shen, Matthias Ihme, Madeleine Udell

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shaghayegh Fazliani, Krissh Chawla, Jack Guo, Yiren Shen, Matthias Ihme, Madeleine Udell

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de perfecte vliegtuigvleugel, een supersnelle auto of een futuristische drone te ontwerpen. Je wilt de vorm vinden die het minst brandstof verbruikt of de minste weerstand creëert. In het verleden moesten ingenieurs deze vormen één voor één testen, wat traag en duur was. Nu hebben we krachtige computerprogramma's (optimalisatoren) en kunstmatige intelligentie (KI) om ons snel de beste vormen te laten vinden.

Maar hier is het probleem: Hoe weten we welk computerprogramma eigenlijk het beste is?

Op dit moment is het alsof je een race hebt waarbij elke loper op een ander parcours loopt, met verschillende regels en verschillende rechters. Het ene programma lijkt wel een kampioen op een klein, simpel parcours (een 2D-vleugel), maar faalt jammerlijk op een complex, hobbelig parcours (een volledige 3D-drone). Omdat iedereen zijn gereedschap test op verschillende dingen, kunnen we ze niet eerlijk met elkaar vergelijken.

Maak kennis met "ShapeBench".

Beschouw ShapeBench als een gigantische, gestandaardiseerde "Olympiade" voor aerodynamische ontwerpgereedschappen.

1. Het Stadion (De Benchmark)

De auteurs bouwden een gigantisch digitaal stadion met 103 verschillende uitdagingen. Dit zijn niet zomaar simpele taken; ze dekken een enorme verscheidenheid aan "atleten" (vormen):

2D-profielen: Zoals een doorsnede van een vleugel.
3D-vleugels & Vliegtuigen: Van kleine drones tot enorme vleugellichamen met samengesmolten vleugels.
Auto's: Het testen van hoe lucht over voertuigen stroomt.
Ontwerpen met gemengde variabelen: Sommige uitdagingen behelzen het veranderen van getallen (continu) en andere het wisselen van categorieën (zoals kiezen tussen een T-staart of een normale staart).

Elk gereedschap dat dit stadion betreedt, moet exact dezelfde race lopen, binnen exact dezelfde tijdslimiet (budget), zodat we kunnen zien wie echt wint.

2. Het Snelheidsparcours versus het Echte Parcours (Surrogaten versus CFD)

Het uitvoeren van een echte fysische simulatie (zoals een windtunnel in de computer) is ontzettend traag en duur. Het is alsof je een marathon loopt in volledig harnas.

Het Snelheidsparcours (Surrogaten): Om het tempo op te voeren, gebruikt ShapeBench "surrogaat"-modellen. Dit zijn KI-modellen die zijn getraind om de resultaten van de echte fysica te voorspellen. Ze zijn als een sprinter in loopschoenen – supersnel, maar soms kunnen ze verkeerd raden als ze te creatief worden.
Het Echte Parcours (CFD): Voor de definitieve check heeft ShapeBench een "High-Fidelity"-modus. Dit is de echte fysische simulatie. Het is traag, maar het is de waarheid.

ShapeBench stelt onderzoekers in staat om eerst op het Snelheidsparcours te racen om een winnaar te vinden, en die winnaar vervolgens te controleren op het Echte Parcours om zeker te zijn dat er niet is gechikt.

3. De "Zaal van de Schande" (Het Diagnostisch Pakket)

Dit is een van de coolste onderdelen. Soms wordt een computerprogramma zo goed in het "cheaten" van het Snelheidsparcours dat het een vorm vindt die er op papier fantastisch uitziet, maar fysiek onmogelijk is in het echte leven.

De Analogie: Stel je een auto-ontwerp voor met een weerstandscoëfficiënt van nul, omdat de computer besloot de wielen van de auto te laten verdwijnen en de auto 2,5 centimeter boven de grond te laten zweven. De computer zegt: "Goed gedaan! Nul weerstand!" Maar een mens kijkt ernaar en zegt: "Dat is een vliegend tapijt, geen auto."

ShapeBench heeft een Diagnostisch Pakket (een slimme scheidsrechter) dat de winnende ontwerpen bekijkt en zegt: "Even wachten. Deze vorm is fysiek onmogelijk. De computer misbruikt een gat in de regels." Het markeert deze "hallucinaties" zodat onderzoekers niet worden bedrogen door nep-overwinningen.

4. De Grote Verrassing (De Resultaten)

De auteurs lieten de Olympische spelen plaatsvinden met veel verschillende soorten "lopers":

Klassieke Lopers: Oude-school wiskundige hulpmiddelen (zoals op gradiënten gebaseerde methoden).
Evolutionaire Lopers: Hulpmiddelen die natuurlijke selectie nabootsen (zoals Particle Swarm Optimization).
KI-Lopers: Nieuwe hulpmiddelen aangedreven door Large Language Models (LLM's) die "nadenken" over het ontwerp.

De Schokkende Ontdekking:
Er was geen enkele kampioen.

Een hulpmiddel dat de "Profiel"-race won, verloor vaak de "Auto"-race.
Een hulpmiddel dat de "Eenvoudige"-race won, faalde vaak in de "Complexe"-race.
De rangschikking van wie "het beste" was, veranderde zo sterk tussen de taken dat de correlatie bijna nul was (0,013).

De Les: Je kunt niet zeggen "Hulpmiddel X is de beste optimalisator." Je kunt alleen zeggen "Hulpmiddel X is de beste optimalisator voor dit specifieke type probleem." Als je een hulpmiddel kiest op basis van één kleine test, kun je de verkeerde kiezen voor je daadwerkelijke werk.

5. De Nieuwe Uitdager (ShapeEvolve)

De auteurs introduceerden ook een nieuwe loper genaamd ShapeEvolve. Dit is een KI die specifiek is getraind om aerodynamica te begrijpen. Het raadt niet zomaar getallen; het "leest" de fysica, bekijkt de vorm en ontwikkelt in de loop van de tijd betere ontwerpen. In sommige van de zwaarste races (zoals de Collaborative Combat Aircraft) presteerde deze gespecialiseerde KI beter dan de klassieke hulpmiddelen, wat aantoont dat voor zeer complexe, hoogdimensionale problemen KI misschien de weg vooruit is.

Samenvatting

ShapeBench is een hulpmiddel om de verwarring in aerodynamisch ontwerp te stoppen. Het biedt een eerlijke, gestandaardiseerde manier om verschillende optimalisatiehulpmiddelen te testen over een breed scala aan vormen. Het leert ons dat één maat niet voor iedereen past: het beste hulpmiddel hangt volledig af van de specifieke vorm die je probeert te ontwerpen. Het waarschuwt ons ook om op onze hoede te zijn voor KI-hulpmiddelen die "onmogelijke" oplossingen vinden door de simulatie te cheaten, en biedt een veiligheidsnet om die fouten op te vangen voordat ze de echte wereld bereiken.

Technische Samenvatting: ShapeBench

Probleemstelling

Aerodynamische vormoptimalisatie (ASO) heeft snelle vooruitgang geboekt in de capaciteiten van optimalisatoren, waaronder op gradiënten gebaseerde methoden, evolutionaire algoritmen, Bayesiaanse optimalisatie en opkomende, door Grote Taalmodellen (LLM) geleide benaderingen. Het vakgebied mist echter gestandaardiseerde, schaalbare evaluatiekaders. Bestaande benchmarks zijn vaak beperkt (bijvoorbeeld tot 2D-profielen), vertonen een gebrek aan diversiteit in probleemformuleringen en slagen er niet in om vergelijkingen met een gelijkblijvend rekenbudget te bieden. Deze beperking verhindert eerlijke kruis-evaluaties tussen methoden en verduistert hoe goed algoritmen generaliseren over verschillende vormklassen en optimalisatieregimes. Bovendien introduceert de afhankelijkheid van surrogate-modellen om rekenkosten te verlagen risico's op benaderingsfouten en "surrogate-exploitatie", waarbij optimalisatoren ontwerpen vinden die de voorspellingen van het surrogate-model maximaliseren, maar fysisch onwaarschijnlijk of onuitvoerbaar zijn. Er is een kritieke behoefte aan een unificerend benchmark dat uiteenlopende aerodynamische taken bestrijkt, analyse van het betrouwbaarheidsverschil ondersteunt en rigoureuze diagnostische hulpmiddelen bevat om de geloofwaardigheid van ontwerpen te valideren.

Methodologie

De auteurs introduceren ShapeBench, een open-source benchmark en diagnostische suite ontworpen om de evaluatie van ASO te standaardiseren. De methodologie omvat vier kerncomponenten:

Unificerend Takenpakket: ShapeBench bestaat uit 103 geïnstancierde ASO-taken die acht aerodynamische vormcategorieën bestrijken: 2D-profielen, 3D-delta-vleugels, blended wing bodies (BWB), transsonische geschoren vleugels, personenauto's, collaboratieve gevechtsvliegtuigen (CCA) en gemengde variabele conceptontwerpen (CERAS en Supersonisch Transportvliegtuig). Taken omvatten enkelvoudige/meervoudige doelstellingen, enkelvoudige/meervoudige punten en optimalisatieregimes met gemengde variabelen.
Gekoppelde Simulatiepijplijnen: Elke taak is gekoppeld aan een snel, vooraf getraind surrogate-model voor efficiënt zoeken (bijvoorbeeld NeuralFoil voor profielen, VortexNet voor delta-vleugels, Transolver-gebaseerde modellen voor CCA en auto's). Waar haalbaar, is een high-fidelity Computational Fluid Dynamics (CFD)-pijplijn beschikbaar voor definitieve verificatie, wat systematische analyse van het betrouwbaarheidsverschil mogelijk maakt.
Gestandaardiseerde Baselines en Optimalisatoren: Het kader biedt een reproduceerbaar evaluatieprotocol met gelijkblijvende rekenbudgetten. Het bevat gevestigde klassieke optimalisatoren (Adjoint/IPOPT, L-BFGS-B, PSO, CMA-ES, Bayesiaanse Optimalisatie) en algemene LLM-optimalisatoren (OpenEvolve, ShinkaEvolve). Bovendien introduceren de auteurs ShapeEvolve, een domein-gespecialiseerde evolutionaire LLM-methode die ASO-specifieke prompts, aerodynamische feedback en een secundaire LLM-sampler voor adaptief lokaal zoeken integreert.
Diagnostische Suite: Om surrogate-exploitatie aan te pakken, omvat ShapeBench een tweestaps diagnostische pijplijn. De eerste stap voert deterministische checks uit (uitvoerbaarheid, geometrische validiteit, aerodynamische plausibiliteit). De tweede stap maakt gebruik van een LLM-integrerend oordeel om ontwerptekeningen en stromingsvelden te analyseren, waarbij auditbare rapporten worden gegenereerd die onfysische ontwerpen markeren en strategieën voor mitigatie voorstellen.

Belangrijkste Bijdragen

Evaluatiesuite over Domeinen: De release van ShapeBench, die 103 taken over acht vormcategorieën bestrijkt, waardoor systematische kruis-takenvergelijking van optimalisatoren onder een unificerende API mogelijk wordt.
Empirisch Bewijs van Non-Generalisatie: Documentatie van aanzienlijke instabiliteit in de rangschikking van optimalisatoren over verschillende vormcategorieën en probleemformuleringen, met een gemiddelde paarsgewijze Spearman $\rho \approx 0,013$ . Dit toont aan dat conclusies getrokken uit enkelvoudige-taakexperimenten niet betrouwbaar generaliseren.
Nieuw Surrogaat en Dataset: De ontwikkeling van COCOANet, een Transolver-gebaseerd surrogaat voor Collaborative Combat Aircraft (CCA)-taken, getraind op een nieuwe open dataset van 3.570 high-fidelity CFD-simulaties. Dit adresseert een setting met beperkte publieke trainingsdata.
Diagnostisch Kader: Een diagnostische suite die verder gaat dan scalare beloningswaarden om de geloofwaardigheid van ontwerpen te evalueren, waarbij faalmodi zoals instorting van grenzen en geometrische oververvorming worden geïdentificeerd.
Gespecialiseerde Baselines: De introductie van ShapeEvolve, een rigoureuze referentie voor door LLM-aangedreven optimalisatoren, naast gestandaardiseerde baselines voor klassieke methoden, wat eerlijke rechtstreekse vergelijkingen faciliteert.

Resultaten

Experimenten uitgevoerd op ShapeBench onthullen enkele kritieke inzichten:

Instabiliteit van Rangschikking: De prestaties van optimalisatoren zijn sterk taakafhankelijk. Bijvoorbeeld, Bayesiaanse Optimalisatie en PSO presteren goed op CERAS- en delta-vleugeltaken, maar scoren slecht op CCA-taken, terwijl door LLM-aangedreven methoden het omgekeerde patroon vertonen. Geen enkele optimalisator domineert over alle categorieën.
Afhankelijkheid van Budget: De rangschikking van optimalisatoren verschuift gedurende het optimalisatieproces; geen enkele methode behoudt de toppositie over het volledige evaluatiebudget.
Surrogate Exploitatie: In taken zoals het 3D-auto-ontwerp (DrivAerStar) en blended wing body (BWB) convergeren optimalisatoren vaak naar ontwerpen met extreem lage weerstandscoëfficiënten die geometrisch onrealistisch zijn (bijvoorbeeld instorting van de achterste grondvrijheid). De Diagnostische Suite identificeerde deze succesvol als artefacten van surrogate-exploitatie in plaats van echte fysische verbeteringen.
Betrouwbaarheidsverschillen: Vergelijkingen tussen surrogate-voorspellingen en high-fidelity solvers (bijvoorbeeld XFOIL versus NeuralFoil) onthulden betrouwbaarheidsverschillen, met name in regimes na de stall of aan de randen van de trainingsverdeling, waar fouten tot ongeveer 18% in de lift-weerstandverhouding konden oplopen.
Prestaties van ShapeEvolve: ShapeEvolve toonde concurrerende prestaties, vaak sneller convergerend dan klassieke methoden in complexe, hoogdimensionale ruimtes zoals de CCA-taak, waar het klassieke baselines aanzienlijk overtrof.

Betekenis

Het artikel stelt dat ShapeBench essentieel is voor de vooruitgang van ASO-onderzoek door een reproduceerbare, vergelijkbare en uitgebreide evaluatieomgeving te bieden. De betekenis hiervan ligt in:

Correctie van Overfitting: Door de instabiliteit van conclusies gebaseerd op enkelvoudige taken bloot te leggen, ontmoedigt het het overfitting van methoden aan specifieke, smalle probleemopstellingen.
Zorgen voor Fysische Validiteit: De diagnostische suite biedt een mechanisme om onderscheid te maken tussen echte algoritmische verbeteringen en surrogate-artefacten, zodat hoogscorende ontwerpen fysisch geloofwaardig zijn.
Faciliteren van LLM-Integratie: Door vergelijkingen met gelijkblijvende budgetten en gespecialiseerde baselines aan te bieden, maakt het rigoureuze beoordeling van door LLM-aangedreven methoden tegenover gevestigde klassieke optimalisatoren mogelijk.
Standaardisatie van de Gemeenschap: De release van taken, surrogaten, trainingsdata en evaluatiescripts ondersteunt reproduceerbaar onderzoek en verlaagt de drempel voor het integreren van nieuwe taken en methoden in het ASO-ecosysteem.

De auteurs concluderen dat, hoewel ShapeBench de reproduceerbare ASO-evaluatie aanzienlijk verbetert, uitdagingen blijven bestaan, met name wat betreft de beschikbaarheid van high-fidelity verificatie voor alle settings en de inherente kwetsbaarheid van door surrogate-aangedreven optimalisatie voor exploitatie. Toekomstig werk heeft tot doel de dekking van high-fidelity uit te breiden en onzekerheidscontroles te versterken.