💬 NLP

Solver-Independent Automated Problem Formulation via LLMs for High-Cost Simulation-Driven Design

Dit paper introduceert APF, een framework dat Large Language Models gebruikt om ambigue ontwerpeisen automatisch om te zetten in uitvoerbare optimalisatiemodellen voor kostbare simulaties, waarbij een innovatieve datageneratiepipeline het ontbreken van dure solver-feedback compenseert en zo de formaliseringsnauwkeurigheid en ontwerpprestaties aanzienlijk verbetert.

Oorspronkelijke auteurs: Yuchen Li, Handing Wang, Bing Xue, Mengjie Zhang, Yaochu Jin

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuchen Li, Handing Wang, Bing Xue, Mengjie Zhang, Yaochu Jin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer dure, complexe machine moet ontwerpen, zoals een antenne voor een telefoon of een vleugel voor een vliegtuig. Om te weten of je ontwerp werkt, moet je het in een computerprogramma testen. Dit testen is echter extreem duur en langzaam; het is alsof je elke keer dat je een idee hebt, een echte vliegtuigvleugel moet laten bouwen en in een windtunnel moet testen.

Het grootste probleem is de vertaling. Ingenieurs denken in natuurlijke taal: "Ik wil dat de signalen sterk zijn tussen 4 en 4,3 GHz, maar zwak zijn daarboven." De computer (de optimizer) kan echter alleen wiskundige formules begrijpen: "Maximaliseer $f(x)$ onder de voorwaarde dat $g(x) < 0$ ."

Tot nu toe moest een menselijke expert deze vertaling doen. Dat is tijdrovend, foutgevoelig en vereist veel kennis.

Wat doet dit onderzoek?
De auteurs van dit paper hebben een slimme AI (een Large Language Model of LLM) getraind om deze vertaling automatisch te doen. Ze noemen hun methode APF (Automated Problem Formulation).

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het Probleem: De "Dure Test"

Stel je voor dat je een chef-kok bent die een nieuwe saus moet ontwikkelen. Je wilt dat de saus smaakt (het doel), maar niet te zout is (de beperking).

De oude manier: Je vraagt een AI om een recept te schrijven. De AI schrijft iets, maar je weet pas of het goed is als je het daadwerkelijk kookt en proeft. Omdat het koken van deze specifieke saus uren duurt en kostbaar is, kun je dit niet 10.000 keer doen om de AI te leren.
Het probleem: Bestaande AI's maken vaak fouten in de vertaling van "niet te zout" naar de juiste wiskundige formule, omdat ze geen feedback krijgen van de dure "proef".

2. De Oplossing: De "Proefkeuken" zonder Koken

De auteurs hebben een slimme truc bedacht om de AI te leren zonder de dure tests te hoeven doen. Ze gebruiken een tussenpersoon: de "Test-Instance".

Stel je voor dat je in plaats van de saus te koken, een proefsetje maakt van 15 verschillende, reeds bekende sauzen (die we al hebben getest in het verleden).

De AI als Smaakexpert: Je vraagt aan de AI: "Kijk naar deze 15 sauzen. Welke zou jij het lekkerst vinden als we willen dat de saus niet te zout is?" De AI rangschikt ze van "beste" naar "slechtste". Dit is de verwachte rangorde.
De Wiskundige Formule: Dan laat je de AI een wiskundige formule schrijven die deze rangorde zou moeten voorspellen.
De Check: Je rekent de formule uit op diezelfde 15 sauzen. Komt de rangorde die de formule oplevert overeen met de rangorde die de AI als "smaakexpert" had bedacht?
- Ja? Dan is de formule goed! (De AI heeft de intentie begrepen).
- Nee? Dan is de formule slecht. We gooien hem weg en proberen het opnieuw.

Dit is de kern van hun methode: Solver-onafhankelijk. Ze hoeven geen dure simulaties te draaien om te weten of de formule goed is; ze gebruiken alleen de logica van de AI en de bestaande data.

3. De "Trainingsbood" (Data Generatie)

Om de AI echt goed te maken, hebben ze een enorme hoeveelheid oefenmateriaal gemaakt:

Ze namen duizenden oude ontwerpen.
Ze lieten de AI deze omschrijven in verschillende talen (paraphrasing), zodat de AI leert dat "niet te zout" hetzelfde is als "maximaal 5 gram zout".
Ze lieten de AI de volgorde van de eisen willekeurig maken, zodat de AI niet op de volgorde van de zinnen leest, maar op de betekenis.
Ze filterden alleen de beste oefenopgaven eruit (diegene waar de AI het beste mee presteerde).

4. Het Resultaat: De "Meesterkok"

Toen ze deze methode testten op het ontwerpen van een antenne, gebeurde er iets magisch:

De AI die ze hadden getraind met hun slimme methode, vertaalde de wensen van de ingenieurs veel beter dan de beste standaard AI's (zoals GPT-4) die zonder training werden gebruikt.
De ontwerpen die hieruit kwamen, voldeden perfect aan de eisen (bijvoorbeeld: sterke signalen op het juiste moment, zwakke signalen op het verkeerde moment).
Zelfs een kleinere, goedkopere AI werd na deze training beter dan een enorme, dure AI die niet was getraind.

Samenvatting in één zin

De auteurs hebben een manier gevonden om een AI te leren hoe je menselijke wensen vertaalt naar wiskundige formules voor dure ontwerpen, door de AI te laten "oefenen" met bestaande voorbeelden en haar eigen logica te gebruiken om te controleren of ze het goed doet, zonder dat ze ooit een dure simulatie hoeft te draaien.

Het is alsof je een leerling-kok traint door hem duizenden recepten te laten analyseren en te laten vergelijken met proefporties, in plaats van hem te laten koken tot de keuken volledig is afgebrand.

Titel

Solver-onafhankelijke geautomatiseerde probleemformulering via LLM's voor ontwerp gedreven door dure simulaties.

1. Het Probleem

In domeinen zoals antenne-ontwerp, lucht- en ruimtevaart en micro-elektronica wordt productontwerp vaak gedreven door hoge-kosten simulaties (bijv. elektromagnetische full-wave simulaties). Een kritieke bottleneck in dit proces is het vertalen van ambigue, ongestructureerde natuurlijke taal-eisen van ingenieurs naar precieze, uitvoerbare wiskundige optimalisatiemodellen (doelfuncties en constraints).

Huidige uitdagingen:
- Dit proces is tijdrovend en vereist diepgaande expertkennis.
- Bestaande methoden die Large Language Models (LLM's) gebruiken, hebben twee grote tekortkomingen in dit specifieke domein:
  1. Prompt-gebaseerde methoden: Lijden vaak onder een gebrek aan formalisatie, waardoor de gegenereerde modellen niet nauwkeurig aansluiten bij de ontwerprichting.
  2. Fine-tuning methoden: Vereisen doorgaans feedback van een numerieke solver (oplosser) om de kwaliteit van gegenereerde data te filteren. Omdat simulaties extreem duur en tijdrovend zijn, is het onpraktisch om deze feedback op grote schaal te genereren voor het trainen van modellen.

2. Methodologie: Het APF Framework

De auteurs stellen APF (Automated Problem Formulation) voor, een framework dat LLM's gebruikt om natuurlijke taal-eisen om te zetten in code, zonder afhankelijk te zijn van dure solver-feedback tijdens het trainingsproces. Het framework bestaat uit vier kernmodules:

A. Representatie en Data Generatie

Representatie: Design-eisen worden gestructureerd als een tuple $(Z, M, C)$ , waarbij $Z$ een subgebied van de evaluatievariabelen is (bijv. frequentieband), $M$ een metriek is (bijv. stralingsrendement), en $C$ de intentie definieert (maximaliseren of een drempelwaarde).
Data Generatie: In plaats van willekeurige synthetische data, worden eisen afgeleid uit historische simulatiedatasets. LLM's worden gebruikt om wiskundige vergelijkingen te genereren die bij deze eisen passen.
Data Augmentatie: Om de robuustheid te vergroten, worden semantische parafrases van de eisen gegenereerd en wordt de volgorde van eisen en vergelijkingen permuteren. Dit voorkomt dat het model afhankelijk wordt van specifieke input-volgorde of woordkeuze.

B. Solver-onafhankelijke Evaluatie (De Kerninnovatie)

Om de kwaliteit van de gegenereerde vergelijkingen te beoordelen zonder de dure simulatie uit te voeren, introduceert APF een test-instance annotatie strategie:

Test Instances: Een set van bestaande simulatieresultaten (ontwerpoplossingen) wordt geselecteerd.
Referentie Ranking: Een LLM fungeert als "expert" en rangschikt deze test instances op basis van hoe goed ze voldoen aan de natuurlijke taal-eisen (listwise ranking). Dit dient als de "ground truth" ranking.
Voorspelde Ranking: De gegenereerde wiskundige vergelijkingen worden toegepast op dezelfde test instances om een nieuwe ranking te berekenen.
Selectie: De kwaliteit van een gegenereerde vergelijking wordt gemeten aan de hand van de Spearman-correlatiecoëfficiënt tussen de voorspelde ranking en de referentie ranking. Alleen samples met een hoge correlatie (hoge kwaliteit) worden behouden voor het fine-tuning dataset.

C. Supervised Fine-Tuning (SFT)

De geselecteerde, hoogwaardige dataset wordt gebruikt voor Supervised Fine-Tuning van open-source LLM's (zoals Llama-3, Qwen, Mistral). Hierdoor leren deze modellen nauwkeurige en uitvoerbare optimalisatiemodellen te genereren.

3. Belangrijkste Bijdragen

Automatisering van Data Generatie: Een pipeline die data-augmentatie en test-instance annotatie combineert om hoogwaardige datasets te bouwen zonder dure solver-feedback.
Solver-onafhankelijke Evaluatie: Een nieuwe evaluatiemodule die gebruikmaakt van LLM-redenering om de kwaliteit van formuleringen te beoordelen, waardoor de afhankelijkheid van kostbare simulaties wordt doorbroken.
Industriële Toepassing: Toepassing en validatie op een complex industrieel probleem (antenne-ontwerp), waarbij bewezen wordt dat het systeem beter presteert dan bestaande methoden.

4. Resultaten

De methode is getest op het ontwerpen van een driedimensionale filterende patch-antenne.

Vergelijking: APF (gefine-tuned op open-source modellen) werd vergeleken met state-of-the-art prompt-gebaseerde methoden (zoals GPT-4o, Chain-of-Experts) en andere fine-tuning benaderingen.
Prestaties:
- De APF-modellen behaalden een significant hogere alignatie-score (gemiddeld ~0.80) vergeleken met baselines (vaak <0.75) en de originele open-source modellen (vaak <0.30).
- De fine-tuned Llama-3.1-8B model presteerde zelfs beter dan de grootste commerciële modellen (zoals GPT-4o) op deze specifieke taak.
Praktische Uitkomst: De optimalisatieproblemen gegenereerd door APF leidden tot stralingsrendement-curves die alle ontwerpeisen (passband, stopbands, nulls) correct voldeden. Andere methoden faalden vaak bij het correct formuleren van constraints, wat leidde tot suboptimale of onbruikbare ontwerpen.
Efficiëntie: De listwise evaluatiemethode was aanzienlijk sneller en goedkoper dan traditionele pairwise vergelijkingen (97 seconden vs. 2544 seconden voor dezelfde set).

5. Betekenis en Conclusie

Dit paper biedt een schaalbare en efficiënte oplossing voor een langdurig probleem in de ingenieurswetenschappen: het automatiseren van de vertaling van ontwerpintenties naar wiskundige modellen in domeinen waar simulaties te duur zijn voor iteratieve feedback.

Kerninzicht: Het is mogelijk om hoogwaardige, gespecialiseerde LLM's te trainen voor complexe engineering-taken zonder de noodzaak van duizenden dure simulaties, mits er een slimme, solver-onafhankelijke evaluatiemethode wordt gebruikt.
Toekomstperspectief: Hoewel het huidige werk zich richt op antenne-ontwerp, biedt het framework een blauwdruk voor automatisering in andere fysiek-gedreven domeinen zoals aerodynamica en structurele optimalisatie. De beperkingen liggen voornamelijk in de contextgrootte van LLM's voor zeer complexe probleembeschrijvingen.