Optimization and Constraint Modeling using LLMs with a Retrieval Augmented Generation Process

Stel je voor dat je een zeer slimme, zeer creatieve robot probeert een reeks instructies te geven om een complexe puzzel op te lossen, zoals het plannen van de meest efficiënte route voor een vloot vrachtwagens of het plannen van diensten in een ziekenhuis. Dit vakgebied wordt optimalisatie genoemd, en het is de wiskunde achter het nemen van de beste beslissingen wanneer middelen beperkt zijn. Om dit te doen, moeten mensen hun rommelige, echte problemen meestal vertalen naar strikte, rigide wiskundige talen (zoals Lineaire Programmering of Constraint Programming). Het is alsof je een verhaal probeert uit te leggen aan een robot die alleen een taal spreekt die volledig bestaat uit strikte regels en vergelijkingen.

Onlangs hebben we een doorbraak gehad met Large Language Models (LLMs). Denk aan deze als supergeavanceerde robots die bijna alles op het internet hebben gelezen. Ze zijn geweldig in het begrijpen van verhalen en het schrijven van code, maar ze hebben soms moeite wanneer ze gevraagd wordt om strikte wiskundige regels te volgen. Ze kunnen nepgetallen verzinnen, een cruciale regel vergeten, of de logica net iets verkeerd krijgen, wat een perfect plan in een kapot plan verandert. Om dit op te lossen, gebruiken onderzoekers een techniek genaamd Retrieval-Augmented Generation (RAG). Als een LLM een student is die een toets maakt, dan is RAG als het geven van een "referentieblad" met vergelijkbare problemen die de student al eerder heeft opgelost, vlak voordat hij begint met het schrijven van zijn antwoord. Dit paper stelt een eenvoudige maar krachtige vraag: als we een AI een bibliotheek van perfect, vooraf opgeloste wiskundige puzzels geven, zal het dan veel beter worden in het oplossen van nieuwe puzzels?

De auteurs van dit paper besloten een enorme, aangepaste bibliotheek van deze puzzels te bouwen om hun idee te testen. Ze begonnen met het creëren van 500 gloednieuwe optimalisatieproblemen. In plaats van alleen droge wiskundige vragen te schrijven, gebruikten ze een AI om "persona's" te verzinnen — zoals een drukke logistiek manager of een ziekenhuisbeheerder — en vroegen ze vervolgens aan een andere AI om de echte wereld-hoofdpijn van deze personages om te zetten in strikte, formele wiskundige problemen. Ze schreven zelfs de juiste computercode om elk probleem op te lossen, waardoor ze een "gouden standaard" antwoordensleutel creëerden. Ze sloegen al deze 500 probleem-en-oplossing paren op in een speciale digitale archiefkast genaamd een vector database, die ontworpen is om items te vinden die "semantisch vergelijkbaar" zijn (wat betekent dat ze hetzelfde voelen, zelfs als de woorden anders zijn).

Vervolgens zetten ze een race op. Ze namen een krachtig AI-model (Qwen 3 30B Instruct) en gaven het een reeks nieuwe, ongeziene wiskundige problemen. In de eerste ronde moest de AI ze alleen oplossen, vertrouwend op wat hij wist uit zijn training. In de tweede ronde gebruikten ze hun nieuwe RAG-systeem: voordat de AI antwoordde, zocht het systeem in hun bibliotheek van 500 problemen, vond de drie meest vergelijkbare problemen en toonde deze aan de AI als voorbeelden. Om er zeker van te zijn dat de AI niet in de war raakte door slechte voorbeelden, voegden ze een "semantische gateway" toe: een slim filter dat alleen voorbeelden doorliet die een perfecte match waren, en alles dat te veel afweek, afwees.

De resultaten waren een duidelijke overwinning voor het team met de bibliotheek. Wanneer de AI probeerde problemen op eigen kracht op te lossen, had hij ongeveer 32% tot 40% van de tijd het juiste antwoord, afhankelijk van hoe moeilijk de puzzel was. Maar wanneer de AI de mogelijkheid kreeg om een inkijkje te nemen in de vergelijkbare opgeloste voorbeelden uit hun bibliotheek, steeg de nauwkeurigheid aanzienlijk. Op een set tests (NL4OPT) ging het van 40% goed naar 72% goed. Op een andere set (MAMO Complex) verbeterde het van 32% naar 56%.

Het paper suggereert dat deze aanpak een krachtig alternatief is voor de gebruikelijke methode van "fine-tuning", wat het volledig hertrainen van het AI-model op nieuwe gegevens inhoudt — een proces dat duur en tijdrovend is. In plaats daarvan laat deze studie zien dat het simpelweg geven van een goed georganiseerde, synthetische bibliotheek van voorbeelden om naar te verwijzen, het vermogen van een AI drastisch kan verbeteren om menselijke ideeën te vertalen naar correcte, werkende wiskundige modellen. De auteurs merken op dat hoewel de resultaten veelbelovend zijn, ze gebaseerd zijn op een specifieke set van 500 synthetische problemen en 25 testvragen, waardoor de methode nog steeds wordt verkend. De bevindingen wijzen echter in de richting van een toekomst waarin niet-experts AI kunnen gebruiken als een betrouwbare co-piloot om complexe besluitvormingsinstrumenten te bouren zonder dat zij zelf wiskundige genieën hoeven te zijn.