Type-Aware Retrieval-Augmented Generation with Dependency Closure for Solver-Executable Industrial Optimization Modeling

Deze paper introduceert een type-bewuste retrieval-augmented generation-methode met dependency closure die natuurlijke taal omzet in uitvoerbare industriële optimalisatiemodellen door een gestructureerde kennisgrafiek te gebruiken, waardoor de betrouwbaarheid en uitvoerbaarheid aanzienlijk worden verbeterd ten opzichte van bestaande benaderingen.

De kern

Stel je voor dat je een zeer slimme, creatieve kok (de kunstmatige intelligentie) hebt die perfect kan koken op basis van een recept dat je in gewone taal geeft. Maar er is een groot probleem: deze kok is gewend om te koken in een keuken waar alles losstaat. Als je zegt "maak een soep", pakt hij een pan, maar vergeet hij soms de deksel, de pan heeft geen handvat, of hij gebruikt suiker in plaats van zout. In de wereld van industriële optimalisatie (zoals het plannen van fabrieken of het besparen van energie) is dit dodelijk. Een klein foutje in de code betekent dat de fabriek niet werkt of dat de computer helemaal stopt.

Dit paper introduceert een nieuwe manier om die "kok" te trainen, zodat hij nooit meer een recept maakt dat niet kan worden opgegeten. Ze noemen dit Type-Aware Retrieval-Augmented Generation met Dependency Closure. Dat klinkt als een mondvol, maar laten we het opbreken met een paar simpele analogieën.

1. Het Probleem: De Kok zonder Kompas

Normaal gesproken kijken AI's naar een enorme stapel boeken en artikelen (de "retrieval" of ophalen). Als je vraagt: "Hoe regel ik de energie in mijn batterijfabriek?", zoekt de AI naar zinnen die lijken op "batterij" en "energie".

• Het probleem: De AI haalt losse stukjes tekst op. Het ziet wel dat er over "energie" wordt gesproken, maar het weet niet dat die energie afhankelijk is van een specifieke machine, die op zijn beurt weer afhankelijk is van een buffer.
• Het resultaat: De AI schrijft code die er mooi uitziet, maar die niet werkt. Het is alsof de kok suiker in de soep doet omdat hij het woord "zoet" in een ander recept zag, zonder te weten dat dit een hartige soep is. In de technische taal noemen ze dit "structurele hallucinaties".

2. De Oplossing: Een Bouwtekening in plaats van een Woordenboek

De auteurs zeggen: "Stop met zoeken in losse tekst. We moeten kijken naar de bouwtekening."

Ze bouwen een speciale kennisgraf (een soort super-organiseerde landkaart).

• De Typen (Type-Aware): In deze landkaart is alles duidelijk gelabeld. Een "machine" is een machine, een "prijs" is een prijs, en een "tijdstip" is een tijdstip. De AI leert dat je geen prijs kunt gebruiken als een machine. Het is alsof de kok nu weet dat je geen hamer gebruikt om een ei te breken; hij gebruikt de juiste tool voor het juiste werk.
• De Afhankelijkheden (Dependency Closure): Dit is het belangrijkste nieuwe idee. Stel je voor dat je een huis wilt bouwen. Je kunt pas de muren opzetten als je de fundering hebt. Je kunt pas het dak opzetten als de muren er zijn.
  • De oude AI probeerde het dak te bouwen zonder fundering.
  • De nieuwe AI kijkt naar de vraag ("bouw een muur") en zegt: "Oké, maar om die muur te bouwen, heb ik ook de fundering, de bakstenen, de cement en de bouwvakkers nodig."
  • Ze noemen dit Dependency Closure: het verzamelen van het kleinste aantal onderdelen dat nodig is om iets te bouwen, zodat niets ontbreekt.

3. Hoe werkt het in de praktijk? (De Twee Voorbeelden)

De auteurs hebben hun methode getest op twee heel verschillende situaties:

Voorbeeld A: De Batterijfabriek (Energiebesparing)

• De situatie: Een fabriek maakt batterijen. Soms vraagt het elektriciteitsnet: "Kunnen jullie even minder stroom gebruiken? Dan betalen we jullie."
• De oude AI: Probeerde een plan te maken, maar vergat vaak welke machines welke stroom gebruiken of welke tijden belangrijk waren. De code crashte.
• De nieuwe AI: Kijkt naar de landkaart. "Ah, als machine A stroom verbruikt, moet ik ook de prijs van stroom en de buffer voor de producten weten." Het maakt een perfect plan: de machines gaan even uit tijdens de piek, de fabriek verdient geld aan de beloning, en de productie stopt niet. Het werkt!

Voorbeeld B: De Flexibele Werkplaats (Job Shop Scheduling)

• De situatie: Je hebt 20 machines en 50 taken. Elke taak moet op een specifieke volgorde gebeuren.
• De oude AI: Verloor de draad volledig. Het maakte code met variabelen die niet bestonden. 0% succes.
• De nieuwe AI: Gebruikte de landkaart om te zien welke taak afhankelijk is van welke andere. Het maakte een plan dat de computer kon uitvoeren en dat de beste oplossing vond. 100% succes (of bijna, want één keer was er een klein typefoutje in een lus, maar de basis werkte perfect).

4. Waarom is dit zo belangrijk?

Stel je voor dat je een fabriek wilt automatiseren. Vroeger moest je een dure ingenieur inhuren om de code te schrijven en te controleren. Als de code niet werkte, moest je alles opnieuw doen.

Met deze nieuwe methode:

1. Geen meer "missende onderdelen": De AI haalt altijd alle benodigde stukjes op (de "dependency closure").
2. Geen meer "verkeerde tools": De AI weet precies welk type data bij welk onderdeel hoort (de "type-aware" kennis).
3. Betrouwbaarheid: De code die de AI schrijft, kan direct worden gebruikt door de computer om de fabriek te besturen.

Conclusie in één zin

Dit paper introduceert een slimme manier om AI's te leren dat ze niet alleen naar losse woorden moeten kijken, maar naar het geheel van de bouwtekening, zodat ze code schrijven die niet alleen slim klinkt, maar ook echt werkt in de echte wereld. Het is alsof je van een kok die alleen recepten leest, overstapt op een kok die de hele keuken, de ingrediënten en de kooktijden in één oogopslag begrijpt.

Technische samenvatting

1. Probleemstelling

Het automatiseren van industriële optimalisatiemodellering vereist de betrouwbare vertaling van natuurlijke taal-eisen naar uitvoerbare code voor optimalisatieoplossers (zoals LINGO, Gurobi of CPLEX). Hoewel Large Language Models (LLM's) veelbelovend zijn voor het genereren van code, lijden ze in complexe engineering-taken vaak aan de volgende tekortkomingen:

• Structuurhallucinaties: Het genereren van code met ontbrekende declaraties, type-inconsistenties (bijv. verwarring tussen variabelen en parameters) en onvolledige context.
• Afbreken van afhankelijkheden: Bestaande Retrieval-Augmented Generation (RAG) methoden halen vaak losse tekstfragmenten op die semantisch relevant zijn, maar niet garanderen dat de verzameling symbolen afhankelijkheids-gesloten is. Dit betekent dat essentiële upstream-definities (zoals indexsets of parameters die nodig zijn voor een constraint) ontbreken, waardoor de gegenereerde code niet compileert of oplosbaar is.

De kernuitdaging is dus het overbruggen van de kloof tussen hoge-level eisen en solver-klaar implementeren zonder dat de gegenereerde modellen onbruikbaar zijn door syntactische of semantische fouten.

2. Methodologie

De auteurs stellen een nieuwe Type-Aware RAG-methode met Dependency Closure voor. De aanpak verschuift van puur semantische relevantie naar afhankelijkheidsbewuste volledigheid. Het proces bestaat uit drie hoofdfasen:

A. Constructie van een Gestructureerd Kennisgraph (Typed Knowledge Graph)

In plaats van ongestructureerde tekst te indexeren, wordt een domeinspecifieke kennisgraph opgebouwd uit heterogene bronnen:

• Bronnen: Academische papers (voor conceptuele intentie) en uitvoerbare solver-code (voor exacte syntaxis en declaraties).
• Gestuurde Parsing: Een parser extrahert gestructureerde eenheden (nodes) zoals beslissingsvariabelen, parameters, indexsets, constraints en doelstellingen.
• Relaties: De graph bevat gerichte edges die wiskundige afhankelijkheden coderen, zoals used_in (een variabele wordt gebruikt in een constraint) en depends_on (een constraint hangt af van een parameter).
• Dual-Mode Indexing: Tekstuele velden worden geëmbed in een vectordatabase voor semantische zoekopdrachten, terwijl de graphstructuur in een graph-database (bijv. Neo4j) wordt opgeslagen voor gestructureerde traversie.

B. Hybrid Retrieval (Hybride Zoeken)

Gegeven een natuurlijke taal-instructie:

1. Intentieherkenning: Het systeem identificeert de doelstelling (bijv. "voeg constraint toe") en entiteiten.
2. Semantische Zoekopdracht: Zoekt naar conceptuele achtergrondinformatie in de vectorindex.
3. Gestructureerde Zoekopdracht: Start bij de gevonden "seed nodes" en traverseert de graph via de afhankelijkheidsedges om alle gerelateerde typen entiteiten te verzamelen.

C. Minimale Dependency Closure (De Kerninnovatie)

Dit is het cruciale mechanisme voor betrouwbaarheid:

• Voor een doel-entiteit (bijv. een nieuwe constraint) berekent het systeem de minimale afhankelijkheids-sluiting ($C(e)$).
• Dit is de kleinste set van upstream-entiteiten die nodig is om de doel-entiteit volledig te definiëren (alle variabelen, parameters en indexsets die er direct of indirect aan voorafgaan).
• Door alleen deze gesloten set aan de LLM te geven, wordt gegarandeerd dat er geen ontbrekende declaraties zijn en dat alle types consistent zijn. De LLM hoeft alleen nog maar de code te vertalen, niet te redeneren over wat er ontbreekt.

3. Belangrijkste Bijdragen

1. Type-Aware RAG met Dependency Closure: Een nieuw paradigma dat structurele hallucinaties in industriële optimalisatie aanpakt door symbolische volledigheid af te dwingen via een gestructureerde kennisgraph.
2. Tweestaps Zoekmechanisme: Een combinatie van heterogene bronparsing (papers + code) en berekening van minimale afhankelijkheidssluiting, wat zorgt voor syntactisch complete modellen zonder ontbrekende declaraties.
3. Empirische Validatie: Bewijs dat de methode consistent compileerbare en oplosbare modellen genereert in twee fundamenteel verschillende industriële casussen, terwijl conventionele RAG-baselines volledig falen.

4. Resultaten en Validatie

De methode werd getest op twee complexe industriële gevallen:

Casus 1: Demand Response in Batterijproductie

• Doel: Optimalisatie van productieplanning met incentives voor lastverlaging (Demand Response).
• Resultaat: De methode genereerde een uitvoerbaar model dat incentives en lastreductie-constraints integreerde. Het model bereikte een piekvermindering (peak shaving) terwijl de winst behouden bleef (een lichte stijging door incentives).
• Vergelijking: Conventionele RAG-baselines faalden hier volledig; ze konden geen uitvoerbare code genereren door ontbrekende variabelen of typefouten.

Casus 2: Flexible Job Shop Scheduling (FJSP)

• Doel: Planning van flexibele werkplekken met complexe voorrang- en capaciteitsconstraints.
• Resultaat: De methode produceerde consistent compileerbare modellen die de bekende optimale oplossingen bereikten binnen de tijdslimiet.
• Ablatiestudies:
  • Alleen academische papers leiden tot syntaxisfouten (geen juiste LINGO/Python structuur).
  • Alleen solver-code leidt tot semantische onvolledigheid.
  • Heterogene bronnen + Dependency Closure waren essentieel voor succes.
  • De methode behaalde een 95% succesrate op de FJSP-testcases, terwijl de niet-type-aware baseline 0% succes had.

5. Betekenis en Conclusie

Dit werk adresseert een kritieke barrière voor de inzet van LLM's in complexe engineering: de betrouwbaarheid van gegenereerde code.

• Betrouwbaarheid: Door de focus te leggen op "dependency closure" in plaats van alleen tekstuele relevantie, elimineert de methode de meest voorkomende fouten (ontbrekende imports, ongedefinieerde variabelen).
• Toepasbaarheid: Het stelt niet-experts in staat om correcte optimalisatiemodellen te genereren, wat de doorlooptijd voor modellering drastisch verkort en handmatig debuggen minimaliseert.
• Toekomst: De auteurs wijzen op de noodzaak van verdere uitbreiding naar niet-lineaire problemen en geautomatiseerde zelf-correctie voor logische fouten in indexering, maar tonen aan dat het fundamentele probleem van "uitvoerbaarheid" effectief wordt opgelost.

Kortom, deze studie introduceert een robuust raamwerk waarbij kennisrepresentatie en retrieval-strategieën specifiek zijn ontworpen om de strenge eisen van wiskundige optimalisatie-oplossers te voldoen.