Progressive Context Enrichment for LLM-Based MILP Formulation in Open-Pit Mine Production Scheduling

Stel je voor dat je de kapitein bent van een enorme, drijvende stad gemaakt van gesteente, en je taak is om precies te beslissen welke brokken steen je uitgraaft, wanneer je ze uitgraaft, en hoe je ze verwerkt om het meeste geld te verdienen over de komende twintig jaar. Dit is niet zomaar een spelletje van "graaf hier, graaf daar"; het is een hoogwaardige puzzel genaamd Open-Pit Mine Production Scheduling. Het addertje onder het gras? De regels zijn extreem streng. Je kunt een blok gesteente niet uitgraven totdat de blokken die erop liggen weg zijn (zoals een Jenga-toren), je kunt niet meer gesteente verwerken dan je fabriek kan verteren, en de mix van het gesteente dat je naar de fabriek stuurt, moet precies de juiste kwaliteit hebben. Het perfect oplossen van deze puzzel vereist een superintelligent wiskundig hulpmiddel genaamd Mixed Integer Linear Programming (MILP), wat in feite een manier is om elke regel en elk doel te formuleren in een taal die computers kunnen oplossen. Maar dit is het probleem: het schrijven van deze wiskundige regels is zo moeilijk dat slechts een paar experts ter wereld dit kunnen, en zij lopen vaak vast wanneer de mijn verandert of de regels ingewikkeld worden.

Maak kennis met de nieuwe spelers op het veld: Large Language Models (LLM's). Dit zijn de AI-chatbots die je misschien kent, zoals die essays of code schrijven. Ze zijn geweldig in het begrijpen van taal en zelfs in het schrijven van computerprogramma's. De grote vraag die wetenschappers stelden was: zouden we gewoon tegen een AI kunnen zeggen: "Hier is een mijn, hier zijn de regels, schrijf alsjeblieft de wiskundige code om dit op te lossen," en de AI het werk van een menselijke expert laten doen? Het klinkt als een droom, maar AI heeft de neiging om in de war te raken wanneer zaken ingewikkeld worden. De AI kan code schrijven die er juist uitziet en een getal geeft, maar die in de kern een regel negeert. Deze paper duikt diep in de vraag of we deze AI's beter kunnen leren mijnbouwplannen door ze betere hints te geven, en het ontdekt dat de manier waarop we de vraag stellen belangrijker is dan de AI zelf.

Het Trainingskamp van de AI-mijnplanner

De onderzoekers van Lakehead University en Memorial University of Newfoundland zetten een slim experiment op om te zien of ze een algemene AI konden transformeren in een mijnschema-wizard zonder de AI nieuwe wiskunde te leren. Ze wilden de AI niet vanaf nul opnieuw trainen; in plaats daarvan wilden ze kijken of ze de context simpelweg konden "verrijken" — kortom, de AI betere studiematerialen geven voordat hij probeerde de oplossing te schrijven.

Ze creëerden een vierstaps trainingskamp voor vier verschillende AI-modellen (ChatGPT, Gemini, DeepSeek en Copilot). Denk aan het leren van een student om een complexe essay te schrijven:

1. De Basisprompt: Ze begonnen met het absolute minimum: een eenvoudige tekstuele beschrijving van de mijn en de regels. Het was alsoam een student een opdracht te geven als "Schrijf over mijnbouw" en een scriptie te verwachten.
2. Het Simulatieverslag: Vervolgens voegden ze een "dagboek" toe van een hebzuchtige robot die al geprobeerd had de mijn te runnen. Dit logboek liet zien wat er per periode gebeurde: welke rotsen werden gekozen, welke werden overgeslagen, en wanneer de fabriek vol zat. Het was alsof je de student het dagboek liet zien van iemand die daadwerkelijk geprobeerd had het probleem op te lossen, zodat de AI het gedrag van de regels kon zien.
3. De Simulatorcode: Daarna gaven ze de AI de werkelijke broncode van die hebzuchtige robot. Dit was niet alleen een dagboek; het was de instructiehandleiding die de robot gebruikte om beslissingen te nemen. Het toonde de logica: "Als de fabriek vol is, stop dan." "Als het blok erboven nog niet weg is, wacht dan."
4. De Geannoteerde Code: Ten slotte namen ze die broncode en voegden ze overal "post-its" (annotaties) aan toe. Ze labelden elke regel code met wat het in wtermen van wiskunde betekende, zoals "Deze regel is de Capaciteitsregel van de Mijn" of "Dit is de Precedentie-regel". Dit was het ultieme spiekbriefje, waarbij de logica van de robot direct werd vertaald naar de taal van het wiskundige probleem.

De Valstrik van de "Stille Fout"

De meest verrassende ontdekking in dit onderzoek ging niet alleen over hoe goed de AI's presteerden, maar over hoe slecht ze hun fouten konden verbergen. De onderzoekers ontdekten dat als je een AI simpelweg vraagt de code te schrijven en uit te voeren, veel van de modellen een oplossing zouden produceren die perfect lijkt. Het zou een getal voor de winst (de Net Present Value of NPV) geven en zeggen: "Succes! De mijn is gepland!"

Maar wanneer de onderzoekers beter keken, ontdekten ze "stille fouten" (silent failures). Dit waren oplossingen die technisch gezien "haalbaar" waren (de computer crashte niet), maar die eigenlijk defect waren. De AI was vergeten een of meer van de belangrijkste regels af te dwingen, zoals de regel die zegt dat je een blok niet kunt uitgraven totdat het blok erboven weg is. De AI vond een achterdeurtje, of negeerde de regel simpelweg, en de computer berekende tevredenlijk een winst voor een mijn die fysiek niet kon bestaan. Het was alsof een student een essay schrijft dat er geweldig uitziet, maar de opdracht volledig negeert; de leraar kan het bij een eerste oogopslag een voldoende geven, maar het is eigenlijk onzin.

De paper sluit de mogelijkheid expliciet uit dat een "haalbaar" resultaat betekent dat de AI het goed heeft gedaan. Sterker nog, voor drie van de vier AI-modellen zorgde het toevoegen van meer informatie (zoals de logs en code) er juist voor dat het aantal van deze stille fouten toenam. De AI's werden zelfverzekerder, maar ze waren zelfverzekerd fout. Alleen één model, Gemini, slaagde erin om deze stille fouten volledig te vermijden, ongeacht hoeveel informatie er werd gegeven.

De Magie van het "Spiekbriefje"

Zodra de onderzoekers de stille fouten eruit filterden en alleen naar de oplossingen keken die daadwerkelijk geldig waren, werden de resultaten zeer duidelijk.

• Alleen tekst was niet genoeg: Wanneer de AI alleen de basis tekstuele beschrijving kreeg, kreeg hij het bijna nooit goed.
• Het Logboek hielp een beetje: Het zien van het dagboek van de robot (het simulatieverslag) hielp de AI om de stroom van tijd en middelen te begrijpen, wat de resultaten licht verbeterde.
• De Code was de game-changer: Wanneer de AI de werkelijke broncode van de simulator kreeg, steeg de kwaliteit van de oplossingen aanzienlijk. De code fungeerde als een brug, die de AI precies liet zien hoe de regels in de praktijk werkten. Dit was het meest informatieve element voor het correct krijgen van het algehele winstgetal.
• Annotaties maakten het precies: De laatste stap, het toevoegen van de "post-its" (annotaties) aan de code, maakte de winst niet altijd hoger, maar maakte de structuur van de oplossing veel nauwkeuriger. Het hielp de AI om precies te begrijpen welk deel van de code overeenkwam met welke wiskundige regel. Dit was vooral nuttig voor de lastigste regels, zoals die over de volgorde van het graven (precedentie) en het mengen van de kwaliteiten van het gesteente.

Wie won de race?

Onder de vier geteste AI-modellen was Gemini de duidelijke winnaar. Het was het enige model dat geen enkele stille fout produceerde, wat betekent dat elke keer dat het een oplossing claimde, het ook daadwerkelijk een geldige oplossing was. Wanneer Gemini de geannoteerde code kreeg, waren de oplossingen van het model ongelooflijk dicht bij de perfecte, door mensen gemaakte benchmark, waarbij de "gestrafde relatieve fout" (een score die zowel fouten als onjuiste antwoorden meet) daalde van 100% (totaal falen) naar slechts 21,6%.

De andere modellen, zoals ChatGPT en Copilot, hadden het zwaarder. Ze produceerden vaak oplossingen die er goed uitzagen, maar structureel gebrekkig waren. Interessant genoeg hielp het geven van de geannoteerde code hen niet altijd; voor sommige modellen zorgden de extra aantekeningen juist voor verwarring of leidden ze tot nieuwe soorten fouten. Dit suggereert dat verschillende AI's anders "denken", en wat voor de een een nuttige hint is, kan voor een ander ruis zijn.

De Conclusie

De paper concludeert dat het belangrijkste probleem bij het gebruik van AI voor complexe wiskundige problemen zoals mijnbouwplanning niet is dat de AI niet slim genoeg is; het is dat we de AI niet genoeg context gaven. Een eenvoudige tekstuele beschrijving is te vaag. Echter, het simpelweg voeren van meer tekst is ook niet de oplossing. De sleutel is het bieden van uitvoerbare logica — de werkelijke code die de regels simuleert — en vervolgens die code te labelen zodat de AI weet wat elk onderdeel betekent.

Deze aanpak suggereert dat we geen nieuwe, peperduure AI-modellen hoeven te trainen om een mijnbouwplanner te worden. In plaats daarvan kunnen we een algemene AI nemen en haar een "steiger" (scaffold) van simulatieverslagen en geannoteerde code geven om haar te helpen de menselijke operationele regels te vertalen naar perfecte wiskunde. Het is een beetje zoals een student die moeite heeft met het oplossen van een natuurkundige vergelijking uit een tekstprobleem, maar als je hem de labnotities en de formules geeft die in het lab werden gebruikt, kan hij het plotseling wel oplossen.

De studie waarschuwt ons ook om voorzichtig te zijn. Alleen omdat een AI zegt dat hij een oplossing heeft, betekent dat niet dat deze klopt. We moeten de details controleren, de "stille fouten", om er zeker van te zijn dat de AI niet simpelweg een kortere weg heeft gevonden die de regels breekt. Maar met de juiste vorm van contextverrijking, specifiek het gebruik van simulatorcode en annotaties, kunnen we AI het zware werk van de mijnbouwplanning laten doen zonder dat er voor elke baan een PhD in de wiskunde nodig is.