Generating Robust Portfolios of Optimization Models using Large Language Models

Technische Samenvatting: Het Genereren van Robuuste Portefeuilles van Optimalisatiemodellen met Grote Taalmodellen

Probleemstelling

Wiskundige optimalisatie is een hoeksteen van gestructureerde besluitvorming in domeinen zoals hulpbronnentoewijzing en planning. Het formuleren van optimalisatiemodellen die werkelijke wereldvereisten trouw weerspiegelen, blijft echter een aanzienlijke knelpunt, waarbij een zeldzame combinatie van domeinkennis en diepgaande optimalisatiekennis vereist is. Hoewel Grote Taalmodellen (LLM's) veelbelovend zijn gebleken bij het automatiseren van modelgeneratie uit natuurlijke taalbeschrijvingen, leveren bestaande benaderingen doorgaans slechts één kandidaatmodel op. Dit vormt een betrouwbaarheidsrisico, aangezien er geen garantie is dat een enkel door een LLM gegenereerd model accuraat of van hoge kwaliteit is. Huidige methoden vertrouwen vaak op computergewichtige fine-tuning om een enkel model te genereren zonder kwaliteitsgaranties.

Methodologie

De auteurs stellen een nieuw, lichtgewicht, trainingsvrij algoritme voor dat is ontworpen om een portefeuille van optimalisatiemodellen te genereren in plaats van één enkel exemplaar. De aanpak maakt gebruik van een dubbel perspectief op LLM-capaciteiten, die worden verenigd in één raamwerk:

1. Stochastische Generator: De LLM fungeert als generator ($g$), die een verdeling van kandidaat-optimalisatiemodellen produceert via herhaalde stochastische steekproeven. Dit vangt diverse afwegingen die inherent zijn aan de optimalisatietak.
2. Redenerende Evaluator: De LLM fungeert als rechter of evaluator ($e$), die de gegenereerde kandidaten rangschikt op basis van hun uitlijning met de natuurlijke taalprobleembeschrijving, waarbij gebruik wordt gemaakt van de wereldkennis en redeneercapaciteiten van het model.

Portefeuilleconstructie:
De methode construeert een portefeuille $P(d; \alpha)$ voor een probleembeschrijving $d$ en een door de gebruiker gedefinieerde drempelwaarde $\alpha \in (0, 1)$. De portefeuille omvat de best gerangschikte kandidaten $o^{(i)}_e$ zodanig dat de cumulatieve generatiekans van de opgenomen modellen aan een specifieke voorwaarde voldoet:
$$k^*(\alpha) = \inf \left\{ k \in \mathbb{N} : \sum_{i=1}^{k} p(o^{(i)}_e) \geq 1 - \alpha \right\}$$
Kortom, de portefeuille bestaat uit de best gerangschikte modellen waarvan de gecombineerde generatiekans $1-\alpha$ overschrijdt. Dit zorgt ervoor dat de portefeuille modellen bevat die ofwel zeer waarschijnlijk zijn (van de generator) ofwel zeer hoog zijn gerangschikt (door de evaluator).

Theoretische Bijdragen en Garanties

Het artikel biedt theoretische garanties met betrekking tot de "dekking" van de portefeuille—gedefinieerd als het aandeel van kandidaten van hoge kwaliteit (volgens een menselijke voorkeursrangschikking $\pi^*$) dat in de set is opgenomen. De auteurs definiëren twee uitlijningsvoorwaarden:

• Evaluatoruitlijning: De rangschikking van de evaluator komt overeen met de menselijke rangschikking.
• Generatoruitlijning: De generator wijst hogere kansen toe aan modellen die door mensen hoger worden gerangschikt.

Het kernresultaat is dat de portefeuille gegarandeerd kandidaten van hoge kwaliteit bevat als ofwel de generator ofwel de evaluator menselijk is uitgelijnd:

• Evaluatorrobustheid: Als de evaluator is uitgelijnd, bereikt de portefeuille volledige dekking ($c(P) = 1$), ongeacht de kwaliteit van de generator.
• Generatorrobustheid: Als de generator is uitgelijnd, bereikt de portefeuille positieve dekking ($c(P) > 1 - 2\alpha/k^*(\alpha)$) voor elke evaluator, mits $\alpha < 0.5$.

Dit vestigt een "mens-in-de-lus"-proces waarbij een besluitnemer meerdere kandidaten van hoge kwaliteit kan beoordelen voordat hij zich vastlegt op één, waardoor het risico wordt verminderd om te vertrouwen op een enkel mogelijk defecte LLM-output.

Experimentele Resultaten

De auteurs valideren hun aanpak via twee reeksen experimenten:

1. Synthetische Dataverwerving:

   • De auteurs simuleerden diverse typen generators en evaluatoren met verschillende niveaus van menselijke uitlijning (Uitgelijnd, Zwak Uitgelijnd, Uniform, Niet-uitgelijnd) en foutpercentages van de evaluator.
   • Vondsten: De resultaten bevestigden de theoretische grenzen. Zelfs met een "Zwak Uitgelijnde" generator en variërende evaluatiefouten, bereikte de portefeuille positieve dekking voor $\alpha < 0.5$. De experimenten illustreerden verder de afweging tussen portefeuillegrootte en dekking: hogere uitlijning in elk onderdeel maakte kleinere portefeuilles mogelijk terwijl een hoge dekking werd behouden.

2. Optimalisatiemodelvorming in de Wereld (NL4LP-dataset):

   • De methode werd toegepast op 25 optimalisatieproblemen uit de NL4LP-dataset.
   • Opzet: Een generator (gpt-5.4-nano) produceerde 50 kandidaatmodellen per probleem. Twee typen evaluatoren werden getest: een LLM-als-rechter (scorend op basis van probleembeschrijving en grondwahrheid) en een rangschikker gebaseerd op generator-kansen.
   • Vondsten: De voorgestelde portefeuilles presteerden consequent beter dan portefeuilles die via willekeurige steekproeven waren samengesteld. Specifiek behaalden portefeuilles die werden geëvalueerd met de redeneercapaciteiten van de LLM hogere scores dan die welke uitsluitend leunden op generator-kansen. De resultaten toonden aan dat de aanpak effectief gebruikmaakt van de complementaire sterkten van generatieve en redeneercapaciteiten om robuuste sets van optimalisatiemodellen te produceren.

Betekenis en Aanspraken

Het artikel claimt een principieel oplossing te bieden voor de onbetrouwbaarheid van single-model LLM-generatie in optimalisatie. Door te verschuiven van een "single-shot" generatieparadigma naar een "portefeuille"-aanpak, biedt de methode robuustheidsgaranties: kandidaten van hoge kwaliteit zijn gegarandeerd aanwezig in de portefeuille zolang ten minste één component (generator of evaluator) goed is uitgelijnd met menselijke voorkeuren.

De auteurs benadrukken dat hun aanpak trainingsvrij en lichtgewicht is, in contrast met eerder werk dat fine-tuning vereist. De betekenis ligt in het mogelijk maken van een besluitvormingsproces waarbij mensen een gecureerde set kandidaten kunnen beoordelen, waardoor wordt verzekerd dat de uiteindelijke selectie wordt getrokken uit een pool die theoretisch de optimale oplossing bevat, zelfs in aanwezigheid van LLM-beperkingen. Het werk claimt niet menselijke experts te vervangen, maar hen te versterken door de zoekruimte te reduceren tot een set van haalbare modellen met hoge waarschijnlijkheid.