Relation Reasoning with LLMs in Expensive Optimization

Technische Samenvatting: R2SAEA – Relatiereasoning met LLM's in Duurzame Optimalisatie

Probleemstelling
Duurzame Optimalisatieproblemen (EOPs) worden gekenmerkt door black-box doelfuncties waarbij evaluaties kostbaar zijn (bijvoorbeeld fysieke experimenten, high-fidelity simulaties) en gradiënten niet beschikbaar zijn. De primaire bottleneck bij het oplossen van EOPs is het beperkte evaluatiebudget. Hoewel Surrogaat-geassisteerde Evolutionaire Algoritmen (SAEAs) dit mitigeren door gebruik te maken van geleerde modellen om kandidaten te screenen, vereisen conventionele surrogaatmodellen (regressie, classificatie of relationele modellen) doorgaans frequente hertraining naarmate de populatie evolueert. Deze "train-predict"-lus brengt aanzienlijke rekenkundige overhead met zich mee, wat de efficiencywinsten van surrogaatondersteuning kan tenietdoen. Bovendien is het, hoewel Large Language Models (LLMs) veelbelovend hebben getoond in optimalisatie, vaak onpraktisch om frontier-modellen direct in evolutionaire lussen in te zetten vanwege hoge inferentiekosten en latentie, terwijl kleinere modellen de specifieke redeneervermogens missen die nodig zijn voor betrouwbare relationele inferentie.

Methodologie: R2SAEA
Het artikel stelt R2SAEA (Reinforcement-getraind relationeel LLM-surrogaat geassisteerd evolutionair algoritme) voor, een raamwerk dat de traditionele hertrainingslus vervangt door een inferentie-only, relationeel surrogaat aangedreven door een fijngetuned LLM. De methodologie bestaat uit drie kerncomponenten:

1. Relatiereasoning als In-Context Learning:
   In plaats van een parametrisch model te trainen, presenteert het artikel relationeel surrogaatmodelleren als een in-context pairwise reasoning-taak. De LLM wordt geprompt om de relatieve superioriteit tussen oplossingsparen te voorspellen op basis van een set gelabelde voorbeelden (context). Twee mainstream criteria worden ondersteund:

   • Functie-criterium (C1): Binaire labeling ($+1/-1$) gebaseerd op superioriteit van de doelfunctiewaarde.
   • Categorie-criterium (C2): Ternaire labeling ($+1/0/-1$) die inter-klassale (goed vs. slecht) en intra-klassale relaties onderscheidt.

2. Anker-gebaseerde Iteratieve Contextconstructie:
   Om de kwadratische complexiteit van pairwise vergelijkingen ($O((n+q)^2)$) aan te pakken, die de contextlimieten overschrijdt, introduceren de auteurs een anker-gebaseerde iteratieve strategie.

   • De taak wordt ontleed in $n$ inferentierondes, waarbij elke bestaande oplossing in de contextset fungeert als een vast "anker".
   • Voor elk anker ontvangt de LLM een prompt met gelabelde relaties tussen het anker en andere contextoplossingen, plus niet-gelabelde relaties tussen het anker en kandidaatoplossingen.
   • Dit reduceert de promptcomplexiteit per ronde naar lineair ($O(n+q)$), waardoor stabiliteit en schaalbaarheid worden gewaarborgd.

3. Aggregatie op Basis van Stemming:
   De LLM geeft een matrix van pairwise relaties uit. Deze worden geaggregeerd tot absolute kwaliteitscores voor kandidaatselectie via een stemmechanisme:

   • Voor C1 is de score de negatieve som van de voorspelde relaties (het tellen hoeveel ankers een kandidaat verslaat).
   • Voor C2 wordt een genormaliseerde score berekend op basis van hoe vaak kandidaten worden beoordeeld als "beter" of "slechter" door "goede" en "slechte" ankergroepen.

4. Fijnafstemming met Reinforcement Learning (GRPO):
   Om efficiënte, zero-shot implementatie mogelijk te maken zonder hertraining per generatie, hebben de auteurs een compacte LLM (Qwen2.5-7B) fijngetuned met Group Relative Policy Optimization (GRPO).

   • Data: Trainingspaden worden gegenereerd vanuit evolutionaire runs op benchmarkfuncties (LZG, CEC), waarbij instructieparen worden gemaakt met de werkelijke pairwise relatie als ground truth.
   • Beloning: Een op regels gebaseerde beloningsfunctie evalueert naleving van het JSON-uitvoerformaat, relationele nauwkeurigheid en outputdiversiteit (met straffen voor degeneratieve voorspellingen).
   • Voordeel: GRPO elimineert de noodzaak van een apart critic-model en gebruikt groepsgerichte beloningsnormalisatie om stabiele leersignalen te bieden voor discrete relationele labels.

Belangrijkste Bijdragen

1. Formulering: Het artikel formuleert relationeel surrogaatmodelleren als een in-context LLM-redeneerprobleem onder C1- en C2-criteria, en introduceert een anker-gebaseerd mechanisme voor iteratieve promptconstructie om de contextcomplexiteit van kwadratisch naar lineair te reduceren.
2. Aggregatiestrategie: Er wordt een aggregatiestrategie op basis van stemming ontworpen om voorspelde pairwise relaties om te zetten in absolute scores voor kandidaatranking, waardoor standaard SAEA-selectieoperators LLM-uitvoer kunnen benutten.
3. RL-pijplijn: Een end-to-end RL-fijnafstemmingspijplijn is opgezet met behulp van evolutionaire paden en GRPO. De resulterende modellen (ReLLM-C1/C2) tonen een superieure nauwkeurigheid in relationele voorspelling in vergelijking met sterke algemene LLM's en maken zero-shot implementatie zonder hertraining mogelijk.
4. Prestaties: Het raamwerk bereikt state-of-the-art (SOTA) prestaties op zowel single-objective (SOP) als multi-objective (MOP) benchmarks voor duurzame optimalisatie, en presteert beter dan klassieke SAEAs (regressie, classificatie en relationeel gebaseerd) en algemene LLM-baselines.

Experimentele Resultaten

• Optimalisatieprestaties: Op single-objective benchmarks (LZG, YLL suites) behaalde R2SAEA-SOP de beste gemiddelde rang (2,69) onder zeven algoritmen, en presteerde beter dan relationeel gebaseerde DRSO in 22/45 gevallen en Bayesian Optimization in 23/45 gevallen. In multi-objective tests (DTLZ, WFG, MaF) behaalde R2SAEA-MOP de eerste plaats met een gemiddelde rang van 2,84, en presteerde significant beter dan classificatie-gebaseerde (CPS-MOEA, CSEA) en regressie-gebaseerde (K-RVEA) surrogaatmodellen.
• Relationele Voorspelling: Off-line evaluaties toonden aan dat de RL-fijngetuned ReLLM-modellen hun pre-fijnafstemming basismodellen en frontier algemene LLM's (inclusief GPT-4o, Gemini-2.5-Pro en Qwen3-235B) significant overtroffen in pairwise relationele nauwkeurigheid en rangordeconsistentie (Spearman's $\rho$). Opmerkelijk is dat algemene LLM's vaak correlaties dicht bij nul of negatief opleverden, waardoor ze zonder taakspecifieke training geen zinvolle rangordes konden produceren.
• Schaalbaarheid en Robuustheid: Het model toonde robuustheid tegen verschuivingen in de dimensionaliteit van de beslissingsruimte ($D \in \{5, 10, 30\}$) en contextgrootte. Lokale (op prompt-niveau) normalisatie bleek superieur aan globale normalisatie voor relationele inferentie.
• Implementatie: Gequantiseerde varianten (4-bit en 8-bit) van een model met 3 miljard parameters behielden hoge nauwkeurigheid terwijl ze efficiënte inferentie mogelijk maakten op randapparatuur (bijvoorbeeld Jetson Orin NX), waarmee een praktisch hardware-niveau surrogaatparadigma wordt ondersteund.

Betekenis en Claims
Het artikel beweert dat R2SAEA de kloof overbrugt tussen het hoge redeneerpotentieel van LLM's en de strikte efficiency-eisen van duurzame optimalisatie. Door te verschuiven van een "train-predict"-paradigma naar een "inferentie-only"-paradigma, elimineert de methode de overhead van frequente surrogaathertraining. De auteurs benadrukken dat hun aanpak een zero-shot surrogaatparadigma biedt, waarbij een enkel, gespecialiseerd model in evolutionaire lussen kan worden ingebed zonder verdere aanpassing. Het werk vertegenwoordigt de eerste expliciete fijnafstemming van LLM's specifiek voor surrogaat-geassisteerde evolutionaire optimalisatie, en biedt een haalbare route naar hardware-vriendelijke, real-time optimalisatie in omgevingen met beperkte middelen.