Technische Samenvatting: PEARL – Solver-in-the-Loop Interactieve Optimalisatie Modellering vanuit Natuurlijke Taal

1. Probleemstelling

Optimalisatiemodellering houdt in dat real-world besluitvormingsproblemen, die doorgaans in natuurlijke taal (NL) worden beschreven, worden vertaald naar formele wiskundige formuleringen en uitvoerbare solver-code. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken voor het automatiseren van deze taak, richten bestaande benaderingen zich grotendeels op het als een one-shot generatieprobleem behandelen. Huidige methoden vertrouwen ofwel op vaste prompting, handmatig ontworagen workflows, of supervised fine-tuning om in één enkele passage een volledige formulering te produceren.

Dit paradigma slaagt er niet in de inherent interactieve aard van real-world modellering te vatten, waarbij menselijke experts betrokken zijn bij herhaalde solve–debug–revise cycli. Kleine fouten in constraints, indexering of databinding kunnen modellen ontoelaatbaar maken of leiden tot stille runtime-fouten. Bestaande geautomatiseerde systemen reageren zelden op feedback van de solver, voeren geen gedeeltelijke modellen uit om problemen te diagnosticeren, of leren niet wanneer ze moeten stoppen. Gevolgelijk produceren gegenereerde outputs vaak gehallucineerde constraints of falen ze tijdens runtime. Het artikel betoogt dat optimalisatiemodellering niet moet worden geherconceptualiseerd als statische tekstgeneratie, maar als een multi-turn, tool-geïntegreerd besluitvormingsproces waarbij de agent leert te interageren met solvers om zijn outputs te verifiëren en te verfijnen.

2. Methodologie: PEARL Framework

De auteurs introduceren PEARL (interactive optimization modeling with tool-integrated agentic reinforcement learning), een systeem dat optimalisatiemodellering formaliseert als een episodisch Partially Observable Markov Decision Process (POMDP).

2.1 POMDP Formulering

• Toestand ($S$): De latente omgevingsstatus omvat de ware semantiek van het probleem, verborgen modelleringsfouten en de interne status van de solver, die niet direct observeerbaar zijn.
• Observatie ($O$): De agent observeert de NL-specificatie, de conversatiegeschiedenis, tussenliggende code-artefacten en cruciaal: tool-feedback (runtime logs, solver-status zoals "infeasible" of "optimal", objectieve waarden en validatierapporten).
• Actieruimte ($A$): De agent kiest tussen twee typen acties:
  1. Natuurlijke Taal Acties: Het herzien of uitbreiden van de wiskundige formulering (variabelen, doelstellingen, constraints) en implementatieplannen.
  2. Tool-Invocatie Acties: Het triggeren van de Execute tool (om Python-code uit te voeren en solvers aan te roepen) of de Validate tool (om deterministische controles uit te voeren).
• Terminatie ($T$): De episode eindigt wanneer de agent een definitief antwoord geeft (formulering + code) of een turn/tijd-budget uitput.

2.2 Omgeving en Tools

De omgeving biedt twee primaire tools:

• Execute: Voert gegenereerde Python-code uit in een gesandboxed, resource-gebonden runtime. Het geeft gestructureerde feedback terug, inclus\nuit solver-status (optimal, infeasible, unbounded), objectieve waarden en geëxtraheerde oplossingen.
• Validate: Voert deterministische controles uit op artefacten (bijv. constraint-satisfactie) en vergelijkt objectieve waarden met referentie-oplossingen indien beschikbaar.
  In tegen tegenstelling tot eerder werk waar executie een post-hoc evaluator is, integreert PEARL deze traces en diagnostiek direct in de observatiestroom, wat de agent in staat stelt om iteratief te herzien op basis van feedback.

2.3 Reward Design

De beloningsfunctie $R(\tau)$ is ontworpen om verifieerbaar en solver-gegrond te zijn, waarbij tekstuele proxies worden vermeden. Het bestaat uit twee componenten:

1. Format Reward ($r_{fmt}$): Biedt dichte incentives voor correcte tool-invocatie syntaxis en naleving van output-formaten, wat de training stabiliseert door ongeldige interacties te ontmoedigen.
2. Correctness Reward ($r_{corr}$): Gegrond in solver-executie. Indien een referentie optimale waarde $v_{label}$ bestaat, ontvangt de agent een positieve beloning als de gegenereerde oplossing's objectieve waarde $v_{pred}$ voldoet aan $|v_{pred} - v_{label}| \le \epsilon$. Dit beloont direct de solver-correctheid in plaats van heuristische welgevormdheid.

2.4 Trainingsdoelstelling

PEARL maakt gebruik van Agentic Reinforcement Learning met multi-turn rollouts.

• Policy Optimization: De policy wordt geïnitialiseerd vanuit een pre-trained LLM en geoptimaliseerd met behulp van GRPO-stijl reinforcement learning met decoupled clipping (geïnspireerd door DAPO) om hoge variantie in returns in tool-augmented omgevingen te beheersen.
• Credit Assignment: Beloningen zijn schaars en vertraagd. Het systeem normaliseert traject-niveau returns binnen een batch om advantages te berekenen, wat zorgt voor long-horizon credit assignment over de gehele solve–debug–revise traject in plaats van alleen de uiteindelijke output.
• Curriculum: Training past zich aan optimalisatie-specifieke uitdagingen aan, waarbij wordt bewogen van korte, volledig gespecificeerde instanties naar lang-context en industrieel-stijl inputs, terwijl solver-nondeterminisme wordt behandeld als omgevingsruis.

3. Belangrijkste Bijdragen

1. Reconceptualisering van Modellering: Het artikel formaliseert optimalisatiemodellering als een interactief, multi-turn besluitvormingsprobleem waarbij solver-executie en diagnostische feedback worden behandeld als observeerbare state-componenten, onderscheidend van traditionele one-shot generatie.
2. Agentic RL voor Optimalisatie: Het introduceert de eerste agentic RL-benadering specifiek voor optimalisatiemodellering, waardoor agents leren wanneer te executeren, hoe te herzien op basis van solver-diagnostiek, en wanneer te termineren, in plaats van te vertrouren op vaste heuristieken.
3. Empirische Superioriteit met Compacte Modellen: Uit uitgebreide experimenten blijkt dat PEARL de verified solve rates aanzienlijk verbetert ten opzichte van sterke one-shot en tool-augmented baselines. Opvallend genoeg presteert PEARL-Qwen3-4B (een model met 4 miljard parameters) aanzienlijk beter dan veel grotere algemene modellen, waaronder DeepSeek-V3.2-685B, in zowel macro- als micro-gemiddelde accuratesse op optimalisatietaken.

4. Experimentele Resultaten

De auteurs hebben PEARL geëvalueerd over diverse benchmarks (NL4Opt, MAMO, NLP4LP, OptMATH, IndustryOR, ComplexOR, Resocratic).

• Prestaties vs. Schaal: PEARL-4B behaalde een 69.71% macro-average Pass@1, waarmee het DeepSeek-V3.2-685B (66.51%) en GPT-5 (71.40%) versloeg. Het toonde bijzonder sterke winsten op complexe, ondergespecificeerde benchmarks zoals MAMO ComplexLP en Resocratic.
• Interactie vs. Scaffolding: Ablatie-studies bevestigden dat de prestatiewinsten voortkomen uit de geleerde interactie-policy, en niet louter uit de aanwezigheid van een tool-scaffold. Een basemodel dat dezelfde tool-interface gebruikt maar zonder agentic RL-training, behaalde een significant lagere accuratesse.
• Foutmodus-analyse: De PEARL-training verschoof de foutmodi weg van executie- en parsing-fouten (bijv. code/runtime, format extractie) naar meer modellering-gecentreerde kwesties (bijv. objectieve mismatch, infeasibility). Dit duidt erop dat de agent succesvol heeft geleerd om implementatiefouten te herstellen en met solvers te interageren, hoewel structurele formulering-fouten een uitdaging blijven.
• Trainingsdynamiek: Het gedrag rondom tool-gebruik convergeerde vroeg in de training, terwijl latere training de details en structuur van het modellerings-traject verfijnde. Supervised Fine-Tuning (SFT) diende als een nuttige warm-start, maar was niet de primaire drijfveer van de uiteindelijke prestaties vergeleken met solver-gegronde agentic RL.

5. Betekenis en Claims

Het artikel claimt dat geleerde interactie en het benutten van feedback zwaarder kunnen wegen dan ruwe model-schaal in gestructureerde besluitvormingsproblemen zoals optimalisatie. Door modellering te behandelen als een interactief proces, stelt PEARL compacte modellen (bijv. 4 miljard parameters) in staat om prestaties te leveren die vergelijkbaar zijn met of zelfs de prestaties overtreffen van veel grotere algemene modellen, wat de herhaalde agentic invocatie praktischer maakt voor implementatie.

De auteurs hanteren een bescheiden standpunt met betrekking tot de reikwijdte van hun claims:

• De resultaten demonstreren de effectiviteit in het huidige publieke NL-naar-Opt regime.
• De benchmarks dekken niet de volledige real-world complexiteit; stochastische, robuuste en zeer domeinspecifieke enterprise-settings blijven ondervertegenwoordigd.
• Solver-gebaseerde validatie is gedeeltelijk; hoewel het de haalbaarheid (feasibility) verbetert, kan het de structurele correctheid tegen ambigue specificaties niet volledig garanderen.

Toekomstig werk wordt gesuggereerd om agentic modellering uit te breiden naar stochastische en robuuste settings met rijkere validators en meer adaptieve interactie-policies.