Technische Samenvatting: LLM's als Orchestrators voor Constraint-Compliante Multi-Agent Optimalisatie

Probleemstelling

E-commerce aanbevelingssystemen staan voor een kritieke uitdaging: ze moeten gelijktijdig meerdere conflicterende doelstellingen (nauwkeurigheid, diversiteit, nieuwheid, eerlijkheid) optimaliseren, terwijl ze strikt voldoen aan harde zakelijke restricties (constraints). In productieomgevingen zijn restricties zoals verkoperdekking, categorie-eerlijkheid en de blootstelling van nieuwe items niet onderhandelbaar; het schenden ervan, zelfs één keer, is onacceptabel.

Eerder onderzoek heeft deze restricties grotendezaaklijk behandeld als zachte straffen (soft penalties) of regularisatietermen, of heeft zich gericht op item-scoring en interactie via Large Language Models (LLM's). Deze benaderingen leiden vaak tot aanhoudende schendingen van restricties tijdens implementatie of resulteren in Pareto-fronten die gedomineerd worden door onhaalbare oplossingen. Hoewel multi-objective evolutionaire algoritmen bestaan, worstelen zij met het balanceren van de kwaliteit van de oplossing versus strikte haalbaarheid. Bovendien opereren bestaande LLM-gebaseerde aanbevelers doorgaans op het niveau van contentbegrip of gebruikersinteractie, waardoor het potentieel van LLM's als hoogwaardige optimalisatie-coördinatoren voor geconstreinde zoekopdrachten grotendeels onontgonnen blijft.

Methodologie: DualAgent-Rec

De auteurs stellen DualAgent-Rec voor, een framework dat een LLM gebruikt om een dual-agent evolutionair optimalisatieproces te orkestreren. Het systeem is ontworpen om 100% restrictie-naleving te garanderen terwijl de trade-off tussen nauwkeurigheid en diversiteit wordt geoptimaliseerd.

1. Probleemformulering

De aanbevelingstaak wordt geformuleerd als een geconstreind multi-objective optimalisatieprobleem:

• Doelstellingen: Maximaliseer relevantie ($f_1$), diversiteit ($f_2$, via intra-list afstand), en nieuwheid ($f_3$, via inverse populariteit).
• Harde Restricties:
  • Categorie-eerlijkheid: Gini-coëfficiënt van de categorieverdeling $\le \theta_{fair}$.
  • Verkoperdekking: Aantal verschillende verkopers $\ge \theta_{seller} \cdot k$.
  • Blootstelling Nieuwe Items: Aantal items toegevoegd in de laatste 30 dagen $\ge \theta_{new} \cdot k$.

2. Dual-Agent Architectuur

Het framework deelt de zoekruimte op in twee gespecialiseerde agents die populaties parallel evolueren:

• Exploitatie Agent: Richt zich op het verfijnen van hoogwaardige oplossingen binnen de haalbare regio. Het maakt gebruik van het Constraint Domination Principle (CDP) voor selectie, waarbij haalbare oplossingen strikt worden geprioriteerd boven onhaalbare oplossingen, waarbij de grootte van de restrictie-schending als tie-breaker dient. Het gebruikt de DE/pbest/1 variatie om convergentie te versnellen.
• Exploratie Agent: Houdt een aparte populatie in stand en voert een onbeperkte Pareto-zoektocht uit met een verdubbelde mutatiesnelheid. Het negeert restricties tijdens selectie om onverkende regio's van de objectieruimte te doorkruisen, wat fungeert als een diversiteitsreservoir om voortijdige convergentie naar suboptimale haalbare bassins te voorkomen.
• Bidirectionele Kennisoverdracht: Elite-oplossingen worden tussen de agents uitgewisseld op basis van crowding distance, waardoor de exploitatie agent profiteert van nieuwe ontdekkingen terwijl de exploratie agent sturing ontvangt van hoogwaardige haalbare oplossingen.

3. LLM-gebaseerde Coördinatie

Een centrale innovatie is het gebruik van een LLM als een dynamische resource-allocator. In plaats van vaste heuristieken, de LLM-coördinator:

• Observeert: Een gestructureerde samenvatting van optimalisatiemetrieken (hypervolume, verbeteringssnelheden), restrictie-statistieken (haalbaarheidsratio, grootte van schendingen) en gebruikerscontext.
• Beslist: Produceert een allocatieratio $\alpha \in [0, 1]$ die de populatieomvang van de Exploitatie- en Exploratie-agents bepaalt ($|P_{exploit}| = \alpha N$).
• Adapteert: Verhoogt $\alpha$ (bevoordeelt exploitatie) wanneer de haalbaarheid stabiel is en de progressie vertraagt; verlaagt $\alpha$ (bevoordeelt exploratie) wanneer restrictie-schendingen aanhouden of het hypervolume stagneert. Dit biedt interpreteerbare, contextbewuste orchestratie zonder handmatige scheduling-regels.

4. Adaptieve Restrictie-afhandeling

Om vroege exploratie te verzoenen met strikte uiteindelijke haalbaarheid, gebruikt het systeem een zelf-kalibrerende $\epsilon$-relaxatiestrategie:

• Restricties worden aanvankelijk versoepeld ($\epsilon_0$) op basis van de 8end percentiel van de initiële schendingen, waardoor ongeveer 20% van de vroege oplossingen als haalbaar kan worden beschouwd.
• De relaxatieparameter $\epsilon_t$ neemt geleidelijk af over generaties ($\epsilon_t = \epsilon_0 \cdot \gamma^{t/T_{max}}$), waardoor de restricties steeds strenger worden totdat exacte haalbaarheid wordt afgedwongen bij convergentie.

Belangrijkste Bijdragen

1. Dual-Agent Architectuur: Een innovatieve scheiding van exploratie en exploitatie in gespecialiseerde agents, wat de Pareto-front dekking en optimalisatie-efficiëntie verbetert onder concurrerende doelstellingen.
2. LLM Orchestratie: De introductie van een LLM als een hoogwaardige coördinator die adaptief de resource-allocatie beheert op basis van optimalisatiedynamiek en restrictie-naleving, ter vervanging van breekbare regelgebaseerde schema's.
3. Adaptieve Restrictie-strategie: Een zelf-kalibrerend $\epsilon$-relaxatiemechanisme dat strikte restrictie-naleving in de finale oplossingen garandeert, terwijl de exploratie-efficiëntie in de vroege stadia behouden blijft.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat het framework 100% restrictie-naleving bereikt terwijl het sterke baselines overtreft in Pareto hypervolume en convergentiesnelheid.

Experimentele Resultaten

Experimenten werden uitgevoerd op de Amazon Reviews 2023 dataset over drie diverse categorieën: All_Beauty (klein), Electronics (medium), en Clothing_Shoes_Jewelry (groot).

• Restrictie-naleving: DualAgent-Rec bereikte 100% haalbaarheid over alle categorieën, wat de effectiviteit van de adaptieve $\epsilon$-relaxatie en CDP-mechanismen valideert.
• Pareto Prestaties: Het framework verbeterde het Pareto Hypervolume (HV) met 4–6% vergeleken met single-population baselines en regelgebaseerde allocatievarianten.
• Nauwkeurigheid-Diversiteit Trade-off: Hoewel de onbeperkte variant een hogere diversiteit bereikte, faalde het op haalbaarheid (72%). DualAgent-Rec behield een concurrerende diversiteit (0.247) en nauwkeurigheid (NDCG@10: 0.581) terwijl het strikt aan de restricties voldeed.
• Ablatie-inzichten:
  • Populatieomvang: Kleinere populaties (50) boden een snellere runtime (5.2s) geschikt voor latency-gevoelige applicaties, terwijl grotere populaties (200) de diversiteit maximaliseerden voor offline batchverwerking.
  • Restrictie-strengheid: Dit was de meest impactvolle factor; strengere restricties verminderden de HV maar maximaliseerden de nauwkeurigheid, wat een afstembare trade-off biedt voor deployment.
  • LLM Impact: De LLM-coördinator zorgde voor bescheiden maar consistente HV-verbeteringen (~1%) ten opzichte van fixed-rule allocatie, met significante kwalitatieve voordelen in interpreteerbaarheid en automatische adaptatie.

Betekenis en Claims

Het paper beweert de kloof te overbruggen tussen academisch multi-objective optimalisatieonderzoek en de vereisten van de echte productieomgeving. De primaire betekenis ligt in het aantonen dat LLM's effectief kunnen fungeren als orchestratie-agents voor complexe, geconstreinde optimalisatieproblemen, waarmee ze verder gaan dan hun traditionele rollen in scoring of interactie.

De auteurs stellen dat DualAgent-Rec een principieel framework biedt waarbij restrictie-naleving wordt behandeld als een "first-class objective", wat garandeert dat elke gedeployde aanbevelingslijst haalbaar is bij ontwerp, in plaats van enkel bij verwachting. Het werk biedt praktische richtlijnen voor deployment, waarbij wordt aangetoond dat het framework kan worden afgestemd voor verschillende scenario's (bijv. real-time vs. offline) terwijl de niet-onderhandelbare eis van strikte naleving van harde restricties behouden blijft.