🤖 AI

A Multi-Agent system for Multi-Objective constrained optimization

Dit artikel introduceert MAMO, een multi-agent reinforcement learning-framework dat autonoom optimale beloningsgewichten leert om primaire doelstellingen en schendingen van beperkingen in dynamische omgevingen in balans te brengen, waardoor de beperkingen van handmatige gewichtselectie in traditionele Lagrangian-gebaseerde benaderingen worden overwonnen.

Oorspronkelijke auteurs: Federica Filippini

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Federica Filippini

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een drukke koffiebar. Je hebt twee hoofddoelen:

Houd de kosten laag: Stel niet te veel barista's aan en koop niet te veel melk, anders verlies je geld.
Houd klanten tevreden: Stel niet te weinig barista's aan, anders wordt de rij te lang en vertrekken mensen boos (of in technische termen: hun bestellingen worden "afgewezen").

In de echte wereld verandert het aantal klanten constant. Soms is het een rustige dinsdagochtend; soms is het een chaotische vrijdagmiddagspits.

De Oude Manier: Gokken naar de Balans

Traditioneel gebruiken computersystemen die dit probleem proberen op te lossen een methode genaamd "Reinforcement Learning". Denk hierbij aan het trainen van een robotmanager. Om de robot te leren, geef je hem een scorekaart. Maar hier komt de crux: de scorekaart is één enkel getal dat is samengesteld uit jouw twee doelen.

"Als je geld bespaart, krijg je +10 punten."
"Als een klant boos vertrekt, krijg je -50 punten."

Het probleem is: wie bepaalt dat -50 het juiste getal is? Bij de oude methode moet een mens raden en handmatig deze getallen (gewichten) invoeren.

Als je gokt dat de straf te laag is, wordt de robot roekeloos: hij bespaart geld, maar maakt klanten boos.
Als je gokt dat de straf te hoog is, wordt de robot een zenuwachtig wrak: hij neemt 20 barista's aan voor slechts één klant om maar veilig te zitten, wat geld verspilt.

In een veranderende wereld (zoals een koffiebar die op verschillende momenten van de dag drukker wordt) verandert het "perfecte" getal voortdurend. Mensen kunnen niet bijhouden hoe ze elke minuut nieuwe getallen moeten invoeren.

De Nieuwe Manier: MAMO (Het Twee-Agenten Systeem)

De paper introduceert een nieuw systeem genaamd MAMO. In plaats van één robotmanager die de regels raadt, gebruikt MAMO twee robots die samenwerken in een hiërarchie.

1. De "Doer" (Taakuitvoerende Agent)

Dit is de robot op de werkvloer. Zijn taak is simpel: "Kijk naar de rij, beslis hoeveel barista's je moet aannemen, en probeer de beste score te halen op basis van de regels die ik je geef." Hij maakt zich geen zorgen over wat de regels zijn; hij volgt ze gewoon op.

2. De "Coach" (Gewicht-aanpassende Agent)

Dit is de robot in het kantoor. Hij raakt nooit het koffiezetapparaat aan. Zijn enige taak is om de "Doer" te observeren en de regels aan te passen.

De Coach kijkt naar de laatste 300 minuten aan service.
Hij ziet: "Hé, we hebben veel geld bespaard, maar 10% van de klanten is boos vertrokken. Dat is te riskant."
Dus verandert de Coach de regel: "Oké, ik ga de straf voor boze klanten veel hoger maken."
Hij overhandigt deze nieuwe regels aan de "Doer".
De "Doer" probeert het opnieuw met de nieuwe regels.

Hoe ze samen leren

Dit systeem werkt in een lus, zoals een coach en een atleet:

De Coach kiest een set regels (gewichten) en zegt: "Ga!"
De Doer werkt een tijdje en probeert zijn best te doen met die regels.
De Coach bekijkt de resultaten. Hebben we de klanten tevreden gehouden? Hebben we geld bespaard?
De Coach past de regels een klein beetje aan en start de volgende ronde.

Na verloop van tijd leert de Coach precies hoe hij de regels moet balanceren, zodat de "Doer" vanzelf het "ideale punt" vindt zonder dat de Coach elke individuele koffiebestelling hoeft te micromanagen. Het systeem ontdekt de perfecte balans uit zichzelf, en past zich aan wanneer de "spitsuren" veranderen.

Het Experiment

De onderzoekers testten dit op een gesimuleerd "edge computing"-systeem (wat in feid een netwerk van kleine servers is, vergelijkbaar met de koffiebar).

Ze probeerden de "Doer" een vaste regel te geven (bijv. "Wees altijd super voorzichtig"). Dit faalde wanneer de werklast extreem hoog werd.
Ze probeerden een andere vaste regel ("Wees altijd heel goedkoop"). Dit faalde omdat klanten boos werden.
Met MAMO: De "Coach" begon met een willekeurige regel. Na een tijdje ontdekte hij de perfecte balans. Het systeem hield het percentage "boze klanten" (het afwijzingspercentage) net onder de limiet (5%), terwijl de kosten zo laag mogelijk werden gehouden, zelfs toen de werklast onvoorspelbaar en grillig was.

De Kern van het Verhaal

MAMO is een manier om computers te leren hoe ze afwegingen moeten maken zonder dat een mens constant de instellingen hoeft bij te stellen. Het scheidt de actie (het uitvoeren van het werk) van de strategie (beslissen wat het belangrijkst is), waardoor het systeem door ervaring het perfecte evenwicht leert vinden, net zoals een ervaren manager dat zou doen.

Technische Samenvatting: MAMO – Een Multi-Agent Systeem voor Multi-Objective Constrained Optimization

1. Probleemstelling

Veel besluitvormingsproblemen in computer- en netwerkingsystemen, met name binnen de Computing Continuum (CC), kunnen worden geformuleerd als kostenminimalisatieproblemen onderhevig aan prestatiebeperkingen (bijv. latentie, doorvoer of resourcebudgetten). In dynamische omgevingen die gekenmerkt worden door fluctuerende workloads en beschikbaarheid van resources, wordt Reinforcement Learning (RL) frequent ingezet om deze problemen tijdens runtime op te lossen.

De standaardaanpak voor het afhandelen van beperkingen in RL omvat Lagrangiaanse formuleringen, waarbij schendingen van beperkingen worden samengevoegd met de primaire kosten in een enkele scalaire beloning met behulp van handmatig geselecteerde gewogen straftermen. Dit paper identificeert een kritieke beperking in dit paradigma: het gedrag van het geleerde beleid is sterk afhankelijk van deze vaste gewichten.

Het Trade-off Dilemma: Het selecteren van geschikte gewichten is moeilijk en problemspecifiek. Onjuiste gewichten leiden tot beleid dat ofwel te conservatief is (prioriteit geven aan beperkingen tegen hoge kosten) ofwel te agressief (kosten minimaliseren terwijl kwaliteitsvereisten (QoS) regelmatig worden geschonden).
Niet-stationariteit: In dynamische omgevingen kan de relatieve belangrijkheid van doelstellingen in de loop van de tijd veranderen, waardoor statische, handmatig afgestelde gewichten suboptimaal worden.

Het paper stelt een oplossing voor om de taakuitvoering te ontkoppelen van het ontwerp van de doelfunctie, waarbij wordt bewogen van handmatige parameterafstemming naar een autonoom, adaptief mechanisme.

2. Methodologie: Het MAMO-framework

De auteurs stellen MAMO (Multi-Agent system for Multi-Objective constrained optimization) voor, een hiërarchisch multi-agent framework ontworpen om de trade-off tussen conflicterende doelstellingen te leren. MAMO behandelt de selectie van beloningswegingscoëfficiënten als een leerprobleem in plaats van een vaste ontwerpkeuze.

Architectuur

MAMO bestaat uit twee agenten die opereren op verschillende tijdschalen en abstractieniveaus:

Task-Execution (TE) Agent:
- Rol: Interacteert direct met de omgeving om een controlebeleid te leren.
- Mechanisme: Gebruikt een standaard gewogen beloningsfunctie die de primaire kosten en straftermen voor beperkingsschendingen aggregeert.
- Gedrag: Voor een vaste set gewichten gedraagt de TE-agent zich als een conventionele RL-agent die de samengestelde doelstelling optimaliseert.
Weight-Adaptation (WA) Agent:
- Rol: Werkt op een hoger niveau en een langzamere tijdschaal. Deze werkt niet direct in op de omgeving.
- Mechanisme: Selecteert de waarden van de wegingscoëfficiënten ( $w$ ) die de trade-off in de beloningsfunctie van de TE-agent reguleren.
- Leersignaal: De WA-agent observeert geaggregeerde prestatie-indicatoren (bijv. gemiddelde executiekosten en gemiddelde afwijzingskans) geproduceerd door de TE-agent.
  - Als de afwijzingskans de tolerantiedrempel overschrijdt, ontvangt de WA-agent een beloning van nul (straf voor schending van beperkingen).
  - Als de beperkingen worden nageleefd, komt de beloning overeen met de executiekosten (stimuleren van lagere kosten).
- Doelstelling: Om een beleid te leren dat prestatiesamenvattingen mapt naar nieuwe waardekonfiguraties, waarbij de executiekosten worden geminimaliseerd terwijl de beperkingen worden gehandhaafd.

Workflow

Het systeem werkt via een iteratieve tweefasige lus:

Gewichtselectie & TE-training: De WA-agent selecteert een gewichtskonfiguratie (initieel willekeurig) en houdt deze vast voor een trainingshorizon. De TE-agent interacteert met de omgeving en werkt zijn beleid bij om de gewogen beloning te optimaliseren.
Evaluatie & Adaptatie: Aan het einde van de horizon observeert de WA-agent de prestatie-indicatoren van de TE-agent. Op basis van deze feedback selecteert de WA-agent een nieuwe gewichtskonfiguratie, waarna een nieuwe fase van TE-training begint.

Deze structuur stelt MAMO in staat om progressief de balans tussen kostenefficiëntie en QoS-behoud te verfijnen direct uit ervaring, zonder afhankelijk te zijn van handmatige afstemming.

3. Referentieapplicatie: Edge-FaaS Replica Scaling

Om het framework te illustreren, passen de auteurs MAMO toe op een replica scaling probleem in een Function-as-a-Service (FaaS) edge computing omgeving.

Context: Edge-nodes hebben beperkte resources (geheugen, rekenkracht) vergeleken met de cloud. Applicaties worden gedecomposeerd in stateless functies die op aanvraag worden geïnstancieerd.
Doelstelling: Minimaliseer de kosten van het initialiseren en draaien van functie-replica's (inclusclusief cold-start overheads) terwijl de kans op het afwijzen van verzoeken onder een specifieke tolerantie ($tol$) blijft.
Uitdaging: Workloads zijn niet-stationair (bijv. diurnale patronen) en de beschikbaarheid van resources fluctueert door co-gelokaliseerde services. Nauwkeurige modellering van het gezamenlijke effect van deze factoren op de afwijzingskans is moeilijk, wat model-vrije RL geschikt maakt.

4. Experimentele Analyse

De auteurs evalueerden MAMO in een vereenvoudigde instantie met een enkele functie met een sinusvormige workload-trace (om diurnale patronen na te bootsen) en voegden uniforme ruis toe om niet-stationariteit te simuleren.

Experimentele Opstelling

Baseline: Het probleem werd offline opgelost met de Gurobi-optimizer om een ondergrens op prestaties vast te stellen onder perfecte kennis.
Controlegevallen: De TE-agent werd getraind met vaste gewichten ( $w=0.99$ en $w=0.1$ ) om extreme gedragingen te demonstreren (over-provisioning versus under-provisioning).
MAMO-configuratie:
- TE-Agent: Deep Q-Learning met een drie-laags volledig verbonden netwerk.
- WA-Agent: Gediscretiseerde actieruimte (stap van 0.01) voor gewichtselectie.
- Trainingscyclus: TE traint voor 15.000 iteraties per gewicht; WA observeert de laatste 300 stappen.
- Beperking: De afwijzingskans moet onder de 0.05 blijven.

Resultaten

Convergentie: Naarmate de WA-agent trainde, benaderde de geobserveerde afwijzingskans ( $p$ ) de 0.05 tolerantiedrempel, terwijl het gewicht $w$ convergeerde naar waarden tussen 0.8 en 0.9.
Prestaties: Hoewel het geleerde beleid resulteerde in iets hogere executiekosten (meer replica's) vergeleken met de offline optimale oplossing, paste het succesvol aan aan de ruisige workload.
Belangrijkste bevinding: MAMO hield de afwijzingskans consequent onder de 0.05 drempel, terwijl fixed-weight benaderingen ofwel beperkingen overtraden (lage $w$ ) ofwel onnodige kosten veroorzaakten (hoge $w$ ).

5. Belangrijkste Bijdragen

Ontkoppeling van Executie en Doelontwerp: MAMO introduceert een hiërarchische architectuur die het controlebeleid (TE) scheidt van het beloningsontwerp (WA), waardoor het systeem zijn begrip van "optimaliteit" kan aanpassen naarmate de omstandigheden veranderen.
Autonome Gewichtsadaptatie: In tegen tegenstelling tot traditionele benaderingen waarbij gewichten handmatig worden afgesteld of geoptimaliseerd via gradiënt-gebaseerde meta-learning, frameert MAMO gewichtselectie als een sequentieel beslissingsprobleem dat wordt opgelost door een aparte agent.
Interpreteerbaarheid: De aanpak beperkt de adaptatie tot een laag-dimensionale vector van scalaire wegingsfactoren over vooraf gedefinieerde doelstellingen, wat een meer gestructureerd en interpreteerbaar alternatief biedt voor vrije vorm intrinsieke beloningsmodellen.
Model-Free Compatibiliteit: De buitenste lus (WA-agent) vereist geen differentieerbaarheid door de innerlijke leerder (TE-agent), waardoor het framework compatibel is met willekeurige innerlijke solvers.

6. Betekenis en Toekomstig Werk

Het paper beweert dat MAMO een "eerste stap is naar meer autonome en robuuste RL-gebaseerde oplossingen" voor constrained optimization in dynamische omgevingen. De betekenis ligt in het vermogen om de trade-off tussen conflicterende doelen te beheren zonder te vertrouven op statische, handmatig afgestelde parameters die verouderd kunnen raken wanneer de systeemdynamiek verandert.

De auteurs blijven bescheiden over de reikwijdte van het huidige werk en merken op dat de experimentele analyse gebaseerd is op een "eenvoudige use-case". Toekomstig onderzoek omvat:

Het evalueren van MAMO op problemen uit andere applicatiedomeinen.
Het vergelijken van MAMO met andere gewichtselectiestrategieën, zoals dual-decomposition schema's, Bayesiaanse optimalisatie en multi-policy algoritmen (bijv. Optimistic Linear Support).