🤖 machine learning

FiLMMeD: Feature-wise Linear Modulation for Cross-Problem Multi-Depot Vehicle Routing

Het artikel stelt FiLMMeD voor, een nieuw uniek op neurale netwerken gebaseerd model dat gebruikmaakt van Feature-wise Linear Modulation, Preference Optimization en curriculum learning om effectief 24 diverse varianten van het Multi-Depot Vehicle Routing Problem op te lossen, en dat hierbij de bestaande state-of-the-art baselines overtreft.

Oorspronkelijke auteurs: Arthur Corrêa, Paulo Nascimento, Samuel Moniz

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arthur Corrêa, Paulo Nascimento, Samuel Moniz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een enorm distributiebedrijf. Je hebt vrachtwagens, chauffeurs en duizenden klanten. Je taak is om de meest efficiënte manier te vinden om pakketten van je magazijnen naar de deuren van de klanten te brengen. Dit is het Vehicle Routing Problem (VRP).

Stel je nu voor dat je bedrijf groeit. Je hebt niet langer slechts één magazijn; je hebt meerdere depots verspreid over de stad. Dit maakt de puzzel veel moeilijker. Dit is het Multi-Depot VRP (MDVRP).

Om het nog chaotischer te maken, werpt het dagelijks leven elke dag nieuwe uitdagingen op:

Soms wil een klant dat een pakket wordt opgehaald (een Backhaul).
Soms heeft een vrachtwagen een strikte tijdslimiet voor hoe lang hij mag rijden (Route Length Limit).
Soms accepteert een klant alleen leveringen tussen 09:00 en 11:00 uur (Time Window).
Soms mag een vrachtwagen halverwege zijn route bij een ander magazijn stoppen om opnieuw te laden (Inter-depot Route).

Traditioneel vereiste het oplossen van deze puzzels dat je voor elke mogelijke combinatie van regels een andere expert inhuurde. Als je een nieuwe regel toevoegde, moest je helemaal opnieuw beginnen.

Dit artikel introduceert FiLMMeD, een nieuwe "super-oplosser" die is ontworpen om al deze verschillende regelcombinaties tegelijkertijd te hanteren, zonder dat het elke keer opnieuw getraind hoeft te worden. Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

1. De "Slimme Brillen" (Feature-wise Linear Modulation)

Stel je voor dat je een bril met slimme technologie draagt. Wanneer je naar een kaart kijkt, verandert de bril je waarneming van de wereld op basis van de regels van de dag.

Als de regel "Tijdsvensters" is, benadrukt de bril de klokken op de kaart en dimt hij de rest.
Als de regel "Backhauls" is, benadrukt de bril de ophaalpunten en verandert hij de kleur van de leveringspunten.

In het artikel wordt dit FiLM (Feature-wise Linear Modulation) genoemd. In plaats van voor elke regel een nieuw brein te bouwen, gebruikt de AI één enkel brein, maar trekt het deze "slimme brillen" (wiskundige aanpassingen) aan om zijn interne denken direct aan te passen aan de specifieke beperkingen van het huidige probleem. Hierdoor kan het begrijpen dat een "Tijdsvenster"-regel de belangrijkheid van bepaalde datapunten verandert, terwijl een "Backhaul"-regel andere datapunten beïnvloedt.

2. Het "Trainingskamp" (Curriculum Learning)

Als je een student probeert een complexe wiskundige opgave te leren door ze op dag één alle mogelijke variabelen tegelijk te geven, zullen ze waarschijnlijk falen. Je hebt een Curriculum nodig.

De auteurs beseften dat je bij Multi-Depot-problemen niet zomaar alle regels willekeurig kunt mengen. Je moet de moeilijkheidsgraad stap voor stap opbouwen:

Fase 1: Leer de AI eenvoudige problemen met slechts één extra regel (bijvoorbeeld alleen Tijdsvensters).
Fase 2: Zodra ze dat beheerst, introduceer problemen met twee regels.
Fase 3: Laat haar uiteindelijk de "baas-boss" aanpakken met vier of vijf gecombineerde regels.

Deze Curriculum Learning-strategie fungeert als een trainingskamp, waarbij wordt gegarandeerd dat de AI de basis van hoe regels met elkaar interageren leert voordat ze overweldigd wordt door de meest complexe scenario's.

3. De "Feedback van de Coach" (Preference Optimization)

Meestal leert AI door te proberen het antwoord te raden en aan het einde een score (Reward) te krijgen. Als de score laag is, probeert het opnieuw. Dit kan rommelig en traag zijn, vooral bij het hanteren van vele verschillende soorten problemen.

De auteurs probeerden een andere aanpak genaamd Preference Optimization (PO). In plaats van te vragen: "Hoe goed is deze route?" (door een getal te geven), vragen ze de AI om twee routes te vergelijken: "Is Route A beter dan Route B?"

Denk hierbij aan een coach die twee atleten ziet rennen. De coach hoeft de exacte snelheid niet te kennen; hij moet alleen weten wie als eerste is gefinisht.
Het artikel beweert dat deze methode stabieler is en de AI helpt sneller en beter te leren dan de traditionele "score-gebaseerde" methode, vooral bij het hanteren van vele verschillende soorten problemen tegelijkertijd.

Wat hebben ze bereikt?

Het team testte hun nieuwe model, FiLMMeD, op 24 verschillende versies van het Multi-Depot-probleem (inclusief 8 gloednieuwe types die ze zelf hebben bedacht) en 16 single-depot-problemen.

Het Resultaat: FiLMMeD sloeg consequent de vorige beste AI-modellen. Het vond betere routes, sneller, en kon complexe combinaties van regels aanpakken waar andere modellen moeite mee hadden.
De "Zero-Shot"-overwinning: Zelfs toen ze het model testten op regelcombinaties die het nooit eerder had gezien, presteerde het nog steeds zeer goed. Dit bewijst dat de aanpak met "slimme brillen" en "trainingskamp" hielp om de logica van het probleem echt te begrijpen, in plaats van alleen antwoorden te memoriseren.

Samenvatting

Het artikel presenteert een nieuw AI-systeem dat fungeert als een universeel distributieplanner. Door gebruik te maken van slimme brillen om zich aan te passen aan specifieke regels, een stap-voor-stap trainingskamp om complexiteit te leren, en een comparatieve coachstijl om efficiënt te leren, lost het complexe logistieke puzzels beter op dan eerdere methoden, allemaal zonder dat er een nieuw model nodig is voor elk nieuw scenario.

1. Probleemdefinitie

Het artikel behandelt het Multi-Depot Vehicle Routing Problem (MDVRP), een complex combinatorisch optimalisatieprobleem (CO) dat centraal staat in de moderne logistiek, met name in de e-commerce. In tegenstelling tot het klassieke single-depot VRP, omvat MDVRP het dispatchen van voertuigen vanuit meerdere depots om klanten te bedienen.

De specifieke uitdaging die wordt aangepakt, is cross-probleem generalisatie. Real-world logistiek omvat heterogene beperkingen die dynamisch variëren (bijvoorbeeld tijdvensters, backhauls, route-lengtebeperkingen, open routes en inter-depot transfers). Traditionele op neurale netwerken gebaseerde oplossers worden doorgaans getraind op specifieke probleemvarianten, waardoor ze breekbaar zijn wanneer ze geconfronteerd worden met nieuwe combinaties van beperkingen. Hoewel Multi-Task Learning (MTL) is toegepast op single-depot VRP's, heeft het grotendeels gefaald in het aanpakken van de complexiteit van MDVRP-varianten, vaak lijdend aan:

Gradiëntconflicten: Conflicterende updates bij het trainen op diverse beperkingen sets tegelijkertijd.
Slechte Generalisatie: Het onvermogen om complexe interacties tussen beperkingen aan te pakken (bijvoorbeeld backhauls + tijdvensters) zonder hertraining.
Statische Conditionering: Bestaande modellen behandelen beperkingen als hoog-niveau context in plaats van het dynamisch moduleren van interne representaties.

2. Methodologie: FiLMMeD

De auteurs stellen FiLMMeD voor, een unificerend op neurale netwerken gebaseerd model dat is ontworpen om 24 distincte MDVRP-varianten op te lossen (inclusief 8 nieuwe formuleringen met inter-depot routes) en 16 single-depot VRP-varianten. De architectuur is gebouwd op Transformer-gebaseerde encoder-decoder frameworks (specifiek een uitbreiding van MTPOMO, MVMoE en CaDA).

Kerncomponenten:

Feature-wise Linear Modulation (FiLM):
- Mechanisme: In plaats van eenvoudige concatenatie van beperkingen-features, introduceert FiLMMeD een conditioneringsvector $z$ (een Booleaanse vector die actieve beperkingen aangeeft) om node-embeddings dynamisch te moduleren.
- Implementatie: Het model berekent schaal- ( $\gamma$ ) en verschuivings- ( $\beta$ ) parameters op basis van $z$ via leerbare lineaire projecties. Deze parameters worden toegepast op klant-embeddings als een affiene transformatie: $FiLM(h|\gamma, \beta) = \gamma \cdot h + \beta$ .
- Effect: Dit stelt het model in staat zijn interne representaties specifiek aan te passen aan de actieve beperkingen van een instantie, waardoor de latente ruimte effectief wordt ontkoppeld en gradiëntconflicten tussen taken worden verminderd.
Curriculum Learning (CL) Strategie:
- Motivatie: Uniforme steekproeven van alle varianten (gemeenschappelijk in single-depot MTL) leiden tot slechte convergentie in MDVRP vanwege complexe beperkingen-interacties.
- Strategie: Het trainingscurriculum is gestructureerd om complexiteit progressief te verhogen:
  - Fase 1 (0-30%): Single-constraint varianten + specifieke twee-constraint varianten die bekend staan als moeilijk (bijvoorbeeld backhaul + tijdvenster).
  - Fase 2 (30-60%): Introductie van alle twee-constraint varianten.
  - Fase 3 (60-90%): Introductie van drie-constraint varianten.
  - Fase 4 (90-100%): Volledige set inclusief vier-constraint varianten.
- Doel: Het model te begeleiden van het leren van geïsoleerde beperkingseffecten naar het beheersen van hun complexe interacties.
Preference Optimization (PO):
- Innovatie: Het artikel introduceert PO als een trainingsparadigma voor MTL, ter vervanging van de standaard Reinforcement Learning (RL) loss (REINFORCE).
- Mechanisme: In plaats van het optimaliseren van scalair beloningen, leert het model uit paarsgewijze voorkeuren tussen trajecten die voor dezelfde instantie zijn gegenereerd. Als traject $A$ een lagere kosten heeft dan $B$ , wordt het model geoptimaliseerd om de waarschijnlijkheid van $A$ ten opzichte van $B$ te verhogen.
- Voordeel: PO vermindert gradiëntvariatie en is schaal-invariant (niet beïnvloed door de absolute grootte van kosten), waarmee het de instabiliteit en gradiëntinterferentie aanpakt die gebruikelijk zijn in MTL-omgevingen.

3. Belangrijkste Bijdragen

Eerste Unificerend MTL-model voor MDVRP: FiLMMeD is het eerste model dat expliciet is ontworpen om een breed scala aan MDVRP-varianten aan te pakken (24 in totaal), inclusief nieuwe formuleringen voor inter-depot routes.
FiLM-mechanisme voor Beperkingen-Conditionering: Toont aan dat het dynamisch moduleren van embeddings op basis van beperkingen-attributen de generalisatie aanzienlijk verbetert en de latente ruimte ontkoppelt in vergelijking met statische feature concatenatie.
Preference Optimization in MTL: Biedt de eerste demonstratie van PO in een MTL-setting, waarbij wordt aangetoond dat het traditionele RL overtreft in termen van convergentiestabiliteit en oplossingskwaliteit.
Doelgericht Curriculum Learning: Stelt vast dat MDVRP een geleid curriculum vereist (geleidelijke blootstelling aan beperkingencomplexiteit) in plaats van uniforme steekproeven, wat voldoende is voor single-depot problemen.

4. Experimentele Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op 24 MDVRP-varianten en 16 single-depot VRP's.

Prestaties op MDVRP:
- FiLMMeD presteerde consequent beter dan state-of-the-art baselines (MTPOMO, MVMoE) en traditionele heuristieken (PyVRP) wat betreft oplossingskwaliteit (Gap).
- Op 50-knooppunt instanties verkleinde FiLMMeD-MTPOMO de gemiddelde gap met 2,888% ten opzichte van zijn baseline.
- Op 100-knooppunt instanties waren de verbeteringen nog aanzienlijker, waarbij FiLMMeD-MVMoE zijn baseline 5,288% overtrof.
- Het model bereikte superieure zero-shot generalisatie op ongezonde beperkingencombinaties.
Prestaties op Single-Depot VRP:
- Bij fine-tuning op single-depot varianten bereikte FiLMMeD (met PO) concurrerende of superieure resultaten vergeleken met baselines getraind op enorme datasets (bijvoorbeeld 100M instanties), ondanks dat het op minder instanties was getraind (30M).
- FiLMMeD-CaDA† (combinatie van FiLM, PO en ReLD) bereikte de beste algehele prestaties, met een gemiddelde gap van 1,46% op 50-knooppunt instanties.
Ablatiestudies:
- FiLM: Het verwijderen van FiLM resulteerde in aanzienlijk slechtere prestaties op ongezonde varianten (bijvoorbeeld steeg de gap van 5,297% naar 5,716% voor MVMoE).
- Curriculum: Uniforme steekproeven of "unified" trainingsstrategieën leidden tot slechte convergentie op MDVRP, wat de noodzaak van de voorgestelde CL-strategie bevestigt.
- PO vs. RL: Modellen getraind met PO toonden snellere convergentie en lagere gemiddelde gappen vergeleken met die getraind met REINFORCE over alle architecturen heen.
Complexiteit: Het FiLM-mechanisme voegt verwaarloosbare parameters toe (<0,01M, <1% toename) en minimale GPU-geheugen overhead. Trainings tijden per epoch blijven bijna identiek aan baselines.

5. Betekenis

Dit artikel vertegenwoordigt een significante stap voorwaarts in neurale combinatorische optimalisatie voor logistiek:

Praktische Toepasbaarheid: Door 24 varianten op te lossen in één unificerend model, adresseert FiLMMeD het "fragmentatie"-probleem in de logistiek, waarbij bedrijven momenteel aparte oplossers nodig hebben voor verschillende beperkingen sets.
Theoretische Vooruitgang: Het daagt de dominantie van Reinforcement Learning in CO uit door aan te tonen dat Preference Optimization een stabielere en effectievere trainingsparadigma biedt voor Multi-Task Learning.
Architecturale Inzicht: Het bewijst dat dynamische conditionering (FiLM) superieur is aan statische context embedding voor het hanteren van heterogene beperkingen, en biedt een blauwdruk voor toekomstige cross-probleem leermodellen.
Generalisatie: Het succes van de curriculum learning strategie benadrukt dat de complexiteit van beperkingen-interacties in multi-depot settings een gestructureerd leerpad vereist, een bevinding die van toepassing kan zijn op andere complexe CO-problemen.

Kortom, FiLMMeD vestigt een nieuwe state-of-the-art voor unificerende neurale oplossers in voertuigrouting, en biedt een schaalbare, flexibele en zeer generaliseerbare oplossing voor moderne, dynamische logistieke uitdagingen.