🤖 machine learning

CoMemNet: Contrastive Sampling with Memory Replay Network for Continual Traffic Prediction

CoMemNet is een tweearmig continu-leringskader dat een momentum-bijgewerkte doelbranch combineert met een Dynamische Contrastieve Sampler en een lichtgewicht tijdelijke geheugenbuffer om effectief evoluerende verkeerspatronen te vangen en catastrofaal vergeten te beperken, en bereikt state-of-the-art prestaties op grote schaal real-world datasets.

Oorspronkelijke auteurs: Mei Wu, Wenchao Weng, Wenxin Su, Wenjie Tang, Wei Zhou

Gepubliceerd 2026-05-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mei Wu, Wenchao Weng, Wenxin Su, Wenjie Tang, Wei Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert filevorming te voorspellen in een stad die constant groeit. Elk jaar worden er nieuwe wegen aangelegd, komen er nieuwe kruispunten bij en verandert de manier waarop mensen rijden. Dit is de uitdaging die het artikel CoMemNet aanpakt.

Hier is het verhaal van hoe ze dit oplosten, met behulp van eenvoudige analogieën:

Het Probleem: De "Bewegende Doelwit"-Stad

De meeste tools voor verkeersvoorspelling zijn als oude kaarten. Ze zijn getekend op basis van de stad zoals die er een paar jaar geleden uitzag.

Het Probleem: Als je een nieuwe snelweg of een nieuwe wijk bouwt, is je oude kaart nutteloos.
De Oude Manier: Om een oude kaart te repareren, moet je deze meestal weggooien en de hele stad opnieuw tekenen telkens als er een nieuwe weg verschijnt. Dit duurt eeuwen en kost een fortuin (rekenkracht).
Het "Vergeten"-Probleem: Als je probeert de nieuwe weg gewoon aan de oude kaart toe te voegen zonder alles opnieuw te tekenen, raakt de AI in de war. Het leert de nieuwe weg, maar vergeet hoe de oude wegen werkten. Dit wordt "catastrofaal vergeten" genoemd.

De Oplossing: CoMemNet (De Slimme, Aanpasbare Verkeerscoach)

De auteurs hebben een systeem ontwikkeld dat CoMemNet heet en dat leert als een slimme coach die nooit vergeet, zelfs niet als het team groeit en verandert. Het heeft drie belangrijke trucs in zijn mouw:

1. Het "Dubbel-Hersenen"-Systeem (Online vs. Doel-Tak)

Stel je een coach voor met twee hersenen die samenwerken:

Het "Snel Leraar"-Hersenen (Online Tak): Dit brein is hyper-gefocusseerd op het verkeer van vandaag. Het leert snel omgaan met de nieuwe wegen en de huidige spitspatronen. Het is wendbaar en snel.
Het "Wijze Mentor"-Hersenen (Doel Tak): Dit brein beweegt langzaam. Het herinnert zich de verkeerspatronen van vorig jaar en het jaar daarvoor. Het verandert niet snel van mening.
Hoe ze samenwerken: De Snel Leraar probeert nieuwe dingen, maar de Wijze Mentor trekt het zachtjes terug om de basis te herinneren. Dit zorgt ervoor dat het systeem de nieuwe dingen leert zonder de oude dingen te vergeten.

2. De "Schijnwerper"-Selecteur (DC Sampler)

Je kunt niet elke auto in een enorme stad tegelijk bekijken; je computer zou ontploffen.

De Truc: In plaats van elke weg te bekijken, gebruikt CoMemNet een "Schijnwerper". Het gebruikt een speciaal wiskundig hulpmiddel (Wasserstein-afstand) om te vragen: "Welke wegen veranderen het meest?"
Het Resultaat: Als een weg al 10 jaar hetzelfde is, negeert de Schijnwerper deze. Als er een nieuwe weg net geopend is of als het verkeerspatroon van een oude weg plotseling omgekeerd is, schijnt de Schijnwerper fel op deze weg. Het systeem besteedt zijn energie alleen aan het bestuderen van de wegen die echt aandacht nodig hebben. Dit bespaart enorme hoeveelheden tijd en geheugen.

3. Het "Poesjeboekje" (TMRB-N)

Normaal gesproken zou je, om oud verkeer te onthouden, een gigantische bibliotheek moeten opslaan met de geschiedenis van elke auto. Dat is te zwaar.

De Truc: CoMemNet gebruikt een klein, lichtgewicht "Poesjeboekje". Het slaat niet elke detail op. In plaats daarvan schrijft het alleen de "essentie" van de belangrijkste veranderingen op.
Het Resultaat: Wanneer het systeem het verleden moet herinneren, bladert het door dit kleine boekje. Het is zo efficiënt dat het systeem nooit zijn geheugen opraakt, zelfs niet als de stad jarenlang groeit.

De Resultaten: Waarom Dit Belangrijk Is

De auteurs hebben dit getest op echte verkeersdata uit Californië (inclusief twee nieuwe datasets die ze hebben gecreëerd).

Nauwkeurigheid: Het voorspelde verkeer beter dan welke andere methode momenteel beschikbaar is (State-of-the-Art).
Efficiëntie: Terwijl andere methoden elk jaar opnieuw moesten trainen op duizenden wegen, richtte CoMemNet zich alleen op een klein fractie (soms minder dan 30%) van de wegen, en behaalde toch betere resultaten.
Levensduur: Het slaagde erin om een stad die over 7 jaar groeide te hanteren zonder te "vergeten" hoe het verkeer van de vroege jaren moest worden voorspeld.

In Het Kort

CoMemNet is als een verkeersvoorspellingssysteem dat niet de hele stad opnieuw hoeft te leren elke keer dat er een nieuwe straat wordt aangelegd. Het heeft een snel brein voor nieuwe dingen, een langzaam brein voor oude herinneringen, een schijnwerper om zich alleen te focussen op wat verandert, en een klein notitieboekje om dingen georganiseerd te houden. Dit stelt het in staat om verkeer nauwkeurig te voorspellen in een stad die constant uitbreidt, zonder dat de computer crasht.

Technische Samenvatting: CoMemNet

Probleemstelling

Verkeersvoorspelling is cruciaal voor intelligente vervoerssystemen, maar bestaande methoden ondervinden aanzienlijke beperkingen wanneer ze worden toegepast op real-world, evoluerende verkeersnetwerken. De meeste huidige benaderingen vertrouwen op statische onderliggende grafstructuren en korte trainingsvensters (doorgaans één maand), waardoor ze geen rekening houden met de continue uitbreiding en evolutie van wegennetwerken waar nieuwe knooppunten en randen in de loop van de tijd worden toegevoegd. Deze dynamische evolutie leidt tot drie hoofduitdagingen:

Functie-extractie onder dynamische topologie: Traditionele methoden die vertrouwen op expliciete grafstructuren (bijvoorbeeld burenmatrices) zijn inflexibel voor incrementele topologische veranderingen en vatbaar voor informatiestoring tijdens structurele reconstructie.
Catastrofaal vergeten onder ruimtetijd-drift: Naarmate verkeersstroomdistributies in de tijd verschuiven, vergeten modellen die op nieuwe data zijn getraind vaak historische patronen. Directe toepassing van geheugenherhaling kan ruis introduceren door ongeldig geworden ruimtetijd-afhankelijkheden.
Geheugenexplosie in incrementele grafen: Het opslaan van multi-hop buur-informatie voor alle historische knooppunten in dynamische, dichte verkeersgrafen leidt tot exponentiële geheugengroei, waardoor globale opslag en herberekening onhaalbaar worden.

Methodologie

De auteurs stellen CoMemNet (Contrastive Sampling with Memory Replay Network) voor, een continu-leerframework met twee takken dat is ontworpen voor langetermijnverkeersvoorspelling op uitbreidende netwerken. Het framework werkt zonder expliciete grafstructuurinvoer, en vertrouwt in plaats daarvan op op embedding gebaseerd leren.

1. Architectuur met twee takken

CoMemNet maakt gebruik van een momentum-geüpdatete structuur met twee takken om snelle aanpassing te balanceren met kennisbehoud:

Online-tak: Geoptimaliseerd via gradiëntafname voor de huidige tijdsperiode ( $\tau$ ), faciliteert deze tak snelle convergentie op huidige verkeerspatronen.
Doeltak: Bijgewerkt via een Exponentiële Glijdend Gemiddelde (EMA) van de parameters van de Online-tak, behoudt deze tak langetermijnstabiliteit en bewaart historische kennis, en fungeert als een laagdoorlaatfilter tegen snelle fluctuaties.

2. Dynamische Contrastieve Sampler (DC Sampler)

Om de uitdaging aan te pakken om relevante data voor training te selecteren zonder globale grafopslag, selecteert de DC Sampler dynamisch een subset van knooppunten ( $V^s_\tau$ ) voor elke tijdsperiode.

Mechanisme: Het berekent de Wasserstein-afstand tussen de functiedistributies van de huidige periode en de vorige periode (verwerkt via de Doeltak).
Selectiestrategie: Het selecteert de top- $M$ knooppunten met de grootste distributieshifts (wat significante dynamische netwerkfunctieveranderingen aangeeft) en combineert deze met nieuw toegevoegde knooppunten. Dit implementeert een "hard-example-first"-strategie, waarbij de training zich richt op knooppunten die het meest gevoelig zijn voor topologische en verkeerspatroonveranderingen.

3. Knop-Adaptieve Temporele Geheugenherhaling Buffer (TMRB-N)

Om geheugenexplosie te voorkomen terwijl historische kennis wordt geconsolideerd, maakt CoMemNet gebruik van een lichtgewicht geheugenbuffer.

Functie: In plaats van volledige grafbuurten op te slaan, slaat TMRB-N laagdimensionale temporele embeddings van sleutelnoden op.
Bijwerkmechanisme: Het hanteert een gating-mechanisme (vergelijkbaar met GRU/LSTM-cellen) om temporele functies bij te werken. Het berekent functiedifferenties tussen de huidige en vorige periode, selecteert de top- $K$ knooppunten met de grootste verschillen, en werkt hun verborgen staten bij met een gewogen gemiddelde van huidige en historische functies. Dit zorgt ervoor dat het model zich aanpast aan nieuwe distributies terwijl essentiële historische priors behouden blijven.

4. Trainingsdoel

Het model wordt getraind met een Mean Absolute Error (MAE) verliesfunctie die uitsluitend wordt berekend op de subset van knooppunten die door de DC Sampler is geselecteerd. Evaluatie wordt echter uitgevoerd op de volledige set knooppunten om een uitgebreide prestatiebeoordeling te waarborgen.

Belangrijkste Bijdragen

CoMemNet Framework: Een eenvoudige, op embedding gebaseerde ruggengraat die de noodzaak van expliciete grafstructuurinvoer elimineert, waardoor dynamische aanpassing aan incrementele knoop- en randtoevoegingen mogelijk wordt.
Dual-Branch Momentum Contrast: Een mechanisme dat een snel aanpassende Online-tak en een stabiele Doeltak combineert om catastrofaal vergeten onder ruimtetijd-drift te mitigeren.
Efficiënt Geheugenbeheer: De introductie van de DC Sampler en TMRB-N, die selectief sleutelnoden bijwerken en laagdimensionale representaties opslaan, waardoor globale grafopslag en geheugenexplosie effectief worden vermeden.
Nieuwe Datasets: De auteurs hebben twee nieuwe grote, open-source verkeersdatasets (PEMSD4(L) en PEMS8(M)) samengesteld en vrijgegeven, afgeleid van CalTrans-data, die verschillende regio's van Californië met variërende netschalen bestrijken.

Experimentele Resultaten

De auteurs hebben CoMemNet geëvalueerd op drie grote real-world datasets: PEMSD3(S), PEMSD4(L) en PEMSD8(M).

Prestaties: CoMemNet behaalde State-of-the-Art (SOTA) prestaties op alle drie de datasets, en overtrof baseline continu-leermethoden (bijvoorbeeld TrafficStream, PECPM, TFMoE) en statische/uitbreidbare modellen wat betreft MAE, RMSE en MAPE.
Efficiëntie: Het model toonde superieure rekenkundige efficiëntie. Door alleen te trainen op een kleine subset van knooppunten (bijvoorbeeld 15–30% van het totale aantal knooppunten in latere jaren) die door de DC Sampler is geselecteerd, verminderde CoMemNet de trainingsduur en het resourceverbruik aanzienlijk in vergelijking met het herbekken van modellen op alle data of het incrementeel trainen op alle knooppunten.
Ablatiestudies: Experimenten bevestigden de noodzaak van zowel de DC Sampler (voor het selecteren van informatieve knooppunten) als de TMRB-N (voor geheugenherhaling en temporele functievernieuwing). Het verwijderen van een van beide componenten leidde tot aanzienlijke prestatiedegradering.
Sensitiviteitsanalyse: Het model toonde robuuste prestaties met specifieke hyperparameters (bijvoorbeeld $\rho=0.05$ voor het knoopselectiepercentage en $K=12$ voor de selectie van sleutelnoden), wat stabiliteit over verschillende datasetschalen aangeeft.

Betekenis en Claims

Het artikel beweert dat CoMemNet een efficiënte en effectieve oplossing biedt voor de opkomende uitdaging van langetermijn continu leren in uitbreidende verkeersnetwerken. Door het model te ontkoppelen van vaste grafstructuren en een contrastieve selectiestrategie te gebruiken, slaagt het erin de afweging tussen aanpassing aan nieuwe topologische veranderingen en het behoud van historische kennis aan te pakken. De auteurs stellen dat hun benadering de haalbaarheid valideert van het inzetten van schaalbare, langetermijnverkeersvoorspellingssystemen die samen met stedelijke infrastructuur kunnen evolueren zonder prohibitieve rekenkundige of geheugenkosten. De vrijgave van nieuwe open-source datasets draagt verder bij aan het vermogen van de onderzoeksgemeenschap om continu leren in ruimtetijddomeinen te benchmarken.