cPNN: Continuous Progressive Neural Networks for Evolving Streaming Time Series

Dit paper introduceert cPNN, een continu progressief neurale netwerkmodel dat conceptdrift, temporele afhankelijkheden en catastrofaal vergeten in onbegrensde datatransmissies effectief aanpakt door Recurrent Neural Networks te combineren met een voortdurende kennisoverdracht.

De kern

Stel je voor dat je een chef-kok bent in een restaurant waar de klanten nooit stoppen met bestellen. Maar er is een probleem: elke maand verandert de smaak van de wereld. Soms willen mensen alleen maar pizza, de volgende maand alleen sushi, en daarna weer alleen maar tacos. En er is nog een vervelende regel: de klanten komen niet in groepen, maar één voor één, en ze praten met elkaar. Als je net een pizza hebt besteld, is de volgende bestelling waarschijnlijk ook gerelateerd aan pizza (tijdsafhankelijkheid).

In de wereld van kunstmatige intelligentie (AI) is dit wat we een "Evolving Streaming Time Series" noemen. Het is een eindeloze stroom van data die verandert (concept drift) en waarbij de volgorde belangrijk is.

De meeste AI-modellen zijn als een kok die alleen de laatste bestelling onthoudt. Als de smaak van pizza naar sushi verandert, vergeet de kok hoe je pizza maakt en leert hij alleen sushi. Dit heet catastrophic forgetting (catastrofaal vergeten). Anderen proberen alles tegelijk te onthouden, maar dan raken ze zo verward dat ze geen nieuwe gerechten meer kunnen leren.

Hier komt cPNN (Continuous Progressive Neural Networks) om de hoek kijken. Het is een slimme oplossing bedacht door Federico Giannini en zijn collega's. Laten we uitleggen hoe het werkt met een paar creatieve vergelijkingen.

1. Het Probleem: De Vergeten Chef

Stel je een standaard AI-model voor als een student die voor een examen leert.

• Het probleem: Als de student morgen een examen krijgt over "Sushi", moet hij alles wat hij gisteren over "Pizza" heeft geleerd, vergeten om ruimte te maken. Als hij dat niet doet, raakt hij in de war. Maar als hij het wel vergeet, kan hij de volgende keer geen pizza meer maken als de klant weer pizza wil.
• De tijdsfactor: Bovendien praten de klanten met elkaar. Als iemand een pizza bestelt, is de kans groot dat de persoon daarnaast ook een frisdrank bestelt. Een slim model moet dit verband zien, niet alleen de losse bestelling.

2. De Oplossing: cPNN als een "Groeibare Bibliotheek"

cPNN lost dit op door een heel ander systeem te bouwen. In plaats van één grote hersenen die alles overschrijft, bouwt cPNN een groeibare bibliotheek.

• De Kolommen (De Boekenkasten):
  Stel je voor dat elke nieuwe smaak (pizza, sushi, tacos) zijn eigen boekenkast krijgt.

  • Als de wereld van pizza naar sushi verandert, maakt cPNN een nieuwe boekenkast voor sushi.
  • De oude boekenkast (pizza) wordt bevroren. Niemand mag er meer aan sleutelen. Zo wordt de kennis over pizza veilig bewaard en vergeten de chef-kok nooit hoe hij pizza maakt.

• De Zijwegen (Transfer Learning):
  Dit is het magische deel. De nieuwe boekenkast (sushi) is niet leeg. Er lopen tunnels (zijwegen) naar de oude kasten.

  • De chef kijkt in de oude pizza-kast en zegt: "Oké, ik weet hoe je deeg maakt. Dat kan ik ook gebruiken voor sushi!"
  • Door deze tunnels kan het model sneller leren. Het hoeft niet bij nul te beginnen; het gebruikt de oude kennis als springplank. Dit heet transfer learning.

3. Hoe het de "Tijdsfactor" aanpakt

De klanten praten met elkaar (tijdsafhankelijkheid). Als je een reeks bestellingen ziet, moet je begrijpen dat ze bij elkaar horen.

• cPNN gebruikt een speciale techniek (RNN/LSTM) die werkt als een korte-termijngeheugen.
• Het kijkt niet alleen naar de huidige bestelling, maar ook naar de vorige paar bestellingen in de rij. Het zegt: "Ah, ik zie een patroon: eerst pizza, dan cola. Dat is een logische combinatie."
• Dit gebeurt in kleine blokken (batches), zodat het model continu kan leren zonder te stoppen.

4. Wat hebben ze bewezen?

De auteurs hebben dit getest met een kunstmatige "smaaktest". Ze lieten een stroom van data zien die plotseling van aard veranderde (bijvoorbeeld: "Alle nummers zijn nu omgekeerd!").

• De oude modellen (cLSTM): Vergeten de oude smaak volledig. Ze moeten alles opnieuw leren en doen het in het begin erg slecht.
• De modellen zonder tunnels (mcLSTM): Onthouden de oude smaak, maar moeten alles opnieuw leren zonder hulp van het verleden. Ze zijn traag.
• cPNN (De winnaar): Onthoudt de oude smaak (door de bevroren kasten) én leert de nieuwe smaak razendsnel (door de tunnels). Het is als een chef die zijn oude receptenboeken heeft bewaard, maar direct weet hoe hij die aanpast voor de nieuwe trend.

Samenvatting in één zin

cPNN is als een slimme chef-kok die zijn oude receptenboeken veilig in een kluis bewaart, maar tegelijkertijd een nieuwe, grotere keuken bouwt waar hij zijn oude kennis gebruikt om nieuwe gerechten in een handomdraai te leren, zonder ooit te vergeten hoe hij vroeger kookte.

Dit maakt het perfect voor situaties waar data nooit stopt, voortdurend verandert, en waar de volgorde van gebeurtenissen cruciaal is.

Technische samenvatting

Probleemstelling

Het paper adresseert een fundamenteel probleem in het machine learning domein: het verwerken van onbegrensde datastromen die continu evolueren. Traditionele ML-algoritmen gaan uit van de aanname dat data onafhankelijk en identiek verdeeld is (i.i.d.). Deze aanname geldt echter niet voor Evolving Streaming Time Series (ESTS), waarbij twee kritieke uitdagingen samenkomen:

1. Concept Drift: De statistische eigenschappen van de data veranderen over tijd, wat betekent dat het onderliggende concept (bijv. de relatie tussen input en output) verschuift.
2. Temporele Afhankelijkheden: Data punten zijn niet onafhankelijk; ze vertonen tijdreeks-afhankelijkheden (zoals in traditionele tijdreeksen).

Bestaande oplossingen behandelen deze problemen vaak apart. Bovendien introduceert het leren van nieuwe concepten het probleem van catastrophic forgetting (CF): een neurale netwerken vergeet eerder geleerde kennis wanneer het een nieuw concept leert. De auteurs stellen dat er een gezamenlijke oplossing ontbreekt die concept drift, temporele afhankelijkheden en CF gelijktijdig aanpakt.

Methodologie: cPNN

De auteurs introduceren Continuous Progressive Neural Networks (cPNN), een innovatieve architectuur die voortbouwt op Progressive Neural Networks (PNN) en deze aanpast voor een continue datastroom.

De kerncomponenten van de methode zijn:

1. Continuous LSTM (cLSTM):

   • Om temporele afhankelijkheden in een stroom te hanteren, gebruiken de auteurs Recurrent Neural Networks (RNN), specifiek LSTM.
   • In tegenstelling tot traditionele batch-verwerking, worden data punten in chronologische volgorde verwerkt.
   • Er wordt een sliding window-strategie toegepast binnen batches om sequenties te construeren zonder de temporele orde te verbreken. Dit zorgt ervoor dat de Stochastic Gradient Descent (SGD) een onbevooroordeelde gradiënt berekent op basis van recente data.

2. Progressieve Architectuur met Laterale Connecties:

   • cPNN behandelt elk nieuw concept als een nieuwe "taak" in een Continual Learning (CL) scenario.
   • De architectuur bestaat uit kolommen (columns). Elke kolom is een cLSTM-model dat is getraind op een specifiek concept.
   • Transfer Learning: Wanneer een nieuw concept (en dus een nieuwe kolom) wordt toegevoegd, worden de gewichten van de oude kolommen bevroren (om CF te voorkomen). De nieuwe kolom ontvangt echter laterale connecties (lateral connections) van de eerdere kolommen. Dit stelt het nieuwe model in staat om kennis van oude concepten over te nemen en sneller te convergeren.

3. Levenscyclus en Drift-detectie:

   • Het systeem buffer data in batches. Zodra een batch compleet is, wordt het model getraind en geëvalueerd (Prequential evaluation).
   • Bij het detecteren van een abrupte concept drift (waarbij de label van de data verandert), wordt een nieuwe kolom toegevoegd aan de architectuur. De oude kolom blijft intact voor toekomstige voorspellingen op het oude concept.

Belangrijkste Bijdragen

• Unificatie van Problemen: cPNN is de eerste methode die concept drift, temporele afhankelijkheden en catastrophic forgetting gelijktijdig oplost in een streaming context.
• Continuïteit: Het transformeert de statische PNN-architectuur (ontworpen voor discrete taken) naar een continue versie die geschikt is voor oneindige datastromen.
• Ablatie-studie: De auteurs ontwikkelen een synthetische generator voor datastromen met temporele afhankelijkheden en concept drifts (gebaseerd op de SINE-generator) om hun modellen te testen.
• Vergelijking: Ze introduceren twee geablateerde varianten voor vergelijking:
  • cLSTM: Een enkel LSTM-model dat drifts volgt maar CF ondergaat.
  • mcLSTM: Meerdere LSTM-modellen zonder laterale connecties (geen transfer learning), wat leidt tot langzamere aanpassing.

Resultaten

De experimenten zijn uitgevoerd op synthetische datastromen met verschillende soorten drifts (inversie van labels en verandering van de beslisgrens).

• Snellere Adaptatie: cPNN past zich significant sneller aan nieuwe concepten aan dan de geablateerde modellen. Vooral in de eerste 50 tot 100 batches na een drift behaalt cPNN de hoogste nauwkeurigheid.
• Robuustheid tegen Catastrophic Forgetting: In tegenstelling tot cLSTM, die zijn prestaties op het oude concept volledig verliest bij het leren van een nieuw concept, behoudt cPNN de voorspellende kracht voor alle eerder geleerde concepten dankzij de bevroren kolommen.
• Transfer Learning Effect: De laterale connecties blijken cruciaal. mcLSTM (zonder transfer learning) presteert over het algemeen slechter dan cPNN, wat aantoont dat het hergebruiken van oude kennis essentieel is voor snelle convergentie.
• Sign Drift: Bij "sign drifts" (waarbij de labels worden omgedraaid maar de grensfunctie gelijk blijft), kan cPNN zijn eerdere kennis "inverteren" en sneller het nieuwe optimum vinden dan een model dat vanaf nul begint.

Betekenis en Toekomstperspectief

Het paper is significant omdat het een brug slaat tussen Continual Learning en Streaming Machine Learning voor tijdreeksen. Het toont aan dat het mogelijk is om neurale netwerken continu te laten leren zonder dat ze vergeten wat ze eerder hebben geleerd, zelfs als de datastructuur verandert.

Beperkingen en Toekomstig Werk:

• Complexiteit: De architectuur groeit lineair met het aantal concepten, wat schaalbaarheidsproblemen kan opleveren bij zeer lange stromen met veel concepten.
• Drift-detectie: Het huidige model gaat ervan uit dat de drift "abrupt" is en dat er een "oracle" is die weet wanneer een drift optreedt. Toekomstig werk zal zich richten op het integreren van automatische drift-detectiemethoden.
• Real-world toepassing: De huidige tests zijn uitgevoerd op synthetische data met abrupte drifts. Toekomstig onderzoek zal zich richten op graduele drifts, hogere dimensionaliteit en complexe real-world datasets.

Kortom, cPNN biedt een robuust kader voor het beheersen van complexe, evoluerende tijdreeksen in real-time applicaties.