Stel je voor dat je een robot leert om problemen te herkennen. In de wereld van de informatica wordt dit anomaliedetectie genoemd. Meestal laat je de robot een miljoen plaatjes zien van "normale" dingen—zoals een rustige straat of een kalme serverruimte—en een paar plaatjes van "slechte" dingen, zoals een auto-ongeluk of een hacker-aanval. De robot leert wat normaal is, zodat hij "ALARM!" kan roepen als er iets vreemds gebeurt.

Maar hier komt het lastige deel: de wereld staat niet stil. Een "normale" straat verandert; een "normale" serverruimte wordt drukker. Dit wordt een niet-stationaire omgeving genoemd. Als je de robot alleen maar nieuwe problemen blijft laten zien zonder hem te laten vergeten wat hij eerder heeft geleerd, raakt hij in de war. Dit is de uitdaging van Continual Anomaly Detection (CAD). Het is alsof je een student vraagt om elke week een nieuwe taal te leren terwijl hij nog steeds moet kunnen spreken in de talen die hij vorig jaar heeft geleerd, en dat allemaal zonder een leraar die hem cijfers geeft. De grote vraag die wetenschappers stellen is: Hoe bouwen we een robot die nieuwe trucjes kan blijven leren zonder de oude te vergeten?

Het probleem is dat de meeste tests die we gebruiken om te controleren of deze robots slim zijn, kapot zijn. Stel je voor dat je probeert het vermogen van een student om nieuwe talen te leren te testen door hem gewoon willekeurige pagina's tekst te geven. Als de pagina's allemaal over hetzelfde onderwerp gaan, lijkt de student slim, maar heeft hij eigenlijk niets geleerd. Als de pagina's te veel verschillen, faalt de student direct. Tot nu toe hebben onderzoekers gegokt hoe ze hun data moeten opdelen om deze tests te maken, waarbij ze vaak regels bedachten die de werkelijkheid niet echt weerspiegelen. Dit artikel, geschreven door Kamil Faber, Mateusz Smendowski en Roberto Corizzo, zegt: "Stop met gokken. Laten we een fatsoenlijke test bouwen."

Het "Recept" voor een Betere Test

De auteurs realiseerden zich dat het creëren van een goede test voor deze lerende robots moeilijker is dan simpelweg het opdelen van een dataset. Ze merkten op dat als je data alleen op tijd splitst (zoals "maandagdata" versus "dinsdagdata"), je misschien twee dagen krijgt die eigenlijk identiek zijn. De robot zou denken dat hij iets nieuws leert, maar hij ziet eigenlijk twee keer hetzelfde. Dat is een saaie test. Aan de andere kant, als je het te willekeurig splitst, krijgt de robot misschien een probleem dat zo moeilijk is dat hij direct opgeeft.

Om dit op te lossen, bouwde het team een systematisch framework. Denk aan een superintelligente chef die niet zoma van tevoren ingrediënten in een pan gooit. In plaats daarvan heeft deze chef een strikt recept voor het maken van de perfecte "Continual Learning Stoofpot".

Zo werkt hun recept:

1. De Ingrediënten Vinden (Task Discovery): Eerst kijkt het framework naar een enorme berg data (zoals een cybersecurity-logboek) en probeert het natuurlijke groepen te vinden. Het gebruikt wiskundige trucs, zoals clustering, om te zien welke stukken data van nature bij elkaar horen. Het is als het kijken naar een doos met gemengde Lego-steentjes en ze groeperen op kleur of vorm, in plaats van er willekeurig een handvol uit te pakken.
2. De Gerechten Proeven (Task Evaluation): Voordat de test wordt geserveerd, voert het framework een "proeverij" uit. Het traint een eenvoudige, enkelvoudige robot op elke groep data om te zien of de groep daadwerkelijk leerbaar is. Als een groep te makkelijk is (de robot lost het direct op) of te moeilijk (de robot kan het totaal niet leren), wordt deze weggegooid.
3. Redundantie Controleren (Filtering): Het framework controleert of twee groepen in essentie hetzelfde zijn. Als Groep A en Groep B tweelingen zijn, heb je er niet beide voor de test nodig. Het controleert ook of het leren van Groep A het leren van Groep B te makkelijk maakt. Als de robot Groep A leert en plotseling Groep B al begrijpt zonder moeite, dan is dat een slechte test, omdat het niet echt "continual" leren test.
4. Het Menu Samenstellen (Ordering): Dit is het meest creatieve deel. Zodra ze een lijst hebben van goede, onderscheidende taken, moeten ze beslissen in welke volgorde de robot ze ziet. De auteurs creëerden zes verschillende "menu's" of volgordes:
   • Smooth Drift: De robot ziet veranderingen die langzaam plaatsvinden, zoals een zonsondergang.
   • Abrupt Drift: De robot ziet plotselinge, schokkende veranderingen, zoals het omzetten van een lichtschakelaar.
   • Curriculum: De robot begint met gemakkelijke taken en wordt steeds moeilijker (of andersom).
   • Generalization: De robot ziet taken die helpen bij het leren van andere taken, of taken die zeer specifiek zijn.

De Vijf Nieuwe "Spellen"

Met behulp van dit framework hebben de auteurs niet alleen een theorie geschreven; ze hebben ook vijf nieuwe benchmark-scenario's gebouwd (die als nieuwe videogames voor de robots dienen). Ze gebruikten drie enorme datasets uit de wereld van cybersecurity (CICIDS2017, CICIDS2018 en CIC-UNSW-NB15). Deze datasets zitten vol met records van computertrafiek, waarvan sommige normaal zijn en andere een cyberaanval vertegenwoordigen.

Ze creëerden:

• Drie scenario's met één enkele dataset: Deze testen hoe een robot omgaat met veranderingen binnen één specifiek type netwerk.
• Twee scenario's met meerdere datasets: Dit zijn de "eindbaas-niveaus". Ze mengen data uit verschillende bronnen, waardoor de robot gedwongen wordt zich aan te passen aan compleet verschillende omgevingen.

Het resultaat is een set van vijf verschillende "spellen", elk met 5 tot 13 verschillende "niveaus" (taken). Voor elk spel boden ze de zes eerder genoemde volgordes aan. Dit betekent dat onderzoekers nu hun robots op een eerlijke manier kunnen testen, om te zien of de robot een langzame drift, een plotselinge schok of een mix van makkelijke en moeilijke niveaus aankan.

Wat Ze Vonden (en Wat Niet)

De auteurs hebben hun nieuwe tests uitgevoerd op verschillende soorten anomaliedetectie-modellen. Ze ontdekten dat:

• De tests zijn moeilijk maar eerlijk: Wanneer ze de robots lieten leren zonder speciale geheugentrucs (een "Naive" aanpak), vergaten de robots veel van wat ze hadden geleerd. Dat is goed! Het betekent dat de test echt uitdagend is. Als de robots niets zouden vergeten, zou de test te makkelijk zijn.
• Geheugen helpt: Wanneer de robots een kleine "replay buffer" mochten gebruiken (een klein geheugen van oude data), presteerden ze veel beter. Dit bevestigt dat deze nieuwe scenario's goed zijn in het testen of een robot daadwerkelijk zijn verleden kan onthouden.
• Niet alle robots zijn gelijk: Sommige modellen waren erg goed in het leren van nieuwe dingen, maar heel slecht in het onthouden van oude dingen. Anderen waren oké in beide. Het nieuwe framework hels ons deze verschillen duidelijk te zien.

De auteurs zijn echter voorzichtig met de bewering dat ze het probleem van "continual learning" hebben "opgelost". Ze hebben niet een nieuwe robot uitgevonden die elk spel wint. In plaats daarvan hebben ze een beter scorebord en een betere set spellen gebouwd. Ze lieten zien dat eerdere manieren van testen vaak gebrekkig waren omdat de taken niet onderscheidend genoeg waren of slecht geordend waren.

Ze merkten ook een aantal beperkingen op. Hun tests zijn momenteel alleen voor cybersecurity-data (computertrafiek). Ze weten nog niet of dit framework ook perfect werkt voor medische data of beursgegevens, hoewel ze dat wel vermoeden. Ook kostte het bouwen van deze tests veel rekenkracht, omdat ze veel "single-task experts" moesten trainen om te controleren of de taken wel goed waren.

Waarom Dit Belangrijk Is

Stel je voor dat je een kind probeert te leren voetballen. Als je het kind alleen tegen een muur laat spelen die nooit beweegt, zal het kind misschien denken dat het een professional is. Maar als je het op een veld zet met echte spelers die elke minuut hun strategie veranderen, zul je zien of het kind echt goed is.

Dit artikel is als het bouwen van dat echte veld. Het geeft wetenschappers een gefundeerde, reproduceerbare manier om te testen of hun "robots" echt leren en zich aanpassen, of dat ze gewoon een trucje uit het hoofd leren. Door deze vijf scenario's en zes volgordes te bieden, zeggen de auteurs: "Hier is een eerlijk speelveld. Laat nu maar zien wie er echt kan leren."

Het artikel concludeert dat, hoewel ze de robots zelf niet hebben opgelost, ze wel de manier waarop we ze meten hebben verbeterd. Dit is een cruciale stap voorwaarts, want zoals de auteurs aangeven: je kunt een systeem niet verbeteren als je het niet correct kunt meten. Ze hebben de gemeenschap een nieuw instrumentarium gegeven om ervoor te zorgen dat de volgende generatie anomaliedetectoren echt klaar is voor de veranderende wereld.