HIVE-COTE 2.0: a new meta ensemble for time series classification

Stel je voor dat je probeert een specifiek type vogel te identificeren door alleen naar zijn lied te luisteren. Sommige vogels hebben een duidelijk ritme, anderen een unieke toonhoogte, en weer anderen hebben een patroon dat zich elke paar seconden herhaalt. Als je alleen naar het ritme luistert, kun je de toonhoogte missen. Als je alleen naar de toonhoogte luistert, kun je het patroon missen. Voor het beste resultaat heb je een team van experts nodig, waarbij elk naar iets anders luistert, en vervolgens heb je een slimme manager nodig om te beslissen wie je het meest moet vertrouwen.

Dit is precies waar het artikel HIVE-COTE 2.0 over gaat. Het introduceert een nieuw "super-team" voor Tijdreeksclassificatie. In eenvoudige termen is tijdreeksclassificatie de taak om te kijken naar een lijn van data die verandert in de tijd (zoals een hartslagmonitor, aandelenkoersen of aardbevingssensoren) en te beslissen tot welke categorie het behoort.

Hieronder volgt een uiteenzetting van hoe dit nieuwe systeem werkt, met behulp van alledaagse analogieën:

Het Probleem: Één Hulpmiddel Is Niet Genoeg

Jarenlang hebben wetenschappers geprobeerd de perfecte "vogelliedendetecteur" (of tijdreeksclassificator) te bouwen. Sommige hulpmiddelen zijn uitstekend in het opsporen van herhalende patronen (zoals een woordenboek van woorden). Anderen zijn goed in het vinden van specifieke vormen in de data (zoals een vormdetector). Sommigen zijn uitstekend in het kijken naar korte tijdschijven (intervallen).

De vorige kampioen, HIVE-COTE 1.0, was een "meta-ensemble". Denk hierbij aan een comité waar verschillende experts (algoritmen) stemmen over het antwoord. Het was zeer nauwkeurig, maar ook zeer traag en gebruikte soms verouderde hulpmiddelen.

De Oplossing: HIVE-COTE 2.0 (Het Nieuwe Supercomité)

De auteurs bouwden HIVE-COTE 2.0 (HC2). Ze hebben niet alleen het oude comité aangepast; ze hebben drie van de oude experts ontslagen en vier gloednieuwe, hooggespecialiseerde experts in dienst genomen. Ze hebben ook de manager die de stemmen telt, verbeterd.

Hier zijn de vier nieuwe "experts" in het team:

1. De Temporal Dictionary Ensemble (TDE):

   • De Analogie: Stel je voor dat je een lied vertaalt naar een lijst van woorden. "Dum-dum-ka" wordt "Woord A, Woord B". TDE kijkt naar de tijdreeks en verandert deze in een "zak vol woorden". Het telt niet alleen hoe vaak een woord voorkomt; het kijkt naar wanneer ze voorkomen en hoe ze zich groeperen. Het is als een taalkundige die de grammatica van de data begrijpt, niet alleen de woordenschat.
   • De Upgrade: De nieuwe versie is veel beter in het verwerken van data met meerdere "kanalen" (zoals een stereorecording met linker- en rechterluidsprekers) zonder het geheugen te vullen.

2. De Diverse Representation Canonical Interval Forest (DrCIF):

   • De Analogie: Stel je voor dat je een lange film in duizenden kleine clips knipt. DrCIF kiest willekeurige clips, bekijkt ze vanuit verschillende hoeken (de originele video, de snelheid van de actie en de geluidsfrequentie) en vraagt: "Vertelt deze specifieke 5-secondenclip ons welke film dit is?" Het bouwt een bos van beslissingsbomen op basis van deze kleine, willekeurige tijdsschijven.
   • De Upgrade: Het combineert de beste kenmerken van twee oudere methoden in één super-efficiënt hulpmiddel dat de data op drie verschillende manieren tegelijk bekijkt.

3. The Arsenal (Een ROCKET Ensemble):

   • De Analogie: De "ROCKET"-methode is als het afvuren van duizenden willekeurige netten in de data om te zien wat erin blijft hangen. Het is ongelooflijk snel. De originele ROCKET was echter slecht in het zeggen: "Ik ben 80% zeker" versus "Ik ben 90% zeker". Het schreeuwde gewoon "Ja" of "Nee".
   • De Upgrade: Het "Arsenal" is een squad van kleinere ROCKETs die samenwerken. In plaats van één groot net gebruiken ze vele kleine netten en stemmen over het antwoord. Dit stelt hen in staat om een betrouwbaar waarschijnlijkheidsraming te geven (bijvoorbeeld: "We zijn 95% zeker dat dit een aardbeving is"), wat cruciaal is voor het hoofdbestuur om een goede beslissing te nemen.

4. De Shapelet Transform Classifier (STC):

   • De Analogie: Deze expert zoekt naar specifieke, herkenbare "vormen" of "sub-liedjes" die in de data voorkomen. Als een specifieke, scherpe piek altijd voorkomt voor een epileptische aanval, vindt STC die piek.
   • De Upgrade: De auteurs hebben dit zoeken slimmer gemaakt. In plaats van elke mogelijke vorm te controleren (wat eeuwig duurt), zoekt het willekeurig naar de beste binnen een bepaalde tijdslimiet, waardoor het niet vastloopt of "overfitting" (het trainingsdata te perfect memoriseren) optreedt.

De Manager: CAWPE

Zodra deze vier experts de data hebben geanalyseerd, sturen ze elk een waarschijnlijkheidsraming naar de manager (genaamd CAWPE).

• Hoe het werkt: De manager neemt niet zomaar een simpel gemiddelde. Het kijkt naar hoe goed elke expert presteerde tijdens het trainen. Als de "Woordenboekexpert" meestal 90% van de tijd gelijk had, luistert de manager meer naar hen dan naar de "Interval-expert" die maar 60% van de tijd gelijk had.
• Het Resultaat: Dit gewogen stemsysteem zorgt ervoor dat de meest betrouwbare experts het grootste gezag hebben in de uiteindelijke beslissing.

De Resultaten: Wie Won de Wedstrijd?

De auteurs hebben dit nieuwe team getest tegen de huidige "State of the Art"-kampioenen (inclusief deep learning-modellen en andere snelle algoritmen) op 112 verschillende datasets (zoals hartslagen, energieverbruik en insectengeluiden).

• Nauwkeurigheid: HIVE-COTE 2.0 was de duidelijke winnaar. Het was aanzienlijk nauwkeuriger dan alle andere topconcurrenten. Gemiddeld kreeg het het antwoord vaker goed dan wie dan ook.
• Multivariate Data: Het won ook wanneer de data meerdere dimensies had (zoals een video met kleurkanalen of een sensor met X-, Y- en Z-as), waar eerdere methoden moeite mee hadden.
• De Afweging (Snelheid versus Nauwkeurigheid):
  • Het artikel geeft toe dat HIVE-COTE 2.0 trager is dan de snelste methode (ROCKET). Als je een antwoord in een splitseconde nodig hebt, is ROCKET beter.
  • Echter, als je het meest accurate antwoord mogelijk nodig hebt en iets langer kunt wachten, is HIVE-COTE 2.0 de beste keuze.
  • Om hierbij te helpen, heeft het systeem een "Tijdcontract"-functie. Je kunt het vertellen: "Je hebt 1 uur om te werken." Het zal dan zoveel experts bouwen als mogelijk in dat uur en je het beste antwoord geven dat het binnen die limiet kan vinden.

Samenvatting

HIVE-COTE 2.0 is een "comité van de besten" voor het analyseren van tijdgebonden data. Door vier verschillende soorten experts te combineren (een die kijkt naar woordpatronen, een die tijd in stukken snijdt, een die willekeurige netten gebruikt en een die vormen vindt) en door een slimme manager hun stemmen te laten wegen, bereikt het een hogere nauwkeurigheid dan enige enkele methode of vorig team. Hoewel het meer tijd kost om te draaien dan de snelste algoritmen, biedt het het hoogste niveau van precisie dat momenteel beschikbaar is voor dit type probleem.