Revisiting WEASEL 2.0: Reproduction, Sensitivity, and an Adaptive Ensemble-Size Rule

Technische Samenvatting: Het herzien van WEASEL 2.0: Reproductie, Gevoeligheid en een Adaptieve Regel voor Ensemble-omvang

Probleemstelling
WEASEL 2.0 is een op woorden gebaseerde tijdreeksclassificator (TSC) die gedilateerde glijdende vensters en een gerandomiseerd hyperparameter-ensemble gebruikt om een vaste grootte, dichte feature-representatie te produceren. Hoewel de oorspronkelijke auteurs beweerden dat het de meest nauwkeurige woordenboek-classificator is, werden twee cruciale hyperparameterkeuzes—de maximale ensemble-omvang en de maximale venstergrootte—gedefinieerd door eenvoudige drempelwaarde-regels zonder empirische rechtvaardiging. Bovendien was er geen onafhankelijke reproductie van WEASEL 2.0 gepubliceerd om de gerapporteerde nauwkeurigheid te verifiëren of om de gevoeligheid van de ontwerpkeuzes voor perturbatie te onderzoeken. Dit werk adresseert het gebrek aan onafhankelijke verificatie en onderzoekt of deze heuristische drempels robuust zijn of dat ze kunnen worden verfijnd om het verbruik van computationele middelen te verminderen zonder de nauwkeurigheid op te offeren.

Methodologie
De studie verloopt in drie fasen: onafhankelijke reproductie, gevoeligheidsanalyse en de voorstel van een adaptieve regel.

1. Reproductie: De auteurs hebben WEASEL 2.0 onafhankelijk gereproduceerd op 114 UCR-datasets met behulp van de aeon toolkit en scikit-learn's RidgeClassifierCV. Ze stemden de configuratie af op de originele instellingen (random seed 1379, 4 threads) en vergeleken de resultaten met zeven andere classificatoren (MultiRocket, MiniRocket, ROCKET, R-DST, Hydra, WEASEL 1.0 en cBOSS).
2. Gevoeligheidsanalyse: Vier ontwerpkeuzes die zonder empirische rechtvaardiging ontbraken, werden getest op een representatieve subset van 22 UCR-datasets:
   • Downstream Classificator: Het vervangen van de standaard Ridge-classificator door Stochastic Gradient Descent (SGD).
   • Feature Weighting: Het toepassen van TF-IDF en sublineaire TF-schaling op de ruwe woordtellingen.
   • Maximale Venstergrootte ($w_{max}$): Het doorlopen van waarden van 12 tot 200 om de oorspronkelijke regel ($w_{max} \in \{24, 44, 84\}$) te testen.
   • Maximale Ensemble-omvang ($r_{max}$): Het doorlopen van waarden van 10 tot 175 om de relatie tussen de ensemble-omvang en nauwkeurigheid te analyseren, met name voor langere reeksen.
3. Voorstel voor een Adaptieve Regel: Op basis van de gevoeligheidsanalyse stelden de auteurs een nieuwe regel voor $r_{max}$ voor die afhangt van de reekslengte ($n$) en het aantal klassen ($c$), in plaats van de oorspronkelijke regel gebaseerd op de trainingssetgrootte ($m$) en de reekslengte.

Belangrijkste Resultaten

• Reproductie: De onafhankelijke reproductie bereikte een gemiddelde nauwkeurigheid van 0,865 en een mediaan van 0,928, wat nauw aansluit bij de waarden van het originele paper (0,863 en 0,927). Een Wilcoxon signed-rank test bevestigde dat er geen statistisch significant verschil was ($p = 0,655$). WEASEL 2.0 werd bevestigd als de meest nauwkeurige woordenboek-classificator, waarbij het WEASEL 1.0 en cBOSS overtrof en vergelijkbaar presteerde met top kernel-gebaseerde methoden zoals MultiRocket.
• Bevindingen Gevoeligheid:
  • Robuuste Keuzes: De keuze voor de Ridge-classificator, de afwezigheid van feature weighting en de heuristiek voor de maximale venstergrootte bleken empirisch robuust te zijn. Het vervangen van Ridge door SGD verminderde de nauwkeurigheid aanzienlijk ($-6,9\%$ gemiddeld) en verhoogde de fit-tijd. Het toepassen van TF-IDF of sublineaire TF-schaling leidde ofwel tot een lagere nauwkeurigheid of tot een hoger geheugengebruik zonder winst in nauwkeurigheid. Het variëren van $w_{max}$ rond de oorspronkelijke niveaus leverde geen significante verbeteringen in nauwkeurigheid op.
  • Over-geprovisioneerd Ensemble: De heuristiek voor de maximale ensemble-omvang bleek over-geprovisioneerd te zijn voor datasets met lange reeksen. Voor datasets met een reekslengte $n > 500$ resulteerde het verhogen van $r_{max}$ boven de 75 in marginale of negatieve nauwkeurigheidsopbrengsten, terwijl het aanzienlijke geheugenkosten veroorzaakte (honderden MB's).
• Prestaties van de Adaptieve Regel: De voorgestelde adaptieve regel stelt $r_{max}$ in op basis van de reekslengte en het aantal klassen:
  • $r_{max} = 75$ als $n > 700$
  • $r_{max} = 25$ als $c \le 2$
  • $r_{max} = 50$ anders
    Geëvalueerd op 112 datasets met een vaste lengte, verminderde deze regel het piek fit-geheugen met een mediaan van 37 MB (gemiddeld 395 MB) en de fit-tijd met een mediaan van 0,4 s (gemiddeld 4 s). Cruciaal is dat de mediaan van de verandering in nauwkeurigheid 0% was, met een gemiddelde reductie van slechts -0,11%. De besparingen waren geconcentreerd op datasets met lange reeksen waar de oorspronkelijke regel de grootste ensembles toewees.

Betekenis en Claims
Het paper claimt de eerste onafhankelijke reproductie van WEASEL 2.0 te bieden, waarmee de status ervan als state-of-the-art woordenboek-classificator wordt gevalideerd. Door systematisch de onderbouwd ontbrekende ontwerpkeuzes te testen, demonstreren de auteurs dat drie van de vier heuristieken robuust zijn, terwijl de vierde (ensemble-omvang) inefficiënt is voor specifieke dataregimes. De primaire bijdrage is de introductie van een adaptieve ensemble-omvang-regel die het geheugen- en tijdsgebruik aanzienlijk vermindert voor datasets met lange reeksen met een verwaarloosbare impact op de nauwkeurigheid. De auteurs positioneren dit werk als een complementaire benadering tot het voorstellen van nieuwe modellen, door zich te richten op het verfijnen van bestaande classificatoren om de efficiëntie en het beheer van middelen te verbeteren. Ze merken op dat toekomstig werk deze regel kan uitbreiden naar multivariate instellingen of dat er data-gedreven, cross-gevalideerde versies van de drempelwaarde-selectie kunnen worden ontwikkend.