Unsupervised Feature Based Algorithms for Time Series Extrinsic Regression

Technische Samenvatting: Onbewaakte op kenmerken gebaseerde algoritmen voor Extrinsic Regression van Tijdreeksen

Probleemdefinitie
Extrinsic Regression van Tijdreeksen (TSER) omvat het construeren van een voorspellend model om een continue responsvariabele te schatten op basis van een set trainings-tijdreeksen, waarbij de respons niet direct uit de reeks zelf is afgeleid (in tegenstelling tot forecasting). Waar Tijdreeksclassificatie (TSC) en forecasting goed bestudeerd zijn, heeft TSER minder aandacht gekregen. Een eerdere benchmarkstudie [5] vestigde een archief van 19 problemen en evalueerde 13 algoritmen, waarbij bleek dat deep learning (InceptionTime) en op kernels gebaseerde methoden (ROCKET) goed presteerden, hoewel geen enkel algoritme significant beter presteerde dan de anderen. De auteurs betogen dat het veld verder onderzoek vereist om modelnauwkeurigheid te verbeteren en het gebrek aan vooruitgang sinds de initiële benchmark aan te pakken.

Methodologie
De studie breidt het TSER-landschap uit via drie primaire methodologische stappen:

1. Archiefuitbreiding: De auteurs verhoogden het TSER-benchmarkarchief van 19 naar 63 datasets. Deze nieuwe collectie bevat 24 univariate en 20 multivariate datasets (naast de oorspronkelijke 19), afkomstig van Kaggle-wedstrijden en repositories voor toegepast onderzoek. De datasets bestrijken diverse domeinen zoals economische analyse, energiemonitoring, milieukunde, apparatuurgezondheid en sentimentanalyse. Datapreprocessing omvatte lineaire interpolatie voor ontbrekende waarden en truncatie voor reeksen met ongelijke lengte.
2. Algoritme-aanpassing en Implementatie: De studie past state-of-the-art TSC-algoritmen aan voor regressietaken. De kernfocus ligt op onbewaakte op kenmerken gebaseerde benaderingen, die tijdreeksen transformeren naar kenmerkvectoren zonder gebruik te maken van de doelvariabele tijdens de transformatiefase.
   • FreshPRINCE: Een pipeline die de TSFresh-kenmerkextractiebibliotheek combineert (die ~800 onbewaakte kenmerken genereert) met een Rotation Forest (RotF)-regressor. De RotF werd aangepast voor regressie door de C4.5-classificator te vervangen door een CART-regressor en voorspellingen te middelen.
   • DrCIF (Diverse Representation Canonical Interval Forest): Een ensemble op basis van intervallen. Het splitst tijdreeksen in drie representaties: de oorspronkelijke reeks, eerste-orde verschillen en periodogrammen. Vervolgens worden willekeurige intervallen binnen deze representaties geselecteerd en worden samenvattende kenmerken geëxtraheerd (met behulp van de Catch22-set plus zeven standaardstatistieken zoals gemiddelde en helling). Een ensemble van CART-regressoren wordt getraind op deze samengevoegde kenmerken.
   • Andere Baselines: De studie evalueert in totaal 21 regressoren, waaronder standaard ML-modellen (Ridge, SVR, Random Forest, XGBoost), functionele lineaire modellen (FPCR), op afstand gebaseerde methoden (kNN met Euclidische en DTW), convolutie/kern-methoden (ROCKET, MultiROCKET) en deep learning-architecturen (FCN, ResNet, InceptionTime single en ensemble, CNN).
3. Experimenteel Ontwerp: Experimenten werden uitgevoerd met 30 resamples (train/test splits) per dataset om statistische robuustheid te waarborgen. Prestaties werden gemeten met Root Mean Square Error (RMSE). Statistische significantie werd beoordeeld met gepaarde Wilcoxon-tekens rangtesten met Holm-correctie, gevisualiseerd via Critical Difference (CD)-diagrammen.

Belangrijkste Bijdragen

1. Dataset-uitbreiding: De release van 44 nieuwe datasets, waardoor het totale TSER-archief 63 problemen bedraagt.
2. Algoritmische Innovatie: De introductie van twee nieuwe TSER-algoritmen, FreshPRINCE en DrCIF, aangepast van succesvolle TSC-methodologieën.
3. Uitgebreide Benchmarking: Een rigoureuze evaluatie van 21 distincte regressoren, waaronder standaard kant-en-klare modellen, functionele analyse en deep learning, waardoor een nieuwe baseline voor het veld wordt geboden.
4. Open Source: Voorziening van scikit-learn-compatibele implementaties en gedetailleerde richtlijnen voor reproduceerbaarheid.

Resultaten

• Reproductie van Baselines: Op de oorspronkelijke 19 datasets reproduceerde de studie de bevindingen van [5], bevestigend dat geen enkel algoritme significant de anderen domineerde, hoewel de ordening van algoritmen licht verschuift met minder conservatieve statistische correcties.
• Prestaties op Uitgebreid Archief: Op het volledige archief van 63 datasets presteerden standaard regressoren zoals Random Forest en Rotation Forest (RotF) beter dan veel op tijdreeksen specifieke deep learning- en kernmethoden. Opmerkelijk is dat RotF naar voren kwam als een top-presterende standaardalgoritme.
• Superioriteit van Nieuwe Voorstellen: De studie toont aan dat FreshPRINCE en DrCIF significant beter presteren dan alle andere 18 geteste regressoren, inclusief de best presterende standaardregressor (RotF) en het deep learning-ensemble (InceptionTimeE).
  • DrCIF en FreshPRINCE behaalden de laagste gemiddelde RMSE-rangschikkingen.
  • InceptionTimeE, hoewel vaak top-gerangschikt op specifieke problemen, toonde hoge variantie en instabiliteit, en faalde regelmatig om voorspellende relaties te vinden in datasets waar andere modellen wel slaagden.
  • Ablatiestudie: Voor FreshPRINCE bevestigde de studie dat de prestatiewinst voortkomt uit de specifieke combinatie van de TSFresh-transformatie en de RotF-regressor; het gebruik van TSFresh met andere regressoren (zoals Random Forest of XGBoost) leverde niet dezelfde resultaten op als de RotF-koppeling.
• Data-kenmerken: Prestaties varieerden per data-eigenschappen. DrCIF presteerde relatief beter op korte reeksen en multivariate data met minder kanalen, terwijl FreshPRINCE uitblonk bij grotere trainingssets en datasets met meer dan 5 kanalen.

Betekenis en Claims
De paper claimt dat het veld van TSER stilstond en dat de voorgestelde onbewaakte op kenmerken gebaseerde benaderingen een significante sprong voorwaarts vertegenwoordigen. De auteurs stellen dat:

• Geen enkele eerder geëvalueerde regressor een regressie-aanpassing van een standaardclassificator kan overtreffen (specifiek Rotation Forest).
• FreshPRINCE en DrCIF de enige modellen zijn die significant beter presteren dan de standaard Rotation Forest-regressor, waardoor een nieuwe state-of-the-art voor TSER wordt gevestigd.
• De diversiteit in prestaties tussen de top-algoritmen suggereert dat heterogene ensembles een vruchtbare richting voor toekomstig onderzoek kunnen zijn.
• De studie biedt een robuuster en groter benchmark (63 datasets) dat beperkingen blootlegt in eerdere conclusies getrokken uit kleinere datasets.

De auteurs blijven bescheiden wat betreft beperkingen, opmerkend dat de data niet willekeurig is bemonsterd (wat mogelijk bepaalde domeinen oververtegenwoordigt), geen hyperparameter-tuning werd uitgevoerd vanwege computergrenzen, en complexe diagnostische analyses (zoals residu-analyse) niet zijn uitgevoerd. Echter, concluderen zij dat hun werk een significante bijdrage levert aan de vooruitgang van het TSER-veld door aan te tonen dat onbewaakte kenmerkextractie gecombineerd met robuuste ensemble-regressoren momenteel de meest effectieve aanpak is.