Contrast All the Time: Learning Time Series Representation from Temporal Consistency

Technische Samenvatting: CaTT (Contrast All The Time)

Probleemstelling
Leren van representaties voor tijdreeksen (TS) is cruciaal voor downstream-taken, maar grootschalige ongelabelde TS-data blijft onderbenut vanwege de hoge kosten van annotatie. Hoewel zelfgesuperviseerd contrastief leren succesvol is geweest in computer vision (CV) en natuurlijke taalverwerking (NLP), wordt de toepassing ervan op tijdreeksen geconfronteerd met specifieke uitdagingen. Bestaande TS-contrastieve methoden vertrouwen vaak op data-augmentaties, die inductieve biases kunnen introduceren, of ze zijn afhankelijk van heuristische paarselectie (bijv. het selecteren van specifieke positieve/negatieve paren uit een batch). Deze selectiestrategieën zijn vaak inefficiënt, maken geen optimaal gebruik van de volledige temporele dimensie van de data en worstelen met schaalbaarheid in dynamische, real-world streaming-omgevingen. Bovendien maken veel benaderingen geen effectief gebruik van de inherente temporele consistentie waarbij aangrenzende tijdstappen van nature vergelijkbare representaties zouden moeten delen.

Methodologie
De auteurs stellen CaTT (Contrast All The Time) voor, een nieuw ongesuperviseerd contrastief leerkader dat ontworpen is om representaties van tijdreeksen te leren door gebruik te maken van de natuurlijke temporele structuur van de data, zonder te vertrouwen op data-augmentaties of complexe heuristieken voor paarselectie.

• Kernconcept: CaTT wijkt af van conventionele benaderingen door alle tijdstappen parallel te contrasteren. In plaats van één enkel positief paar per anker te selecteren, maakt het gebruik van de volledige temporele dimensie, waarbij aangrenzende tijdstappen als impliciete positieve paren worden behandeld en alle andere niet-aangrenzende stappen als negatieve paren.
• MP-Xent Loss: Het framework introduceert een Multiple Positive Cross-Entropy (MP-Xent) loss. Dit is een adaptatie van de klassieke N-pair loss (Sohn, 2020) en de NT-Xent loss (SimCLR).
  • Voor een batch van $N$ sequenties met lengte $T$, vormt CaTT een NT-tuple loss.
  • Voor een referentie-tijdstap $z_{i,t}$ dienen de aangrenzende stappen ($z_{i,t-1}$ en $z_{i,t+1}$) als meerdere positieve paren.
  • Alle andere stappen in de sequentie (met uitzondering van de referentie en zijn directe buren) dienen als negatieve paren.
  • De verliesfunctie is geformuleerd om de gelijkenis van de anker met zijn meerdere positieven te maximaliseren en de gelijkenis met alle negatieven te minimaliseren, alles efficiënt berekend via matrixoperaties om de hoge computationele complexiteit van naïeve slicing te vermijden.
• Architectuur: De methode gebruikt een eenvoudige 1D Convolutional Neural Network (CNN) als encoder-backbone. De input is een tijdreekssequentie $x$ van lengte $T$, die wordt geprojecteerd in een representatieruimte $z$. De training is end-to-end en vereist geen aparte identificatiestap voor positieve paren.
• Preprocessing: Voor specifieke datasets (bijv. medische signalen) passen de auteurs Short-Time Fourier Transform (STFT) toe op sub-vensters om temporeel afhankelijke instanties te genereren, zodat de aanname dat opeenvolgende instanties vergelijkbare kenmerken delen, standhoudt.

Belangrijkste Bijdragen

1. CaTT Framework: Een nieuw ongesuperviseerd contrastief leerkader voor tijdreeksen dat positieve paarselectie direct integreert in het leerproces met behulp van een NT-pair formulering, waardoor de noodzaak voor externe heuristieken voor paarselectie vervalt.
2. MP-Xent Loss: De adaptatie van de N-pair loss om meerdere positieve paren (aangrenzende tijdstappen) te introduceren in de genormaliseerde temperatuur-geschaalde cross-entropy objectief. Deze modificatie versnelt het leren door meer paren per update te overwegen en verbetert de convergentie.
3. Uitgebreide Evaluatie: De auteurs hebben experimenten uitgevoerd op 16 publieke datasets over vier verschillende downstream-taken:
   • Lineaire fine-tuning classificatie (bevroren backbone).
   • Semi-supervised classificatie.
   • Tijdreeksvoorspelling (short-term en long-term).
   • Anomaliedetectie.

Resultaten
Het artikel rapporteert dat CaTT superieure embeddings produceert vergeleken met state-of-the-art baselines (inclusief TS2Vec, InfoTS, CoST, SimMTM en MF-CLR) over alle geëvalueerde taken:

• Classificatie: Op de HARTH, SLEEPEEG en ECG datasets behaalde CaTT de hoogste nauwkeurigheid, F1-scores, precisie en recall. Opvallend genoeg behaalde het deze resultaten met aanzienlijk kortere trainingstijden (bijv. 6,12s vs. 2322,75s voor MF-CLR op HARTH).
• Semi-Supervised Learning: CaTT demonstreerde robuustheid met beperkte gelabelde data (5%, 10%, 20%) en presteerde consequent beter dan de baselines qua nauwkeurigheid.
• Voorspelling (Forecasting): Op de ETT en Weather datasets leverde CaTT competitieve Mean Squared Error (MSE) en Mean Absolute Error (MAE) resultaten, waarbij het vaak presteerde gelijk aan of beter dan gespecialiseerde voorspellingsmodellen zoals MF-CLR en CoST, terwijl het een superieure pretraining-efficiëntie behield.
• Anomaliedetectie: In de TSB-AD benchmark liet CaTT competitieve prestaties zien in detectiemetrieken (VUS-PR) en was het de snelste methode van de geteste methoden.
• Efficiëntie: Een primaire bevinding is dat CaTT aanzienlijk sneller is om te trainen dan bestaande contrastieve benaderingen, wat het geschikt maakt voor grootschalige toepassingen.

Betekenis en Claims
Het artikel beweert dat CaTT een verschuiving vertegenwoordigt in hoe temporele consistentie wordt benut in contrastief leren. Door af te stappen van data-augmentatie en selectieve paar-sampling naar een "contrast all the time"-benadering, leert de methode direct van de natuurlijke structuur van temporele data. De auteurs stellen dat:

• Het gebruik van meerdere positieve paren (aangrenzende tijdstappen) binnen een NT-tuple loss cruciaal is voor het leren van semantisch betekenisvolle representaties en het waarborgen van trainingsstabiliteit (single-positive benaderingen resulteerden vaak in NaN-losses).
• De benadering zeer efficiënt is en een balans biedt tussen hoge prestaties en lage computationele kosten, wat bijzonder geschikt is voor real-world, dynamische tijdreeksapplicaties waar inferentiesnelheid en schaalbaarheid cruciaal zijn.
• De methode veelzijdig is en effectief presteert over classificatie-, voorspellings- en anomaliedetectietaken zonder dat er taakspecifieke architecturale wijzigingen nodig zijn.

De broncode voor de methode is publiekelijk beschikbaar, wat reproduceerbaarheid en verder onderzoek faciliteert.