Technische Samenvatting: Divide and Contrast (Di-COT)

Probleemstelling

Zelftoezichtend leren (SSL) voor tijdsreeksrepresentatie heeft als doel de afhankelijkheid van gelabelde data te verminderen terwijl sterke downstream-prestaties behouden blijven. Echter, bestaande contrastieve leermethoden ondervinden aanzienlijke beperkingen:

1. Rekeninefficiëntie: Veel methoden vereisen meerdere doorgangen door de encoder (voor ankers, positieven en negatieven) of vertrouwen op dure bewerkingen zoals Dynamic Time Warping (DTW) voor het berekenen van gelijkenis.
2. Bias door Data-augmentatie: Benaderingen die zwaar vertrouwen op data-augmentatie (bijvoorbeeld masking, transformaties in tijdsdomein/frequentiedomein) kunnen inductieve biases introduceren die de geleerde feature-embeddings vervormen, wat de generaliseerbaarheid belemmert.
3. Falen van Temporele Aannames: Recentere efficiënte methoden (bijvoorbeeld CaTT) die temporale opeenvolgende tijdstippen contrasteren, gaan ervan uit dat temporele nabijheid semantische gelijkenis impliceert. Deze aanname faalt vaak in datasets met snelle overgangen van gebeurtenissen (vaak voorkomend in UCR- en UEA-benchmarks), wat leidt tot "vals-positieven" waarbij semantisch verschillende maar temporeel dichtbij elkaar liggende tijdstippen ten onrechte worden behandeld als positieve paren.
4. Schaalbaarheidsproblemen: Loss-berekeningen in sommige methoden schalen kwadratisch met zowel de batchgrootte als de sequentielengte, waardoor ze onhaalbaar worden voor lange tijdsreeksvensters.

Methodologie: Divide and Contrast (Di-COT)

Di-COT is een onbewaakt framework ontworpen om robuuste temporele features te leren zonder data-augmentatie of meerdere encoder-doorgangen. Het herformuleert temporeel contrastief leren als een dichte classificatietaken binnen de representatieruimte.

Kernmechanisme

1. Stochastische Sub-blok Partitionering: In plaats van de volledige sequentie of individuele tijdstippen te verwerken, partitioneert Di-COT elke tijdsreeksvenster stochastisch in $k$ overlappende sub-blokken per iteratie. Het aantal sub-blokken $k$ wordt bemonsterd uit een uniforme verdeling $U\{k_{min}, \dots, k_{max}\}$.

   • De sub-blokken hebben lengte $L$ en stapgrootte $s$, gecontroleerd door een overlapratio $\rho \in (0, 1)$.
   • Deze stochastiek exposeert de encoder aan meerdere temporele granulariteiten, wat impliciet robuustheid stimuleert over korte en lange contexten zonder expliciete hiërarchische ontwerpen.

2. Sub-blok Encodering: Elk sub-blok wordt doorgegeven aan een gedeelde temporele encoder $f_\theta$ en gepooled langs de temporele dimensie om een enkele embeddingvector te produceren.

3. Contrastief Doel (Voorspelling van Volgend Sub-blok):

   • Positieve Paren: Temporeel opeenvolgende sub-blokken binnen dezelfde instantie worden behandeld als positieve paren. Specifiek is voor een sub-blok $j$ de voorgaande sub-blok $j-1$ het doel.
   • Negatieve Paren: Alle andere sub-blokken in dezelfde sequentie dienen als negatieven.
   • Formulering: De taak wordt geformuleerd als een meer-klasse classificatieprobleem. Voor elk sub-blok $j$ voorspelt het model de index van zijn voorgaande buur. De loss is een temperatuur-geschaalde cross-entropy loss (vergelijkbaar met InfoNCE maar toegepast op sub-blok indices):
     $$\mathcal{L}_{CE} = -\frac{1}{Bk} \sum_{i=1}^{B} \sum_{j=0}^{k-1} \log \frac{\exp(S^{(i)}_{j, p^*(j)} / \tau)}{\sum_{p=0}^{k-1} \exp(S^{(i)}_{j, p} / \tau)}$$
     waarbij $S^{(i)}_{j,p}$ de gelijkenis is tussen sub-blok $j$ en $p$, en $p^*(j)$ de doelindex is ($j-1$ voor $j>0$, en $0$ voor het eerste sub-blok).

Efficiëntie en Schaalbaarheid

• Complexiteit: De loss-berekening hangt af van de batchgrootte $B$ en het aantal sub-blokken $k$, in plaats van de sequentielengte $T$. Omdat $k \ll T$ per ontwerp is, is de tijdscomplexiteit $O(Bk^2d)$ en de geheugencomplexiteit $O(Bk^2)$. Dit maakt de methode onafhankelijk van de sequentielengte, waardoor efficiënt trainen op zeer lange sequenties mogelijk is.
• Geen Augmentatie/Multiple Passes: Door interne substructuren te contrasteren, vermijdt Di-COT de noodzaak van data-augmentatie en elimineert het de noodzaak van meerdere encoder-doorgangen die vereist zijn door methoden die verschillende geaugmenteerde weergaven als positieven behandelen.

Belangrijkste Bijdragen

1. Augmentatie-vrij Framework: Di-COT elimineert de noodzaak voor data-augmentatie, tijdstip masking en meerdere encoder-doorgangen, wat de rekenkosten verlaagt en vervorming van representaties voorkomt.
2. Dynamisch Sub-blok Contrasteren: De methode introduceert contrasteren binnen individuele instanties met behulp van stochastische sub-blokken. Dit voorkomt triviale discriminatie op tijdstip-niveau (wat faalt tijdens snelle overgangen) en bevordert diverse, semantisch betekenisvolle representaties.
3. Hervorming als Classificatie: Temporeel contrastief leren wordt hervormd tot een cross-entropy classificatietaken. Dit biedt dichte supervisie (waarbij elk sub-blok als signaal wordt gebruikt) terwijl de eigenschappen van temperatuur-geschaalde InfoNCE behouden blijven.
4. State-of-the-Art Prestaties: Het framework bereikt state-of-the-art resultaten op classificatie, clustering, kNN en cross-dataset transfer-taken, terwijl het de trainingsduur aanzienlijk reduceert.

Experimentele Resultaten

De auteurs evalueerden Di-COT op zes grote real-world datasets (PAMAP2, WISDM2, HARTH, SLEEP, ECG, SKODA) en de UCR/UEA-benchmarks.

• Lineaire Evaluatie: Di-COT behaalde de hoogste gemiddelde nauwkeurigheid onder SSL-methoden op de grote datasets, en presteerde beter dan baselines zoals TS2Vec, TF-C en CaTT. Het kwam overeen met de prestaties van volledig toezichtend end-to-end modellen op verschillende datasets, terwijl het aanzienlijk minder trainingsduur vereiste.
• Laag-Gelabeld Regime: In een setting met 1% gelabelde data presteerde Di-COT beter dan alle andere SSL-methoden en het volledig toezichtend baseline-model dat end-to-end op dezelfde beperkte data was getraind, wat superieure label-efficiëntie aantoont.
• Niet-Parametrische kNN: Di-COT toonde de beste prestaties in 1-nearest neighbor classificatie, wat aangeeft dat de geleerde embeddings een goed gestructureerde lokale buurt hebben waarbij semantisch vergelijkbare samples dicht bij elkaar worden gemapt.
• Clustering: Di-COT behaalde de hoogste Normalized Mutual Information (NMI) en Adjusted Rand Index (ARI), wat suggereert dat het globaal coherente clusters leert die overeenkomen met ground-truth klassen.
• Cross-Dataset Transfer: In transfer learning experimenten (bijvoorbeeld HARTH $\to$ PAMAP2) toonde Di-COT sterkere domeingeneralisatie in vergelijking met baselines, wat wijst op robuustheid tegen distributieveranderingen.
• Efficiëntie: Di-COT vereiste consistent de laagste trainingsduur onder deep learning-gebaseerde benaderingen. Bijvoorbeeld, op grote datasets trainde het in ongeveer 2,88 uur in vergelijking met 3,47–11,48 uur voor andere methoden.

Betekenis en Claims

Het artikel claimt dat Di-COT de fundamentele afweging in bestaande tijdsreeks contrastieve leermethoden aanpakt: de spanning tussen het benutten van temporele nabijheid voor efficiëntie en het behouden van semantische consistentie voor generalisatie.

• Robuustheid tegen Temporele Dynamiek: Door informatieve substructuren te contrasteren in plaats van individuele tijdstippen, vermijdt Di-COT het "vals-positief" probleem dat inherent is aan methoden die ervan uitgaan dat alle aangrenzende tijdstippen semantisch vergelijkbaar zijn. Dit maakt het bijzonder effectief voor datasets met frequente veranderingen van gebeurtenissen.
• Schaalbaarheid: De onafhankelijkheid van de loss-berekening van de sequentielengte stelt Di-COT in staat om efficiënt te schalen naar lange tijdsreeksen, een beperking voor methoden zoals CaTT waarbij geheugen- en rekentkosten kwadratisch schalen met de sequentielengte.
• Praktische Toepasbaarheid: Het framework wordt gepresenteerd als een praktische oplossing voor scenario's met schaarse annotaties, met een gunstige afweging tussen nauwkeurigheid en rekenkosten. De auteurs merken op dat hoewel de methode uitblinkt in classificatie, clustering en retrieval, het contrastieve karakter (gericht op discriminatieve structuur) orthogonaal kan zijn aan forecasting-taken die fijnkorrelige temporele voorspelling vereisen, wat wordt geïdentificeerd als een beperking en richting voor toekomstig werk.

De auteurs benadrukken dat Di-COT representaties leert die lokaal consistent, globaal goed georganiseerd en overdraagbaar zijn tussen domeinen, waarmee een nieuwe state-of-the-art wordt gevestigd voor onbewaakt leren van tijdsreeksrepresentaties.