Technische Samenvatting: Signal Dice Coefficient (SDSC) voor Time-Series Representation Learning

1. Probleemstelling

Zelfgesuperviseerd leren (SSL) voor tijdreeksgegevens heeft grotendeels vertrouwd op reconstructiegebaseerde doelstellingen met behulp van afstandgebaseerde verliezen, het meest voorkomend is de Mean Squared Error (MSE). Hoewel effectief bij het minimaliseren van puntgewijze amplitudeverschillen, stellen de auteurs dat deze metrieken kritieke beperkingen vertonen voor semantisch representatie-leren:

• Amplitudegevoeligheid vs. Polarisatie-invariantie: Afstandgebaseerde metrieken zijn zeer gevoelig voor de amplitudeschaal, maar grotendeels invariant voor de golfvorm-polariteit. Hierdoor kunnen signalen die fase-geïnverteerd, geamplitudeerd of verschoven naar een nagenoeg nul-baseline zijn, lage foutscores opleveren, ondanks dat ze semantisch onderscheidende of omgekeerde structuren vertegen�en.
• Gebrek aan Structurele Getrouwheid: Een lage reconstructiefout correleert niet noodzakelijkerwijs met een hoge semantische getrouwheid. Zo kunnen een constant nul-signaal en een geschaalde golfvorm identieke MSE-scores produceren, ondanks drastische structurele verschillen.
• Onbegrensde Aard: Afstandgebaseerde verliezen zijn onbegrensd en missen normalisatie, wat interpretatie en modelselectie over verschillende domeinen heen bemoeilijkt.

Het artikel stelt dat exclusieve afhankelijkheid van amplitude-gecentreerde metrieken kan leiden tot semantisch incorrecte reconstructies, met name in domeinen zoals EEG of ECG waar lokale golfvormvorm en polariteit diagnostische significantie dragen.

2. Methodologie

2.1. Signal Dice Similarity Coefficient (SDSC)

De auteurs introduceren de Signal Dice Similarity Coefficient (SDSC), een structuurbewuste metriek ontworpen om de lokale structurele overeenkomst tussen temporele signalen te kwantificeren.

• Conceptuele Basis: SDSC breidt de Dice Similarity Coefficient (DSC), traditioneel gebruikt voor set-overlap in semantische segmentatie, uit naar continue, gesigneerde tijdreeksen.
• Definitie: In plaats van set-lidmaatschap te meten, berekent SDSC structurele uitlijning op basis van gesigneerde amplitude-intersecties op elk tijdstap. Het interpreteert de oppervlakte onder de curve als een proxy voor de golfvormvorm.
  • Laat $E(t)$ de grondwaarheid zijn en $R(t)$ de reconstructie.
  • De intersectieterm $S(t)$ wordt gedefinieerd als $E(t) \cdot R(t)$.
  • De unie-achtige term $M(t)$ wordt gedefinieerd als $|E(t)| + |R(t)| - \frac{||E(t)| - |R(t)||}{2}$.
  • De continue SDSC wordt geformuleerd als:
    $$SDSC(E(t), R(t)) = \frac{2 \int H(S(t)) \cdot M(t) \, dt}{\int (|E(t)| + |R(t)|) \, dt}$$
    waarbij $H(\cdot)$ de Heaviside-stapfunctie is.
• Eigenschappen: SDSC is begrensd binnen $[0, 1]$, vertoont verminderde gevoeligheid voor amplitudevariaties en weerspiegelt expliciet de overeenkomst in lokale golfvormstructuur (teken- en magnituderegeling). Het is uitlijningsvrij en houdt geen rekening met globale temporele verschuivingen of warping.

2.2. Differentieerbare Approximatie en Training

Omdat de Heaviside-functie niet differentieerbaar is, gebruiken de auteurs een gladde, sigmoid-gebaseerde benadering $\hat{H}(x) = \frac{1}{1 + e^{-\alpha x}}$ om gradiëntgebaseerde optimalisatie mogelijk te maken. De trainingsdoelstelling wordt gedefinieerd als het minimaliseren van $1 - SDSC$.

2.3. Hybride Verliesfunctie

In het besef dat SDSC structuur vastlegt maar amplitude negeert, terwijl MSE amplitude vastlegt maar structuur mist, stellen de auteurs een Hybride Verlies voor:
$$L_{hybrid} = \lambda_{sdsc} \cdot L_{sdsc} + \lambda_{mse} \cdot L_{MSE}$$
De gewichten $\lambda_{sdsc}$ en $\lambda_{mse}$ worden bepaald met behulp van een onzekerheid-gebaseerde afstemmingsstrategie (Kendall et al., 2018), waarbij de coëfficiënten leerbare parameters zijn die de homoscedastische onzekerheid van elke verliesterm vertegenwoordigen.

2.4. Experimenteel Framework

De voorgestelde metrieken worden geïntegreerd in SimMTM, een zelfgesuperviseerd framework dat contrastief leren (InfoNCE) en reconstructie combineert. Om het effect van de reconstructie-doelstelling te isoleren, blijft de contrastieve component gefixeerd, en wordt alleen de reconstructieverlies gevarieerd (MSE, SDSC, of Hybride).

3. Belangrijkste Bijdragen

1. SDSC Metriek: De introductie van een begrensde, genormaliseerde metriek die expliciet de lokale structurele overeenkomst in gesigneerde tijdreeks-signalen meet, waarmee de polariteits- en schaalgevoeligheid van MSE wordt geadresseerd.
2. Differentieerbare Formulering: Een praktische, differentieerbare benadering van SDSC met behulp van een sigmoidfunctie, waardoor het als directe trainingsdoelstelling kan dienen.
3. Hybride Doelstelling: Een nieuwe verliesfunctie die structurele consistentie (SDSC) en amplitudegetrouwheid (MSE) balanceert via leerbare onzekerheidsgewichten.
4. Empirische Analyse: Een uitgebreide evaluatie die aantoont dat pre-training met SDSC-gebaseerde doelstellingen een downstream prestatie oplevert die vergelijkbaar is met, en in bepaalde regimes consistenter dan, MSE-gebaseerde doelstellingen, met name in in-domein en low-resource settings.

4. Experimentele Resultaten

4.1. Pre-training Analyse

• Metriek Correlatie: Er werd een zwakke negatieve correlatie ($-0.324$) waargenomen tussen MSE en SDSC tijdens de pre-training, wat aangeeft dat het minimaliseren van de amplitude-fout niet garandeert dat er structurele uitlijning is.
• Structurele Consistentie: Onder vaste MSE-condities behaalden modellen die gepre-traind waren met SDSC aanzienlijk hogere en meer consistente SDSC-scores vergeleken met MSE-gebaseerde modellen.

4.2. Downstream Forecasting

• Prestaties: SDSC-gebaseerde modellen behaalden forecasting-prestaties die vergelijkbaar zijn met MSE-gebaseerde modellen op datasets zoals Electricity, ondanks dat ze tijdens de pre-training een hogere reconstructiefout (MSE) vertoonden.
• Implicatie: Dit suggereert dat voorbij een bepaalde drempelwaarde, verdere reductie van de amplitude-fout een afnemend rendement oplevert, en het behoud van de lokale golfvormstructuur voldoende is voor effectieve forecasting-representaties.

4.3. Downstream Classificatie

• In-Domein: In scenario's met een bevroren encoder presteerde SDSC-gebaseerde pre-training consequent beter dan MSE-gebaseerde pre-training in in-domein settings, wat wijst op het vermogen om relevante semantische informatie voor discriminatie te behouden.
• Cross-Domein: De prestaties varieerden per datasetkenmerk; amplitude-afhankelijke kenmerken bevoordeelden MSE, terwijl structuur-afhankelijke kenmerken SDSC bevoordeelden.
• Fine-Tuning: Hoewel fine-tuning de prestatiekloof verkleinde, vertoonden SDSC-gebaseerde modellen consequent een hogere precisie, wat duidt op meer semantisch coherente representaties.

4.4. Computationele Efficiëntie

In tegenstelling tot uitlijning-gebaseerde doelstellingen (bijv. SoftDTW, DILATE) die lijden onder kwadratische computationele complexiteit, is SDSC computationeel lineair en uitlijningsvrij, wat een schaalbaar alternatief biedt.

5. Betekenis en Claims

Het artikel claimt dat SDSC dient als een complementair alternatief voor puur afstandgebaseerde doelstellingen voor tijdreeks zelfgesuperviseerd leren.

• Herwaardering van MSE: De resultaten dagen de standaard afhankelijkheid van MSE uit, door te suggeren dat een lage reconstructiefout semantisch inconsistente signalen kan maskeren. SDSC legt deze beperkingen bloot door expliciet structurele misuitlijning te bestraffen.
• Structuurbewust Leren: De bevindingen geven aan dat het expliciet stimuleren van structurele consistentie in reconstructie de afstandgebaseerde doelstellingen complementeert.
• Praktische Bruikbaarheid: SDSC biedt een lichtgewicht, begrensd en interpreteerbaar metriek dat gestandaardiseerde evaluatie over verschillende signaal-domeinen faciliteert zonder de computationele overhead van Dynamic Time Warping.

De auteurs concluderen dat hoewel SDSC niet universeel MSE overtreft in alle downstream taken, het wel een robuust mechanisme biedt voor het behoud van de lokale golfvormstructuur, wat cruciaal is voor semantisch representatie-leren, met name in scenario's waar amplitude-schaling of polariteitsverschuivingen irrelevant zijn voor de semantiek van de taak.