Resumen Técnico: Coeficiente de Dice de la Señal (SDSC) para el Aprendizaje de Representaciones de Series Temporales

1. Planteamiento del Problema

El aprendizaje autodidacta (SSL) para datos de series temporales se ha basado mayoritariamente en objetivos de reconstrucción mediante métricas basadas en la distancia, siendo la más común el Error Cuadrático Medio (MSE). Aunque es efectivo para minimizar las diferencias de amplitud punto a punto, los autores argumentan que estas métricas presentan limitaciones críticas para el aprendizaje de representaciones semánticas:

• Sensibilidad a la Amplitud vs. Invarianza de la Polaridad: Las métricas basadas en la distancia son altamente sensibles a la escala de la amplitud, pero mayormente invariantes a la polaridad de la forma de onda. En consecuencia, señales que han sufrido una inversión de fase, un escalado de amplitud o un desplazamiento hacia una línea base cercana a cero pueden arrojar puntuaciones de error bajas, a pesar de representar estructuras semánticamente distintas o invertidas.
• Falta de Fidelidad Estructural: Un error de reconstrucción bajo no necesariamente se correlaciona con una alta fidelidad semántica. Por ejemplo, una señal constante de cero y una forma de onda escalada pueden producir puntuaciones de MSE idénticas a pesar de presentar diferencias estructurales marcadas.
• Naturaleza No Acotada: Las pérdidas basadas en la distancia no están acotadas y carecen de normalización, lo que complica la interpretación y la selección de modelos entre diferentes dominios.

El artículo postula que la dependencia exclusiva de métricas centradas en la amplitud puede conducir a reconstrucciones semánticamente incorrectas, particularmente en dominios como el EEG o el ECG, donde la forma de la onda local y la polaridad poseen importancia diagnóstica.

2. Metodología

2.1. Coeficiente de Similitud de Dice de la Señal (SDSC)

Los autores introducen el Coeficiente de Similitud de Dice de la Señal (SDSC), una métrica consciente de la estructura diseñada para cuantificar el acuerdo estructural local entre señales temporales.

• Base Conceptual: El SDSC extiende el Coeficiente de Similitud de Dice (DSC), utilizado tradicionalmente para la superposición de conjuntos en segmentación semántica, a datos de series temporales continuos y con signo.
• Definición: En lugar de medir la pertenencia a un conjunto, el SDSC computa la alineación estructural basada en intersecciones de amplitud con signo en cada paso temporal. Interpreta el área bajo la curva como un indicador de la forma de la onda.
  • Sea $E(t)$ la verdad de campo (ground truth) y $R(t)$ la reconstrucción.
  • El término de intersección $S(t)$ se define como $E(t) \cdot R(t)$.
  • El término de unión, o similar, $M(t)$ se define como $|E(t)| + |R(t)| - \frac{||E(t)| - |R(t)||}{2}$.
  • El SDSC continuo se formula como:
    $$SDSC(E(t), R(t)) = \frac{2 \int H(S(t)) \cdot M(t) \, dt}{\int (|E(t)| + |R(t)|) \, dt}$$
    donde $H(\cdot)$ es la función de Heaviside.
• Propiedades: El SDSC está acotado en $[0, 1]$, exhibe una sensibilidad reducida a las variaciones de amplitud y refleja explícitamente el acuerdo en la estructura de la forma de onda local (solapamiento de signo y magnitud). Es libre de alineación y no tiene en cuenta desplazamientos temporales globales o deformaciones (warping).

2.2. Aproximación Diferenciable y Entrenamiento

Dado que la función de Heaviside no es diferenciable, los autores emplean una aproximación suave basada en la función sigmoide $\hat{H}(x) = \frac{1}{1 + e^{-\alpha x}}$ para permitir la optimización basada en gradientes. El objetivo de entrenamiento consiste en minimizar $1 - SDSC$.

2.3. Función de Pérdida Híbrida

Reconociendo que el SDSC captura la estructura pero ignora la amplitud, mientras que el MSE captura la amplitud pero pierde la estructura, los autores proponen una Pérdida Híbrida:
$$L_{hybrid} = \lambda_{sdsc} \cdot L_{sdsc} + \lambda_{mse} \cdot L_{MSE}$$
Los pesos $\lambda_{sdsc}$ y $\lambda_{mse}$ se determinan mediante una estrategia de ajuste basada en la incertidumbre (Kendall et al., 2018), donde los coeficientes son parámetros aprendibles que representan la incertidumbre homocedástica de cada término de pérdida.

2.4. Marco Experimental

Las métricas propuestas se integran en SimMTM, un marco de aprendizaje autodidacta que combina el aprendizaje contrastivo (InfoNCE) y la reconstrucción. Para aislar el efecto del objetivo de reconstrucción, el componente contrastivo permanece fijo y solo se varía el objetivo de reconstrucción (MSE, SDSC o Híbrido).

3. Contribuciones Clave

1. Métrica SDSC: La introducción de una métrica acotada y normalizada que mide explícitamente el acuerdo estructural local en señales temporales con signo, abordando la insensibilidad a la polaridad y la escala del MSE.
2. Formulación Diferenciable: Una aproximación práctica y diferenciable del SDSC utilizando una función sigmoide, lo que permite su uso como un objetivo de entrenamiento directo.
3. Objetivo Híbrido: Una nueva función de pérdida que equilibra la consistencia estructural (SDSC) y la fidelidad de la amplitud (MSE) mediante pesos de incertidumbre aprendibles.
4. Análisis Empírico: Una evaluación exhaustiva que demuestra que el preentrenamiento basado en SDSC produce un rendimiento en tareas posteriores (downstream) comparable a, y en ciertos regímenes más consistente que, los objetivos basados en MSE, particularmente en entornos de dominio interno y de bajos recursos.

4. Resultados Experimentales

4.1. Análisis de Preentrenamiento

• Correlación de Métricas: Se observó una débil correlación negativa ($-0.324$) entre el MSE y el SDSC durante el preentrenamiento, lo que indica que minimizar el error de amplitud no garantiza la alineación estructural.
• Consistencia Estructural: Bajo condiciones de MSE fijo, los modelos preentrenados con SDSC lograron puntuaciones de SDSC significativamente más altas y consistentes en comparación con los modelos basados en MSE.

4.2. Pronóstico de Series Temporales (Forecasting)

• Rendimiento: Los modelos basados en SDSC lograron un rendimiento de pronóstico comparable al de los modelos basados en MSE en conjuntos de datos como Electricity, a pesar de exhibir un error de reconstrucción (MSE) más alto durante el preentrenamiento.
• Implicación: Esto sugiere que, más allá de cierto umbral, la reducción adicional del error de amplitud ofrece rendimientos decrecientes, y preservar la estructura local de la forma de onda es suficiente para un pronóstico efectivo.

4.3. Clasificación de Tareas Posteriores (Downstream)

• En el Dominio (In-Domain): En escenarios de codificador congelado, el preentrenamiento basado en SDSC superó consistentemente al preentrenamiento basado en MSE en entornos de dominio interno, destacando su capacidad para preservar la información semántica relevante para la discriminación.
• Entre Dominios (Cross-Domain): El rendimiento varió según las características del conjunto de datos; las características dependientes de la amplitud favorecieron al MSE, mientras que las dependientes de la estructura favorecieron al SDSC.
• Ajuste Fino (Fine-Tuning): Aunque el ajuste fino redujo las brechas de rendimiento, los modelos basados en SDSC demostraron consistentemente una mayor precisión, lo que sugiere representaciones semánticamente más coherentes.

4.4. Eficiencia Computacional

A diferencia de los objetivos basados en alineación (por ejemplo, SoftDTW, DILATE) que sufren de una complejidad computacional cuadrática, el SDSC es computacionalmente lineal y libre de alineación, ofreciendo una alternativa escalable.

5. Significado y Reivindicaciones

El artículo afirma que el SDSC sirve como una alternativa complementaria a los objetivos puramente basados en la distancia para el aprendizaje autodidacta de series temporales.

• Reevaluación del MSE: Los resultados desafían la dependencia por defecto del MSE, sugiriendo que un bajo error de reconstrucción puede ocultar señales semánticamente inconsistentes. El SDSC expone estas limitaciones al penalizar explícitamente la desalineación estructural.
• Aprendizaje Consciente de la Estructura: Los hallazgos indican que fomentar explícitamente la consistencia estructural en la reconstrucción complementa a los objetivos basados en la distancia.
• Practicidad: El SDSC ofrece una métrica ligera, acotada e interpretable que facilita la evaluación estandarizada a través de dominios de señales sin la sobrecarga computacional del dynamic time warping.

Los autores concluyen que, si bien el SDSC no supera universalmente al MSE en todas las tareas posteriores, proporciona un mecanismo robusto para preservar la estructura local de la forma de onda, lo cual es crítico para el aprendizaje de representaciones semánticas, particularmente en escenarios donde el escalado de amplitud o los cambios de polaridad son irrelevantes para la semántica de la tarea.