Resumen Técnico: Dividir y Contrastar (Di-COT)

Enunciado del Problema

El aprendizaje auto-supervisado (SSL) para la representación de series temporales tiene como objetivo reducir la dependencia de datos etiquetados manteniendo un rendimiento sólido en tareas posteriores. Sin embargo, los enfoques existentes de aprendizaje por contraste presentan limitaciones significativas:

1. Ineficiencia Computacional: Muchos métodos requieren múltiples pasadas a través del codificador (para anclas, positivos y negativos) o dependen de operaciones costosas como la Distorsión Temporal Dinámica (DTW) para el cálculo de similitud.
2. Sesgo en la Aumento de Datos: Los enfoques que dependen en gran medida del aumento de datos (por ejemplo, enmascaramiento, transformaciones en el dominio del tiempo/frecuencia) pueden introducir sesgos inductivos que distorsionan las incrustaciones de características aprendidas, dificultando la generalización.
3. Fallas en las Suposiciones Temporales: Los métodos eficientes recientes (por ejemplo, CaTT) que contrastan pasos de tiempo temporalmente adyacentes asumen que la proximidad temporal implica similitud semántica. Esta suposición a menudo falla en conjuntos de datos con transiciones rápidas de eventos (comunes en los puntos de referencia UCR y UEA), lo que conduce a "falsos positivos" donde pasos de tiempo semánticamente distintos pero temporalmente cercanos se tratan incorrectamente como pares positivos.
4. Problemas de Escalabilidad: Los cálculos de pérdida en algunos métodos escalan cuadráticamente tanto con el tamaño del lote como con la longitud de la secuencia, haciéndolos prohibitivos para ventanas de series temporales largas.

Metodología: Dividir y Contrastar (Di-COT)

Di-COT es un marco no supervisado diseñado para aprender características temporales robustas sin aumento de datos ni múltiples pasadas por el codificador. Replantea el aprendizaje por contraste temporal como una tarea de clasificación densa dentro del espacio de representación.

Mecanismo Central

1. Particionamiento Estocástico de Sub-bloques: En lugar de procesar toda la secuencia o pasos de tiempo individuales, Di-COT particiona estocásticamente cada ventana de serie temporal en $k$ sub-bloques superpuestos por iteración. El número de sub-bloques $k$ se muestrea de una distribución uniforme $U\{k_{min}, \dots, k_{max}\}$.

   • Los sub-bloques tienen longitud $L$ y paso $s$, controlados por una relación de superposición $\rho \in (0, 1)$.
   • Esta estocasticidad expone al codificador a múltiples granularidades temporales, fomentando implícitamente la robustez en contextos de corto y largo alcance sin diseños jerárquicos explícitos.

2. Codificación de Sub-bloques: Cada sub-bloque se pasa a través de un codificador temporal compartido $f_\theta$ y se agrupa a lo largo de la dimensión temporal para producir un único vector de incrustación.

3. Objetivo de Contraste (Predicción del Siguiente Sub-bloque):

   • Pares Positivos: Los sub-bloques temporalmente adyacentes dentro de la misma instancia se tratan como pares positivos. Específicamente, para un sub-bloque $j$, el sub-bloque precedente $j-1$ es el objetivo.
   • Pares Negativos: Todos los demás sub-bloques en la misma secuencia sirven como negativos.
   • Formulación: La tarea se formula como un problema de clasificación multiclase. Para cada sub-bloque $j$, el modelo predice el índice de su vecino precedente. La pérdida es una pérdida de entropía cruzada escalada por temperatura (similar a InfoNCE pero aplicada a índices de sub-bloques):
     $$\mathcal{L}_{CE} = -\frac{1}{Bk} \sum_{i=1}^{B} \sum_{j=0}^{k-1} \log \frac{\exp(S^{(i)}_{j, p^*(j)} / \tau)}{\sum_{p=0}^{k-1} \exp(S^{(i)}_{j, p} / \tau)}$$
     donde $S^{(i)}_{j,p}$ es la similitud entre el sub-bloque $j$ y $p$, y $p^*(j)$ es el índice objetivo ($j-1$ para $j>0$, y $0$ para el primer sub-bloque).

Eficiencia y Escalabilidad

• Complejidad: El cálculo de la pérdida depende del tamaño del lote $B$ y del número de sub-bloques $k$, en lugar de la longitud de la secuencia $T$. Dado que $k \ll T$ por diseño, la complejidad temporal es $O(Bk^2d)$ y la complejidad de memoria es $O(Bk^2)$. Esto hace que el método sea independiente de la longitud de la secuencia, permitiendo un entrenamiento eficiente en secuencias muy largas.
• Sin Aumento/Múltiples Pasadas: Al contrastar subestructuras internas, Di-COT evita la necesidad de aumento de datos y elimina la necesidad de múltiples pasadas por el codificador requeridas por métodos que tratan diferentes vistas aumentadas como positivos.

Contribuciones Clave

1. Marco Libre de Aumento: Di-COT elimina la necesidad de aumento de datos, enmascaramiento de pasos de tiempo y múltiples pasadas por el codificador, reduciendo la sobrecarga computacional y evitando la distorsión de la representación.
2. Contraste Dinámico de Sub-bloques: El método introduce el contraste dentro de instancias individuales utilizando sub-bloques estocásticos. Esto previene la discriminación trivial a nivel de paso de tiempo (que falla durante transiciones rápidas) y promueve representaciones diversas y semánticamente significativas.
3. Reformulación como Clasificación: El aprendizaje por contraste temporal se reformula como una tarea de clasificación de entropía cruzada. Esto proporciona supervisión densa (utilizando cada sub-bloque como señal) mientras retiene las propiedades de InfoNCE escalada por temperatura.
4. Rendimiento de Vanguardia: El marco logra resultados de vanguardia en tareas de clasificación, agrupamiento, kNN y transferencia entre conjuntos de datos, reduciendo sustancialmente el tiempo de entrenamiento.

Resultados Experimentales

Los autores evaluaron Di-COT en seis conjuntos de datos reales a gran escala (PAMAP2, WISDM2, HARTH, SLEEP, ECG, SKODA) y en los puntos de referencia UCR/UEA.

• Evaluación Lineal: Di-COT logró la precisión promedio más alta entre los métodos SSL en los conjuntos de datos a gran escala, superando a líneas base como TS2Vec, TF-C y CaTT. Igualó el rendimiento de modelos totalmente supervisados de extremo a extremo en varios conjuntos de datos mientras requería significativamente menos tiempo de entrenamiento.
• Régimen de Pocos Etiquetas: En una configuración con el 1% de datos etiquetados, Di-COT superó a todos los demás métodos SSL y a la línea base totalmente supervisada entrenada de extremo a extremo en los mismos datos limitados, demostrando una eficiencia de etiquetas superior.
• kNN No Paramétrico: Di-COT mostró el mejor rendimiento en la clasificación de 1-vecino más cercano, lo que indica que las incrustaciones aprendidas tienen un vecindario local bien estructurado donde muestras semánticamente similares están mapeadas estrechamente.
• Agrupamiento: Di-COT logró la mayor Información Mutua Normalizada (NMI) y el Índice Rand Ajustado (ARI), lo que sugiere que aprende agrupaciones globalmente coherentes que se alinean con las clases de verdad fundamental.
• Transferencia entre Conjuntos de Datos: En experimentos de aprendizaje por transferencia (por ejemplo, HARTH $\to$ PAMAP2), Di-COT demostró una generalización de dominio más fuerte en comparación con las líneas base, indicando robustez ante cambios de distribución.
• Eficiencia: Di-COT consistentemente requirió el menor tiempo de entrenamiento entre los enfoques basados en aprendizaje profundo. Por ejemplo, en conjuntos de datos a gran escala, se entrenó en aproximadamente 2.88 horas en comparación con 3.47–11.48 horas para otros métodos.

Significado y Afirmaciones

El artículo afirma que Di-COT aborda el compromiso fundamental en los métodos existentes de aprendizaje por contraste de series temporales: la tensión entre explotar la proximidad temporal para la eficiencia y mantener la consistencia semántica para la generalización.

• Robustez ante la Dinámica Temporal: Al contrastar subestructuras informativas en lugar de pasos de tiempo individuales, Di-COT evita el problema de "falso positivo" inherente a los métodos que asumen que todos los pasos de tiempo adyacentes son semánticamente similares. Esto lo hace particularmente efectivo para conjuntos de datos con cambios frecuentes de eventos.
• Escalabilidad: La independencia del cálculo de la pérdida respecto a la longitud de la secuencia permite que Di-COT escale eficientemente a series temporales largas, una limitación para métodos como CaTT donde los costos de memoria y computación escalan cuadráticamente con la longitud de la secuencia.
• Aplicabilidad Práctica: El marco se presenta como una solución práctica para escenarios con anotaciones escasas, ofreciendo una compensación favorable entre precisión y cómputo. Los autores señalan que, aunque el método destaca en clasificación, agrupamiento y recuperación, su naturaleza contrastiva (enfocada en la estructura discriminativa) puede ser ortogonal a tareas de pronóstico que requieren predicción temporal de grano fino, lo cual se identifica como una limitación y una dirección para trabajo futuro.

Los autores enfatizan que Di-COT aprende representaciones que son localmente consistentes, globalmente bien organizadas y transferibles entre dominios, estableciendo un nuevo estado del arte para el aprendizaje de representación de series temporales no supervisado.