Resumen Técnico: LeNEPA – Predicción de Siguiente-Latente sin Aumentos para el Aprendizaje de Representaciones de Series Temporales

1. Planteamiento del Problema

El aprendizaje autosupervisado (SSL) de series temporales ha avanzado rápidamente, pero su despliegue práctico sigue obstaculizado por una fuerte dependencia de estrategias de vistas y aumentos específicas del dominio. Aunque métodos como las Arquitecturas de Predicción de Embebidos Conjuntos (JEPA) han mostrado éxito (por ejemplo, ECG_JEPA para PTB-XL), su rendimiento suele ser frágil cuando la "receta" (específicamente la estrategia de aumento y enmascaramiento) se transfiere a una familia de señales estructuralmente diferente sin un reajuste.

El artículo plantea una pregunta práctica más específica y estrecha: ¿Cómo se comporta una receta de SSL cuando su configuración específica del método se reutiliza sin cambios tras el cambio de la familia de señales de preentrenamiento? En lugar de comparar contra benchmarks optimizados, los autores tratan esto como una "prueba de estrés de receta fija" para medir el costo de depender de invarianzas específicas del dominio (como la morfología de un ECG) al aplicarlas a nuevos tipos de datos.

2. Metodología: LeNEPA

Los autores introducen LeNEPA (Latent Euclidean Next-Embedding Prediction Architecture), una arquitectura de SSL ligera y sin aumentos diseñada para producir embebidos de secuencias útiles sin requerir ingeniería de vistas por cada conjunto de datos.

Arquitectura Central

• Backbone (Columna vertebral): Un Transformer causal procesa una secuencia de embebidos de parches generados por convoluciones con salto (strided convolutions) (estilo ViT).
• Objetivo: Predicción autoregresiva del siguiente token latente. En cada paso de tiempo $t$, el modelo predice el token latente en $t+1$ minimizando el Error Cuadrático Medio (MSE) en un espacio proyectado.
• Sin Aumentos: A diferencia de las variantes de JEPA que dependen del enmascaramiento o recorte (cropping), LeNEPA opera directamente sobre la secuencia bruta sin aumentos de datos.

Mecanismos de Estabilización

El NEPA (Predicción de Siguiente-Embebido) estándar suele depender de una red maestra actualizada mediante un Promedio Móvil Exponencial (EMA) y detención de gradientes (stop-gradients) para evitar el colapso. LeNEPA reemplaza estos con:

1. SIGReg (Regularización Gaussiana Isotrópica Esquemática): En lugar de la detención de gradientes, LeNEPA utiliza SIGReg para regularizar la distribución de los embebidos de los tokens hacia una Gaussiana isotrópica. Crucialmente, los autores encuentran que la SIGReg temporal (regularizar el conjunto de tokens dentro de cada muestra a lo largo del eje temporal) es el estabilizador más efectivo, evitando el colapso a lo largo de la dimensión temporal que la regularización global no logra detectar.
2. Regularización de Guillotina: La pérdida de predicción se calcula en un espacio proyectado ligero (usando un proyector $h_\psi$). Este proyector se descarta en el momento de la evaluación, asegurando que las representaciones aprendidas residan en el backbone y no en la cabeza de proyección.

Función de Pérdida

La pérdida total combina la pérdida de predicción y el término de regularización:
$$\mathcal{L} = \lambda_{pred}\mathcal{L}_{pred} + \lambda_T \mathcal{L}_{SIG}^{time}$$
Donde $\mathcal{L}_{pred}$ es el MSE entre la predicción proyectada y el objetivo proyectado (desplazado un paso), y $\mathcal{L}_{SIG}^{time}$ aplica la regularización isotrópica al conjunto de tokens temporales.

3. Protocolo de Evaluación

El estudio emplea dos protocolos de evaluación distintos para separar la portabilidad de la receta de la transferencia de checkpoints:

1. Reutilización de Preentrenamiento de Receta Fija (PTB-XL vs. Diag):

   • Datasets: PTB-XL (ECG real de 12 derivaciones) y Diag (un corpus diagnóstico sintético generado vía Aionoscope con diversos tipos de señales).
   • Configuración: Tanto LeNEPA como un baseline JEPA se entrenan independientemente en ambos conjuntos de datos.
   • Restricción: Las "recetas" están fijas según el ajuste de PTB-XL. La receta de JEPA utiliza un esquema de enmascaramiento ajustado para ECG; LeNEBA usa su configuración fija sin aumentos. Ninguna es reajustada para Diag.
   • Sonda (Probe): Se entrenan sondas lineales congeladas en las capas intermedias del backbone (0–8) para medir la calidad de la representación.

2. Chequeo de Encoder Congelado (CauKer a UCR-128):

   • Una variante de LeNEPA preentrenada en el dataset CauKer se congela y se evalúa en el archivo completo UCR-128 usando un Bosque Aleatorio (Random Forest), siguiendo el protocolo de MantisV2. Esto prueba si un único codificador sin aumentos puede generalizar a 128 tareas univariantes diversas.

4. Resultados Clave

Reutilización de Receta Fija (PTB-XL vs. Diag)

• Fragilidad de JEPA: La receta de JEPA ajustada para ECG funciona fuertemente en PTB-XL (dentante del dominio) pero se degrada significativamente cuando se reutiliza sin cambios en el dataset estructuralmente diferente de Diag. Esto resalta la dependencia de JEPA de las suposiciones de aumento específicas del dominio.
• Robustez de LeNEPA: LeNEPA preserva ganancias útiles en sondas congeladas en ambos datasets sin modificaciones. Supera a la receta fija de JEPA en Diag tanto en el rendimiento final como en la dinámica de entrenamiento.
• Dinámica de Aprendizaje: LeNEPA demuestra una adquisición de representación temprana más rápida. Alcanza el 80% de su ganancia final de AUROC/AUPRC después de 2–5k actualizaciones, comparado con las 5–10k actualizaciones de la lectura de JEPA.

Chequeo de Encoder Congelado (UCR-128)

• Una ejecución de semilla única y mejor checkpoint de LeNEPA-CauKer logra un 77.65% de precisión media en UCR-128 usando un Bosque Aleatorio.
• Este resultado está a 1.16 puntos de Mantis (78.81%) y a 0.24 puntos de MOMENT (77.89%), a pesar de que LeNEPA utiliza un backbone causal, sin aumentos hechos a mano y sin ramas de primera diferencia (desventajas estructurales respecto a Mantis para este benchmark específico).

Ablaciones y Diagnósticos

• Sensibilidad de Capa: A diferencia de JEPA, que a menudo alcanza su pico en las capas superiores, LeNEPA y NEPA logran puntuaciones óptimas de sonda en capas intermedias (típicamente $L_4$ o $L_5$). La capa final suele rendir menos, sugiriendo que los bloques más profundos se especializan en la tarea de predicción mientras que las capas intermedias retienen características más generales.
• Eje de SIGReg: La SIGReg temporal fue la única colocación de regularización que proporcionó ganancias sostenidas en ambos datasets.
• Proyector: El uso de un proyector desechable (estilo Guillotina) mejora el rendimiento sobre el cálculo directo de la pérdida en el backbone, validando la separación del espacio de pérdida del espacio de representación.

5. Significancia y Reivindicaciones

El artículo concluye que una predicción de siguiente-latente sin aumentos es una candidata a receta prometedora para el SSL de series temporales cuando la restricción operativa es reutilizar una receta de SSL con un mínimo de ingeniería de vistas por cada dataset.

• Reivindicaciones Modestas: Los autores declaran explícitamente que no pretenden presentar un nuevo "modelo fundacional" que supere a todos los baselines optimizados. En su lugar, demuestran que eliminar las dependencias de aumento reduce la fragilidad de las recetas de SSL cuando cambian las familias de señales.
• Impacto Práctico: Los resultados sugieren que para aplicaciones que requieren preentrenamiento portable (por ejemplo, telemetría industrial, finanzas, fisiología), un objetivo sin aumentos como LeNEPA ofrece una alternativa más robusta a las variantes de JEPA que requieren una cuidadosa ingeniería de vistas específica del dominio.
• Limitaciones: El estudio reconoce que el tokenizador convolucional aún requiere un diseño específico del dataset (tamaño de kernel, salto) y que el corpus sintético Diag sirve como evidencia controlada más que como un proxy directo para toda la transferencia diagnóstica real. El resultado de UCR-128 se basa en una única semilla y el mejor checkpoint, sirviendo como una prueba de existencia más que como una reivindicación definitiva en un ranking.

Código Fuente: Disponible en https://github.com/langotime/lenepa-milets-2026.