🤖 machine learning

OATS: Online Data Augmentation for Time Series Foundation Models

El artículo propone OATS, un marco de aumento de datos en línea basado en principios que genera dinámicamente datos de series temporales sintéticos de alta calidad adaptados a etapas de entrenamiento específicas mediante modelos de difusión y un mecanismo de exploración-explotación, superando significativamente a las líneas base de aumento estático en la mejora de los Modelos Fundacionales de Series Temporales.

Autores originales: Junwei Deng, Chang Xu, Jiaqi W. Ma, Ming Jin, Chenghao Liu, Xu Zhang, Li Zhao, Jiang Bian

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Junwei Deng, Chang Xu, Jiaqi W. Ma, Ming Jin, Chenghao Liu, Xu Zhang, Li Zhao, Jiang Bian

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a predecir el futuro, como adivinar el clima de mañana o el consumo de electricidad del próximo mes. Para lograr esto, el robot necesita estudiar cantidades masivas de historia, pero los datos del mundo real son desordenados. Tienen huecos, son inconsistentes y, a veces, simplemente no hay suficientes. En el mundo de la informática, esto se llama "Series Temporales", y los robots que construimos para entenderlas se llaman "Modelos Fundacionales". Para ayudar a estos robots a aprender mejor, los científicos suelen utilizar un truco llamado "Aumento de Datos". Piensa en esto como una clase de cocina donde el profesor no solo te da la receta original; también te entrega un montón de ingredientes falsos y creados artificialmente que parecen y saben justo como los reales, para que puedas practicar más.

Durante mucho tiempo, la forma en que los científicos creaban estos ingredientes falsos fue un poco como usar un cortador de galletas. Tomaban una pieza real de datos y le aplicaban una regla simple y estática —como agitarla un poco (añadir ruido) o mezclarla con otra pieza (combinación). Era un enfoque de "talla única": se usaba el mismo cortador de galletas para cada uno de los pasos del entrenamiento del robot, sin importar cuánto hubiera aprendido ya el robot. Pero, ¿qué pasaría si el robot necesitara diferentes tipos de práctica en diferentes momentos? ¿Qué pasaría si los "mejores" datos falsos cambian a medida que el robot se vuelve más inteligente? Este artículo plantea una gran pregunta: ¿Podemos dejar de usar el cortador de galletas y empezar a hornear datos de práctica frescos y hechos a medida para cada momento del entrenamiento del robot?

Los autores de este artículo dicen que "sí" e introducen un nuevo método llamado OATS (Aumento de Datos en Línea para Modelos Fundacionales de Series Temporales). En lugar de usar una regla estática, OATS actúa como un entrenador altamente atento que observa al robot aprender en tiempo real. Así es como funciona:

Primero, el entrenador necesita saber qué problemas de práctica son realmente útiles. OATS utiliza un ingenioso sistema de puntuación llamado "Puntuaciones de Influencia de Series Temporales". Imagina que el robot está tomando un examen. El entrenador observa cada uno de los problemas de práctica y se pregunta: "¿Si hago que el robot resuelva este problema específico ahora mismo, mejorará en el examen final?". Si un problema ayuda al robot a mejorar, recibe una puntuación alta. Estos problemas de alta puntuación se convierten en las "señales guía".

A continuación, el entrenador utiliza estas señales para hornear nuevos datos sintéticos. En lugar de solo copiar y pegar, OATS utiliza una herramienta sofisticada llamada modelo de difusión. Piensa en esto como un artista mágico. El entrenador le entrega al artista los "mejores" problemas de práctica (las señales guía) y le dice: "Crea algo nuevo que se sienta exactamente como estos, pero que sea único". El artista genera entonces datos de series temporales realistas y completamente nuevos que encajan perfectamente con lo que el robot necesita aprender en ese momento exacto.

Sin embargo, verificar cada uno de los problemas de práctica para ver si es útil requiere mucho tiempo y energía. Para resolver esto, OATS utiliza una estrategia llamada Explorar-Explotar (Explore-Exploit).

Explorar: A veces, el entrenador se detiene y revisa un nuevo lote de problemas para ver si hay nuevas joyas ocultas que se haya pasado por alto. Esto es minucioso pero lento.
Explotar: Otras veces, el entrenador recuerda los problemas de alta puntuación que encontró anteriormente y los utiliza para generar nuevos datos de inmediato. Esto es rápido y eficiente.
OATS cambia inteligentemente entre estos dos modos, equilibrando la necesidad de encontrar nueva información con la necesidad de ahorrar tiempo.

El artículo probó esta idea en seis conjuntos de datos del mundo real diferentes, incluyendo el uso de electricidad y patrones climáticos, utilizando dos tipos diferentes de arquitecturas de robot. Los resultados mostraron que OATS se desempeñó consistentemente mejor que tanto el método de entrenamiento estándar (sin datos adicionales) como los antiguos métodos de "cortador de galletas" (como TSMixup o Jitter). De hecho, OATS ayudó a los robots a aprender más rápido y a realizar predicciones más precisas. Los autores descubrieron que, si bien revisar cada uno de los problemas (siempre "explorando") era lo más minucioso, no siempre era lo mejor; incluir pasos de "explotación" (usando puntuaciones almacenadas en caché) ahorró una enorme cantidad de potencia de cómputo sin perjudicar los resultados.

En resumen, OATS sugiere que la mejor manera de entrenar a estos poderosos robots de series temporales no es lanzarles datos falsos aleatorios, sino curar y generar cuidadosamente datos de práctica de alta calidad y hechos a medida que evolucionan junto con el viaje de aprendizaje del robot. Convierte el proceso de entrenamiento de un ejercicio estático en una conversación dinámica y receptiva entre los datos y el modelo.

Resumen Técnico: OATS (Aumento de Datos en Línea para Modelos Fundacionales de Series Temporales)

Planteamiento del Problema

Los Modelos Fundacionales de Series Temporales (TSFMs) han avanzado en el campo al permitir el aprendizaje entre dominios y la generalización zero-shot mediante conjuntos de datos a gran escala. Sin embargo, su eficacia se ve limitada por problemas de calidad de datos prevalentes en las series temporales, tales como valores faltantes, tasas de muestreo heterogéneas, distribuciones de dominio desequilibradas y duplicación de datos. Si bien el aumento de datos sintéticos es una estrategia ampliamente adoptada para mitigar la escasez de datos y mejorar la robustez, los métodos existentes sufren de dos limitaciones primarias:

Dependencia de Heurísticas: Los enfoques actuales dependen de patrones diseñados manualmente (p. ej., ondas sinusoidales, series descompuestas) o transformaciones estáticas (p. ej., jittering, TSMixup). Estas heurísticas suelen ser ajenas a la tarea y pueden fallar al generalizar a través de diferentes tareas de series temporales.
Paradigma Estático: Las estrategias de aumento existentes generan datos sintéticos una sola vez y los incorporan uniformemente durante todo el proceso de entrenamiento. Esto ignora la naturaleza dinámica del entrenamiento del modelo, donde el valor y la utilidad de muestras de datos específicas varían a través de diferentes etapas de entrenamiento.

Metodología: OATS

Los autores proponen OATS (Online Data Augmentation for Time Series Foundation Models), una estrategia de principios que genera dinámicamente datos sintéticos adaptados a pasos de entrenamiento específicos. OATS opera a través de tres módulos centrales:

1. Puntuaciones de Influencia de Series Temporales (TSIS)

Para abordar la falta de métricas de calidad con principios para los datos sintéticos, OATS utiliza la atribución de datos para cuantificar la influencia de muestras de entrenamiento individuales en el rendimiento del modelo.

Mecanismo: Para un paso de entrenamiento dado $t$ con parámetros del modelo $w_t$ , la función TSIS $F_{D_{ref}}$ estima la puntuación de atribución de datos de una muestra $z_i$ con respecto a un conjunto de datos de referencia $D_{ref}$ .
Formulación: La puntuación se deriva de una aproximación de Taylor de primer orden del cambio en la pérdida de referencia. Combina la puntuación de influencia (alineación de gradientes entre la muestra y el conjunto de referencia) con indicadores de calidad específicos de series temporales, específicamente un umbral de Relación Señal-Ruido (SNR).
Salida: Se identifican las muestras con altas puntuaciones TSIS como "valiosas" y sirven como señales rectoras para la generación.

2. Generación de Datos Guiada por Alta Calidad

En lugar de simplemente sobremuestrear instancias de alta puntuación, OATS las utiliza como señales de condicionamiento para generar datos sintéticos diversos y realistas.

Arquitectura: Se emplea un modelo basado en difusión, condicionado en las muestras de alta calidad seleccionadas ( $H_t$ ).
Condicionamiento: El modelo incorpora un módulo de Prototipo Semántico de Serie Temporal y guía condicional de clase basada en metadatos de subconjuntos (p. ej., dominio o fuente). El proceso de generación modela la distribución condicional $p(\hat{z}|H_t)$ , sintetizando nuevas muestras que capturan patrones temporales diversos mientras se adhieren a las características de las guías de alta calidad.

3. Mecanismo de Exploración-Explotación (Explore-Exploit)

Calcular el TSIS para todo el conjunto de datos en cada paso es computacionalmente prohibitivo. OATS introduce un mecanismo de Exploración-Explotación para equilibrar la eficiencia computacional con la calidad de los datos.

Pasos de Exploración (Explore): El sistema muestrea estocásticamente nuevos lotes para calcular nuevos valores de TSIS, actualizando un caché dinámico ( $\Phi_{D_l}$ ) para cada subconjunto de datos mediante una media móvil exponencial. Esto permite que el sistema se adapte a los cambios en la dinámica del modelo.
Pasos de Explotación (Exploit): El sistema aprovecha los valores de TSIS almacenados en caché para muestrear lotes de alta calidad directamente, evitando el recálculo costoso de las puntuaciones de influencia.
Control: Una estrategia $\epsilon$ -greedy determina si un paso es de "exploración" o de "explotación", equilibrando el descubrimiento de nuevos datos de alto valor frente a la eficiencia del uso de datos de alto valor conocidos.

Contribuciones Clave

Paradigma de Aumento de Datos en Línea: El artículo propone un cambio de un aumento estático a uno en línea, donde los datos sintéticos se generan dinámicamente según el estado actual del proceso de entrenamiento.
Estrategia con Principios (OATS): Un marco novedoso que integra la atribución de datos (TSIS) con la generación basada en difusión. Utiliza muestras de alta influencia como señales rectoras para producir datos sintéticos que son tanto de alta calidad como diversos.
Mecanismo de Eficiencia: La introducción de un mecanismo de exploración-explotación que reduce significativamente la sobrecarga computacional manteniendo la capacidad de adaptarse a las dinámicas de entrenamiento.
Validación Empírica: Evaluación exhaustiva a través de seis conjuntos de datos (ETTm1, EMMm2, ETTh1, ETTh2, Weather, Electricity) y dos arquitecturas de TSFM (Transformers de solo codificador y de solo decodificador).

Resultados Experimentales

Los autores evaluaron OATS frente al entrenamiento regular y dos métodos de aumento de referencia: TSMixup (suma ponderada de muestras existentes) y Jitter (añadir ruido gaussiano).

Rendimiento: OATS superó consistentemente tanto al entrenamiento regular como a los métodos de aumento de referencia en casi todos los conjuntos de datos y métricas (Error Porcentual Absoluto Normalizado - MAPE, y Log-Verosimilitud Negativa - NLL).
Robustez: OATS logró los mejores resultados en cinco de los seis conjuntos de datos (ETTm1, EMMm2, ETTh2, Weather, Electricity) para ambas arquitecturas de modelos.
Convergencia: Las curvas de pérdida de prueba indicaron que OATS logró una reducción más rápida de la NLL en comparación con los baselines.
Sensibilidad a Hiperparámetros: Los experimentos variando la relación de exploración-explotación ( $\epsilon$ ) mostraron que una configuración de $\epsilon=1$ (exploración pura) no siempre era óptima, lo que sugiere que aprovechar los valores en caché (explotación) es crucial para la eficiencia. Sin embargo, OATS superó al entrenamiento regular independientemente de la configuración de $\epsilon$ .

Significancia y Reivindicaciones

El artículo afirma que OATS ofrece un enfoque con principios para el aumento de datos dinámico, yendo más allá de las limitaciones de los métodos estáticos impulsados por heurísticas. Al cuantificar la calidad de los datos mediante puntuaciones de influencia y adaptar la generación a la etapa de entrenamiento, OATS aborda el desafío crítico de la escasez y calidad de datos en los TSFMs. Los autores aseguran que este método no solo mejora el rendimiento del modelo, sino que también proporciona un marco escalable para entrenar modelos fundacionales en series temporales complejas del mundo real. El código se pone a disposición para facilitar investigaciones adicionales en este dominio.