🤖 machine learning

NeST: Neighborhood-aware semantic alignment and temporal modulation for LLM based time series forecasting

El artículo propone NeST, un nuevo marco que mejora la previsión de series temporales basada en LLM mediante la generación de prototipos de texto conscientes del vecindario, alineándolos con representaciones temporales a través de aprendizaje contrastivo y aplicando modulación temporal condicionada por prototipos para lograr un rendimiento y una generalización superiores en diversos bancos de pruebas y tareas del mundo real.

Autores originales: Jayanie Bogahawatte, Sachith Seneviratne, Maneesha Perera, Saman Halgamuge

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jayanie Bogahawatte, Sachith Seneviratne, Maneesha Perera, Saman Halgamuge

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Predecir el futuro de los números que cambian con el tiempo es una tarea que moldea la forma en que alimentamos nuestras ciudades, gestionamos nuestras finanzas y nos preparamos para el clima. Durante décadas, los científicos han dependido de herramientas matemáticas especializadas para pronosticar estos patrones, conocidos como series temporales. Estas herramientas funcionan bien cuando los datos se comportan de maneras predecibles, pero a menudo tienen dificultades cuando los patrones son complejos, desordenados o cuando hay muy pocos datos para aprender. En años recientes, ha surgido un nuevo tipo de inteligencia artificial llamada Modelo de Lenguaje Extenso (Large Language Model). Originalmente entrenados para comprender el lenguaje humano, estos modelos son increíblemente buenos detectando patrones en secuencias de palabras. Debido a que los datos de series temporales también son una secuencia, los investigadores han comenzado a intentar enseñar a estos modelos de lenguaje a predecir números en lugar de oraciones. El desafío radica en cerrar la brecha entre las palabras discretas y distintas que conoce un modelo de lenguaje y el flujo suave y continuo de los datos del mundo real, como el uso de electricidad o la temperatura.

Un equipo de investigadores de la Universidad de Melbourne ha desarrollado un nuevo método para resolver este problema, al que llaman el marco NeST. Su enfoque se centra en cómo traducir mejor la comprensión del lenguaje del modelo para guiar la comprensión del tiempo. En lugar de obligar al modelo a simplemente leer una lista de números como si fueran palabras, o utilizar técnicas pesadas que requieren enormes cantidades de potencia de cómputo, NeST crea un conjunto de "prototipos de texto". Piense en estos prototipos como anclas representativas cuidadosamente elegidas que capturan los vecindarios locales de significado dentro del vasto vocabulario del modelo de lenguaje. Los investigadores entrenaron el sistema para asegurar que estas anclas se mantengan fieles a la estructura original del conocimiento del modelo de lenguaje, en lugar de derivar hacia áreas donde el modelo no tiene un entendimiento real.

Una vez establecidos estos anclajes de texto, el sistema los alinea con los datos de series temporales que necesita predecir. Lo hace encontrando las coincidencias más cercanas entre los datos y los anclajes de texto, asegurando que el conocimiento semántico del modelo de lenguaje sea directamente relevante para los patrones en los números. Crucialmente, en lugar de mezclar el texto y los números de una manera que pueda confundir el ritmo interno del modelo, NeST utiliza los anclajes de texto para ajustar suavemente los datos. Escala y desplaza las características numéricas, permitiendo que el modelo de lenguaje aplique su sabiduría aprendida sin interrumpir el ritmo natural de la serie temporal. Este proceso es eficiente, requiriendo cambios en solo una pequeña fracción de la configuración del modelo mientras mantiene intacto el resto de su vasto conocimiento.

Los resultados de este nuevo enfoque son robustos y consistentes a través de una amplia variedad de pruebas. Cuando se probó en estándares de referencia para el pronóstico a largo plazo, como la predicción de la demanda de electricidad o el flujo de tráfico, NeST superó a los mejores métodos actuales, reduciendo los errores de predicción en un promedio de 1.2 por ciento. Esto puede parecer un número pequeño, pero en el mundo de los pronósticos, incluso las mejoras diminutas pueden conducir a ahorros significativos y una mejor toma de decisiones. El método también demostró ser notablemente efectivo cuando los datos eran escasos. En situaciones donde el modelo tenía que aprender de una fracción minúscula de los datos disponibles, o cuando tenía que predecir un nuevo tipo de datos que nunca había visto antes, NeST mantuvo una alta precisión, reduciendo los errores en casi un 5 por ciento en comparación con otros enfoques.

Más allá de las pruebas estándar, los investigadores aplicaron NeST a un desafío del mundo real: pronosticar la producción de energía de paneles solares distribuidos. La generación de energía solar es notoriamente difícil de predecir porque depende de condiciones climáticas fluctuantes y varía entre diferentes ubicaciones. El sistema fue probado en nueve conjuntos de datos diferentes de estaciones solares en diversas áreas geográficas. En cada caso, NeST entregó el mejor desempeño general, mejorando la precisión de las predicciones en un promedio de 3.3 por ciento en comparación con los métodos existentes diseñados específicamente para la energía solar. Esto sugiere que el marco no es solo una mejora teórica, sino una herramienta práctica capaz de manejar la naturaleza desordenada y variable de los sistemas energéticos del mundo real.

El éxito de NeST reside en su capacidad para respetar la naturaleza única tanto del lenguaje como del tiempo. Al preservar las relaciones geométricas dentro del vocabulario del modelo de lenguaje y utilizarlas para guiar los datos numéricos sin forzar una conexión rígida, los investigadores crearon un sistema que es tanto flexible como preciso. Las visualizaciones de su trabajo muestran que su método mantiene los anclajes de texto firmemente arraigados en las regiones densas y significativas del conocimiento del modelo de lenguaje, a diferencia de los métodos anteriores que permitían que estos anclajes derivaran hacia espacios vacíos o irrelevantes. Esta alineación cuidadosa permite al modelo aprovechar su profundo entendimiento de los patrones para realizar mejores predicciones, incluso cuando los datos son ruidosos o incompletos.

En última instancia, este trabajo demuestra que los modelos de lenguaje extensos pueden adaptarse eficazmente para el pronóstico de series temporales sin perder sus fortalezas principales. El marco NeST ofrece una forma de integrar el conocimiento textual en la predicción numérica que es tanto computacionalmente eficiente como altamente precisa. A medida que el mundo genera más datos y enfrenta desafíos de pronóstico más complejos, métodos como este proporcionan un camino confiable hacia adelante, demostrando que las herramientas que usamos para entender el lenguaje también pueden ayudarnos a entender los ritmos del mundo físico. Los hallazgos sugieren que, con el enfoque adecuado, la brecha entre el texto y el tiempo puede cerrarse, conduciendo a predicciones más precisas en campos que van desde la gestión de la energía hasta la planificación económica.

Resumen Técnico: NeST – Alineación Semántica Sensible al Vecindario y Modulación Temporal para la Predicción de Series Temporales Basada en LLM

1. Planteamiento del Problema

Adaptar los Modelos de Lenguaje de Gran Escala (LLM), que han sido preentrenados en datos de texto discretos, para pronosticar señales de series temporales continuas presenta desafíos significativos. Si bien el ajuste fino (fine-tuning) de los LLM permite esta adaptación, los métodos actuales enfrentan tres limitaciones principales:

Integración de Prompts Ineficaz: Los enfoques existentes suelen combinar las modalidades de texto y series temporales mediante una simple concatenación o mecanismos de atención cruzada con exceso de parámetros. Esto crea un acoplamiento rígido que puede interrumpir la estructura temporal intrínseca de los embeddings de las series temporales y ofrece un control limitado sobre cómo los conocimientos previos (priors) semánticos interactúan con las características temporales.
Aprendizaje de Prototipos Subóptimo: Los métodos actuales generan prototipos de texto mediante sondeo lineal (linear probing) o conjuntos predefinidos fijos. Estos enfoques a menudo no logran preservar la estructura geométrica del espacio de embeddings de tokens de palabras preentrenado, lo que resulta en prototipos que pueden situarse fuera del manifold válido del LLM. Esto es particularmente perjudicial en regímenes de pocos ejemplos (few-shot), donde la supervisión limitada puede causar sobreajuste.
Descomposición Temporal Inadecuada: Muchos métodos dependen de técnicas de descomposición (por ejemplo, STL) para aprender los embeddings de las series temporales. Sin embargo, estas técnicas pueden capturar de manera inadecuada las dinámicas temporales complejas y no estacionarias comunes en aplicaciones del mundo real.

2. Metodología: El Marco de Trabajo NeST

Los autores proponen NeST (Neighborhood-aware Semantic Alignment and Temporal Modulation), un marco diseñado para formular un nuevo prompt de serie temporal integrado con texto para el ajuste fino de LLMs. La arquitectura consta de cinco módulos:

Módulo 1: Aprendizaje de Representación de Series Temporales

La serie temporal multivariante de entrada se particiona en canales univariantes. Cada canal se normaliza utilizando la Normalización de Instancia Reversible (RevIN) para mitigar los cambios de distribución. Los datos se dividen luego en parches (ventanas de tiempo locales) utilizando una capa de embedding de parches de serie temporal (convolución 1D) seguida de una capa lineal para generar los embeddings de parches de la serie temporal ( $P^{(i)}$ ) y un embedding de entrada global ( $Z^{(i)}$ ).

Módulo 2: Aprendizaje de Prototipos de Texto Sensible al Vecindario

En lugar de aprender los prototipos únicamente mediante la pérdida de pronóstico, NeST introduce un mecanismo para preservar la geometría semántica del LLM.

Inicialización: Se inicializa un conjunto de prototipos de texto aprendibles ( $E$ ).
Optimización: Los prototipos se optimizan para actuar como centroides de vecindarios locales de los embeddings de tokens de palabras preentrenados ( $W$ ). Esto se logra minimizando el Error Cuadrático Medio (MSE) entre cada token de palabra congelado y su prototipo de texto más cercano. Esto asegura que los prototipos permanezcan dentro de las regiones densas del manifold de embeddings preentrenado, preservando los conocimientos previos semánticos.

Módulo 3: Alineación basada en Aprendizaje Contrastivo de Vecinos Más Cercanos (NNCL)

Para alinear los prototipos de texto aprendidos con las representaciones de las series temporales, NeST emplea un objetivo de Aprendizaje Contrastivo de Vecinos Más Cercanos.

Conjunto de Soporte: Una cola FIFO (First-In-First-Out) ( $Q$ ) mantiene un gran conjunto de prototipos de texto de lotes (batches) anteriores para aproximar la distribución completa.
Objetivo Contrastivo: Para un embedding de serie temporal dado $Z^{(i)}$ , se recuperan los $k$ prototipos de texto más cercanos del conjunto de soporte. Se calcula una pérdida contrastiva ( $L_{NNCL}$ ) para atraer el embedding de la serie temporal hacia estos prototipos de texto relevantes, asegurando que los prototipos sean representativos de las características de la serie temporal.

Módulo 4: Modulación Temporal Condicionada por Prototipos de Texto

Este módulo integra la información semántica en la serie temporal sin alterar la secuencia de tokens ni introducir tokens auxiliares.

Agregación: Los $k$ prototipos de texto recuperados se agregan en un vector de contexto textual global ( $C$ ).
Modulación: Una función de proyección ligera mapea $C$ a parámetros de escala ( $\gamma$ ) y desplazamiento ( $\beta$ ) por característica.
Aplicación: Estos parámetros se aplican a los embeddings de parches de la serie temporal mediante interpolación residual: $P^{(i)*} = \gamma \odot P^{(i)} + \beta$ . Esto escala y desplaza adaptativamente las características temporales basándose en el contexto semántico mientras preserva la estructura temporal intrínseca.

Módulo 5: Ajuste Fino del LLM y Salida

Los embeddings modulados sirven como el prompt de entrada para el LLM. Para mantener el conocimiento previo preentrenado y reducir la carga computacional, NeST congela las capas de atención de cabezal múltiple (multi-head attention) y las capas de alimentación hacia adelante (feed-forward) del LLM. Solo se ajustan los embeddings posicionales y los parámetros de normalización de capa (layer normalization). La salida del LLM se aplana y se pasa a través de una capa lineal para generar el pronóstico final.

Pérdida Total: El objetivo de optimización combina la pérdida de pronóstico ( $L_{forecast}$ ), la pérdida de aprendizaje de prototipos ( $L_{proto}$ ) y la pérdida de alineación contrastiva ( $L_{NNCL}$ ), ponderadas por un hiperparámetro $\lambda$ .

3. Contribuciones Clave

Aprendizaje de Prototipos de Texto Sensible al Vecindario: Un mecanismo que aprende prototipos de texto preservando explícitamente la estructura de vecindad local dentro del espacio de embeddings de tokens de palabras del LLM preentrenado, actuando como anclas representativas de regiones semánticas.
Alineación Cross-modal basada en NNCL: La introducción de un objetivo de Aprendizaje Contrastivo de Vecinos Más Cercanos para alinear los prototipos de texto aprendidos con las representaciones de series temporales, utilizando un conjunto de soporte para mejorar la robustez en escenarios de pocos ejemplos (few-shot).
Modulación Temporal Condicionada por Prototipo: Un mecanismo de condicionamiento por característica que inyecta semántica textual en las representaciones de series temporales mediante escalado y desplazamiento adaptativo, evitando el acoplamiento rígido y el costo computacional de la concatenación de tokens o la atención cruzada.
Evaluación Empírica Exhaustiva: Demostró un rendimiento de vanguardia (SOTA) en benchmarks de pronóstico de largo plazo, corto plazo, pocos ejemplos y cero ejemplos.
Validación en el Mundo Real: Aplicación exitosa al pronóstico de potencia fotovoltaica (PV) distribuida en nueve conjuntos de datos, demostrando robustez en escenarios de integración de energías renovables.

4. Resultados Experimentales

Los autores evaluaron NeST en siete conjuntos de datos de referencia para pronóstico de largo plazo (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Traffic y ECL), el benchmark M4 para pronóstico de corto plazo y nueve conjuntos de datos de PV del mundo real.

Pronóstico de Largo Plazo: NeST logró una reducción promedio del 1.2% en el MSE en comparación con los segundos mejores métodos SOTA en los siete benchmarks de pronóstico de largo plazo. Superó consistentemente a baselines como S2TS-LLM, Time-LLM y PatchTST.
Pronóstico de Pocos Ejemplos (Few-shot): Utilizando solo el 10% de los datos de entrenamiento, NeST mostró un fuerte rendimiento, logrando los mejores resultados en tres de los cuatro conjuntos de datos ETT y demostrando robustez en condiciones de escasez de datos.
Pronóstico de Cero Ejemplos (Zero-shot): En configuraciones de transferencia de dominio (entrenamiento en un conjunto de datos, prueba en otro), NeST superó a los baselines existentes en siete de ocho escenarios de transferencia, con reducciones de MSE que oscilan entre el 1.9% y el 11.5% dependiendo del par de transferencia.
Pronóstico de Corto Plazo (Benchmark M4): NeST logró el mejor SMAPE (11.940) y MASE (1.607) entre los métodos comparados, mostrando un rendimiento competitivo en diversos intervalos de muestreo.
Pronóstico de PV en el Mundo Real: En conjuntos de datos de potencia PV distribuida, NeST mejoró el puntaje $R^2$ promedio en un 4.9% en el primer conjunto de datos (cinco estaciones) en comparación con el segundo mejor método (un enfoque basado en LLM diseñado específicamente para el pronóstico de PV) y en un 1.2% en el segundo conjunto de datos (cuatro estaciones).
Estudios de Ablación: Los experimentos confirmaron que cada componente (aprendizaje sensible al vecindario, NNCL y modulación temporal) contribuye positivamente al rendimiento, observándose las ganancias más significativas en los escenarios de pocos ejemplos.
Visualización: Las visualizaciones de UMAP confirmaron que los prototipos de NeST permanecen dentro de las regiones densas del manifold de tokens preentrenado, a diferencia de los métodos de sondeo lineal que producen estructuras aisladas.

5. Significación y Reivindicaciones

El artículo afirma que NeST aborda la brecha crítica de integrar eficazmente las modalidades de texto y series temporales para el pronóstico basado en LLM. Al preservar la geometría semántica del LLM y utilizar una estrategia de modulación eficiente en parámetros, NeST ofrece un marco generalizable que:

Mejora la Generalización: Demuestra fuertes capacidades de cero ejemplos (zero-shot) y pocos ejemplos (few-shot), cruciales para escenarios con datos etiquetados limitados.
Mantiene la Integridad Temporal: Evita la interrupción de la estructura temporal intrínseca de los datos de series temporales mediante la concatenación rígida de tokens.
Ofrece Utilidad Práctica: Demuestra ser efectivo no solo en los benchmarks académicos estándar, sino también en tareas complejas de pronóstico de energía renovable del mundo real que involucran datos no estacionarios y variables.

Los autores posicionan a NeST como un marco robusto y práctico para adaptar los LLM a diversas tareas de pronóstico de series temporales sin requerir modificaciones arquitectónicas extensas o mecanismos de atención computacionalmente costosos.