🤖 machine learning

ConceptTS: LLM-Guided Concept Bottlenecks for Interpretable Multivariate Time-Series Forecasting

ConceptTS es un marco de trabajo de pronóstico de series temporales multivariantes interpretable que aprovecha los modelos de lenguaje de gran tamaño para generar y supervisar automáticamente conceptos con nombre y legibles por humanos organizados en tres cuellos de botella complementarios, logrando una precisión competitiva al tiempo que proporciona predicciones transparentes y listas para la intervención.

Autores originales: Yichen Jiang, Yueqiao Chen, Dongyu Liu

Publicado 2026-08-24

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yichen Jiang, Yueqiao Chen, Dongyu Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la ciencia de datos, las máquinas se han vuelto notablemente buenas observando el pasado para adivinar el futuro. Cuando una computadora observa un flujo de números —como los cambios en los niveles de contaminación del aire, las fluctuaciones en el precio de la electricidad o el cambio en la frecuencia cardíaca de un paciente—, a menudo puede predecir qué vendrá después con una precisión sorprendente. Estos sistemas son poderosos porque pueden detectar patrones complejos que los humanos podrían pasar por alto, entrelazando docenas de variables diferentes que cambian con el tiempo. Sin embargo, hay un inconveniente significativo: estas potentes máquinas suelen ser opacas. Producen una predicción, pero no explican el porqué. Es como pedirle a un pronosticador del tiempo que advierta sobre una tormenta, y que este simplemente señale un número sin decirle si el peligro proviene de vientos fuertes, lluvia intensa o una caída repentina de la presión. En situaciones de alto riesgo, como la gestión de la calidad del aire de una ciudad o el monitoreo de la salud de un paciente, saber el "porqué" es tan importante como saber el "qué". Los profesionales necesitan comprender el razonamiento detrás de un pronóstico para confiar en él, para detectar posibles errores y para saber cómo intervenir si las cosas salen mal.

Este es el desafío que un nuevo enfoque llamado ConceptTS pretende resolver. Los investigadores han desarrollado un sistema que obliga a un modelo de aprendizaje automático a pensar en ideas legibles para los humanos en lugar de solo en números abstractos. En lugar de permitir que la computadora trabaje en una "caja negra", este nuevo marco pide al modelo que identifique conceptos específicos y con nombre que describan lo que está sucediendo en los datos. Por ejemplo, en lugar de simplemente procesar números, el modelo podría reconocer que la velocidad del viento está aumentando, que la temperatura está bajando o que un contaminante específico se está comportando de una manera que usualmente precede a un pico de contaminación. Para hacer esto posible sin requerir que los humanos etiqueten manualmente cada uno de los momentos en los datos, los investigadores utilizaron un modelo de lenguaje de gran tamaño —un tipo avanzado de inteligencia artificial entrenada en vastas cantidades de texto— para actuar como guía. Este modelo de lenguaje lee el historial de los datos y sugiere conceptos relevantes, y luego escribe un conjunto de reglas que el sistema de pronóstico puede seguir para verificar si esos conceptos están presentes.

El sistema organiza estas ideas en tres capas distintas para construir una imagen completa. Primero, observa el pasado reciente para entender el contexto, haciendo preguntas como: "¿Fue el aire generalmente cálido o frío en las horas prevlias a este momento?". Segundo, divide el pronóstico futuro en pequeños fragmentos, verificando detalles locales como: "¿Está aumentando la velocidad del viento en esta hora específica?". Finalmente, observa todo el período del pronóstico para detectar tendencias de gran escala, tales como: "¿Es probable que todo el día venidero presente cambios extremos de temperatura?". Al obligar al modelo a predecir la activación de estos conceptos específicos antes de realizar su predicción final, los investigadores crean un camino transparente. El modelo debe primero decidir qué conceptos están activos, y luego utiliza esas decisiones para generar el pronóstico. Esto significa que, si el modelo predice un pico de contaminación, un humano puede mirar los conceptos y ver que el modelo estaba reaccionando a una combinación de baja velocidad del viento y alta humedad, en lugar de adivinar ciegamente.

Para probar esta idea, los investigadores aplicaron su sistema a datos del mundo real de Beijing, utilizando mediciones de calidad del aire de tres estaciones de monitoreo durante varios años. Se centraron en predecir la concentración de PM2.5, un contaminante de partículas finas que representa graves riesgos para la salud. Los resultados mostraron que el sistema podía predecir la calidad del aire futura con la misma precisión que los modelos opacos más avanzados disponibles actualmente. De hecho, en uno de los sitios de prueba, el nuevo sistema logró un error promedio de solo 12.71 microgramos por metro cúbico, una cifra que igualó o superó a varias otras herramientas de pronóstico de alto nivel. Más importante aún, el sistema proporcionó una ventana clara a su propio pensamiento. Cuando los investigadores examinaron los conceptos que el modelo activó, encontraron que la máquina estaba identificando correctamente condiciones del mundo real, como bloques invernales fríos y secos o períodos donde la velocidad del viento y los niveles de contaminación se movían en direcciones opuestas.

El poder de este enfoque se demostró aún más a través de una serie de experimentos donde los investigadores interfirieron deliberadamente con el pensamiento del modelo. En una prueba, tomaron las predicciones del modelo y lo obligaron a usar exactamente lo opuesto a los conceptos correctos. En lugar de decirle al modelo que el viento estaba calmado, le dijeron que el viento soplaba fuerte, incluso cuando los datos mostraban lo contrario. Este simple cambio causó que las predicciones del modelo colapsaran, con la tasa de error saltando de un manejable 15.37 a un masivo 99.66. Este fallo dramático demostró que el modelo no estaba usando los conceptos simplemente como una nota al margen; estaba dependiendo de ellos como el motor principal para sus predicciones. El sistema realmente estaba usando las ideas legibles para humanos para realizar su trabajo.

Los investigadores también exploraron cuánto podían intercambiar entre la precisión y la transparencia. Descubrieron que, al ajustar un ajuste específico, podían hacer que el modelo dependiera más fuertemente de los conceptos, incluso si eso significaba que las predicciones se volvieran ligeramente menos precisas. Esta flexibilidad es valiosa porque permite a los usuarios elegir cuánto quieren ver dentro de la máquina. En algunos casos, una ligera caída en la precisión puede valer la pena por la ganancia en comprensión, especialmente cuando el objetivo es aprender de los datos o explicar una decisión a una audiencia humana. El sistema también mostró que podía aprender relaciones complejas, como el hecho de que cuando la velocidad del viento permanece cerca de cero durante mucho tiempo, los niveles de contaminación tienden a aumentar, y a medida que el viento aumenta, la contaminación se despeja. El modelo aprendió este patrón y pudo explicarlo en lenguaje sencillo, algo que los modelos tradicionales de caja negra no pueden hacer.

En última instancia, este trabajo representa un cambio en la forma en que construimos sistemas inteligentes para el futuro. Se aleja de la idea de que debemos sacrificar la comprensión en favor de la precisión. Al utilizar un modelo de lenguaje para generar las reglas y los conceptos automáticamente, los investigadores eliminaron la pesada carga del etiquetado manual que usualmente hace imposible este tipo de transparencia. El sistema no necesita que un humano se siente a etiquetar cada hora de datos; aprende a reconocer los patrones por sí mismo, guiado por las sugerencias del modelo de lenguaje. El resultado es una herramienta de pronóstico que es tanto poderosa como honesta, capaz de realizar predicciones precisas mientras explica su razonamiento en términos que un humano puede entender. Esto abre la puerta al uso de inteligencia artificial avanzada en campos donde la confianza y la claridad son esenciales, asegurando que, cuando una máquina predice el futuro, sepamos exactamente por qué piensa de esa manera.

Resumen Técnico: ConceptTS

Declaración del Problema

Los modelos de pronóstico de series temporales multivariantes, particularmente las arquitecturas modernas como los Transformers y las CNN, logran una alta precisión al capturar dependencias temporales y transversales complejas. Sin embargo, sufren de una falta de interpretabilidad; sus representaciones internas son opacas, ofreciendo poca información sobre las condiciones temporales específicas o las interacciones entre variables que impulsan una predicción. Esta opacidad es una barrera crítica en dominios de alto riesgo (por ejemplo, atención médica, monitoreo ambiental) donde los profesionales deben comprender los modos de falla y evaluar la plausibilidad de la evidencia antes de confiar en un pronóstico. Los métodos de interpretabilidad existentes, como los mapas de prominencia (saliency maps) post-hoc o el razonamiento basado en prototipos, a menudo no logran proporcionar evidencia semánticamente explícita y con nombre que pueda ser inspeccionada o intervenida directamente sin incurrir en costos prohibitivos de anotación manual.

Metodología: ConceptTS

ConceptTS es un marco de pronóstico interpretable que organiza las predicciones en torno a conceptos con nombre y legibles por humanos. Cierra la brecha entre la precisión de los modelos de caja negra y la transparencia de los modelos basados en conceptos mediante el aprovechamiento de Modelos de Lenguaje de Gran Escala (LLMs) para la construcción y supervisión automatizada de conceptos.

1. Construcción de Conceptos Guiada por LLM

En lugar de depender de la anotación manual de expertos, ConceptTS emplea un LLM fuera de línea para generar todo el flujo de trabajo de conceptos:

Entrada: El LLM recibe estadísticas del conjunto de datos, descripciones de canales y perfiles de agrupamiento (clusters) derivados de los datos de entrenamiento (por ejemplo, medias, pendientes, periodos derivados de FFT, correlaciones).
Salida: El LLM propone tres conjuntos distintos de conceptos, cada uno emparejado con un predicado de Python ejecutable:
- Conceptos de Look-back (Mirada hacia atrás): Describen patrones semánticos en la ventana histórica (por ejemplo, "¿está lloviendo en el historial?").
- Conceptos de Sub-ventana de Pronóstico: Capturan detalles locales finos dentro de intervalos específicos del horizonte de pronóstico (por ejemplo, "¿está aumentando la velocidad del viento?").
- Conceptos Globales de Pronóstico: Describen tendencias macro sobre todo el horizonte de pronóstico (por ejemplo, "¿hay un cambio extremo de temperatura?").
Etiquetado: Los predicados ejecutables etiquetan automáticamente cada segmento de entrenamiento, generando activaciones de conceptos de verdad fundamental binaria ( $y_i \in \{0, 1\}$ ) sin necesidad de más llamadas al LLM durante el entrenamiento.

2. Arquitectura

El modelo sigue un diseño de codificador-decodificador que preserva la estructura con Cuellos de Botella de Incrustación de Conceptos (CEM) paralelos:

Codificador: Utiliza una arquitectura de estilo ModernTCN con incrustaciones independientes de la variable y convoluciones de profundidad de kernel grande para preservar la identidad del canal y capturar un contexto temporal amplio. Dos codificadores paralelos procesan la ventana de look-back y el horizonte de pronóstico (en configuraciones con conocimiento del futuro) por separado para mantener una barrera de información.
Cuellos de Botella de Conceptos: Tres módulos CEM paralelos procesan las salidas del codificador:
- Look-back CEM: Resume el contexto histórico.
- CEMs de Sub-ventana: $N_{sw}$ módulos capturan patrones locales para cada sub-ventana de pronóstico.
- Global Forecast CEM: Captura tendencias macro.
- Mecanismo: Cada módulo utiliza el agrupamiento ponderado por atención para generar vectores de contexto. Emplea una estructura de Modelo de Incrustación de Conceptos (CEM) donde los conceptos tienen incrustaciones estáticas aprendidas para los estados activos ( $e^+_c$ ) e inactivos ( $e^-_c$ ). El contexto de concepto final es una mezcla ponderada basada en la probabilidad de activación predicha $p_c(z)$ .
Decodificador: Un sub-decodificador residual compartido construye el pronóstico final. Concatena:
- Vectores de contexto de concepto de los tres tipos de cuello de botella.
- Incrustaciones posicionales.
- Un canal residual regularizado: Un canal estrecho de derivación que transporta información de magnitud continua no capturada totalmente por los conceptos discretos. Este canal se regulariza para controlar el compromiso entre precisión e interpretabilidad.

3. Objetivo de Entrenamiento

El modelo se entrena de extremo a extremo con una función de pérdida híbrida:

Pérdida de Pronóstico: Pérdida L1 sobre la variable objetivo.
Supervisión de Conceptos: Pérdidas de Entropía Cruzada Binaria (BCE) que obligan a las activaciones predichas a coincidir con las etiquetas derivadas del LLM para los tres conjuntos de conceptos.
Regularización: Incluye penalizaciones de suavidad de frontera, un piso de varianza para prevenir el colapso de conceptos y un regularizador L2 en el canal residual ( $\alpha_{residual}$ ) para forzar la dependencia en la vía de los conceptos.

Contribuciones Clave

Construcción de Conceptos Guiada por LLM: Un flujo de trabajo que convierte el contexto del dominio y los resúmenes del conjunto de datos en conceptos temporales con nombre y reglas de etiquetado ejecutables, eliminando la necesidad de anotación manual por segmento.
Arquitectura Multiescala Lista para Intervención: Un diseño novedoso que organiza los conceptos a través de alcances históricos, locales y globales. La arquitectura preserva la estructura temporal/variable mientras limita la fuga de información alrededor de los cuellos de botella, permitiendo la intervención directa a nivel de concepto.
Evaluación Exhaustiva: Experimentos en el conjunto de datos de Calidad del Aire de Beijing demuestran que ConceptTS logra una precisión competitiva con los fuertes modelos base de caja negra, proporcionando activaciones de conceptos semánticamente significativas.

Resultados Experimentales

El modelo fue evaluado en el conjunto de datos de Calidad del Aire de múltiples sitios de Beijing (objetivo PM2.5) en tres sitios de monitoreo (Aotizhongxin, Dingling, Tiantan) bajo dos configuraciones:

Con conocimiento del futuro (Future-Aware): Las características exógenas (covariables) son conocidas para el horizonte de pronóstico.
Solo con mirada hacia atrás (Look-back-Only): Solo se dispone de datos históricos.

Desempeño:

En la configuración con conocimiento del futuro, ConceptTS logró un MAE de 12.71 µg/m³ (Aotizhongxin), superando a Informer (28.62), DeepAR (13.97) y NHiT (16.94), y equiparándose con modelos de vanguardia como XGBoost (12.34) y TFT (12.44).
En la configuración solo con mirada hacia atrás, ConceptTS logró un MAE de 55.59 µg/m³, superando a TimeXer (57.43) e iTransformer (59.16), y manteniéndose competitivo con los mejores modelos base (dentro de ~0.55–0.81 µg/m³ de los mejores exponentes).

Interpretabilidad y Ablación:

Dependencia de Conceptos: Reemplazar las activaciones de conceptos predichas con las etiquetas de verdad fundamental invertidas causó que el MAE de prueba degradara de 15.371 a 99.661, proporcionando evidencia directa de que el decodificador depende fuertmente del canal de activación de conceptos.
Compromiso Precisión-Interpretabilidad: Ajustar el peso del canal residual ( $\alpha_{residual}$ ) permitió un compromiso controlado. Pesos más bajos mejoraron la precisión pero redujeron la dependencia de los conceptos; pesos más altos forzaron al modelo a dirigir las predicciones a través de los cuellos de botella de conceptos, donde las predicciones basadas solo en conceptos aún capturaban las formas macro/micro correctas de la verdad fundamental.
Intervención: Los barridos contrafácticos (por ejemplo, cambiar "is calm block" de 0 a 1) mostraron que aumentar la activación de los conceptos de aire en calma elevaba consistentemente los niveles de contaminación predichos, alineándose con la intuición física.

Significancia

El artículo afirma que ConceptTS aborda la necesidad crítica de pronósticos de series temporales multivariantes transparentes sin sacrificar el rendimiento predictivo. Al automatizar el descubrimiento de conceptos semánticamente explícitos mediante LLMs, supera el cuello de botella de la anotación de los modelos tradicionales de Cuello de Botella de Conceptos (CBM). El marco proporciona un vocabulario semántico estable para inspeccionar el razonamiento del modelo y permite intervenciones directas, lo que lo hace adecuado para aplicaciones de alto riesgo donde entender el "por qué" detrás de un pronóstico es tan importante como el pronóstico mismo. Los autores señalan que, aunque el modelo maneja bien los pasos de tiempo típicos, es ligeramente menos sensible a los picos extremos de contaminación en comparación con algunos modelos base, una limitación identificada para trabajos futuros.