Resumen Técnico: El Preentrenamiento de LLM Moldea una Variedad Generalizable

Declaración del Problema

El artículo investiga el mecanismo detrás de la transferencia cruzada de modelos de lenguaje grandes (LLM) hacia la predicción de series temporales. Si bien estudios recientes han demostrado que los LLM pueden adaptarse para tareas de series temporales, los resultados empíricos sobre la fuente de este beneficio siguen siendo contradictorios. Algunas literaturas atribuyen las ganancias de rendimiento a sesgos arquitectónicos o efectos de tokenización en lugar de las representaciones preentrenadas en sí mismas, mientras que otras observan mejoras significativas en regímenes de bajos datos o de cambio de distribución. La pregunta central abordada es: ¿Se convierten los transformadores preentrenados en lenguaje en predictores de series temporales efectivos porque aprenden estructuras secuenciales reutilizables, o es la transferencia meramente semántica?

Metodología

Los autores reutilizan Qwen3-0.6B, un modelo de lenguaje de 0.6 mil millones de parámetros, como predictor probabilístico de series temporales. La configuración experimental implica:

• Tokenización: Los valores continuos de series temporales se normalizan y discretizan en $V=1024$ contenedores uniformes sobre el rango $[-5, 5]$. Estos contenedores se mapean al vocabulario del modelo.
• Objetivo de Entrenamiento: El modelo se entrena utilizando un paradigma de predicción del siguiente token con una pérdida de cuantil ponderada (pérdida pinball) sobre niveles de cuantil $Q = \{0.1, \dots, 0.9\}$, siguiendo el enfoque de Chronos Bolt.
• Estrategias de Adaptación: El estudio compara cuatro regímenes en la referencia GiftEval:
  1. Ajuste Fino Completo (todos los parámetros actualizados).
  2. Solo E/S (esqueleto congelado, cabezas de entrada/salida entrenables).
  3. LoRA Attn (adaptadores LoRA solo en proyecciones de atención).
  4. LoRA Attn+E/S (LoRA en atención más E/S entrenables).
• Líneas Base Comparativas: Todas las estrategias se prueban contra modelos con inicialización aleatoria (RandInit) y contra líneas base establecidas de series temporales (variantes de Chronos, ARIMA).

Contribuciones y Hallazgos Clave

1. La Hipótesis de la Variedad Compartida

El artículo propone que el preentrenamiento en lenguaje construye una variedad temporal reutilizable en lugar de solo conocimiento semántico. Esto se evidencia mediante tres experimentos principales:

• Sondeo Lineal sin Supervisión: Un sondeo lineal simple entrenado sobre estados ocultos congelados de LLM (utilizando solo entradas de WikiText) puede decodificar trayectorias de series temporales realistas. Cuando se empareja mediante vecino más cercano con un banco de 10.000 series temporales reales, el modelo preentrenado produce salidas diversas y estructuradas (MSE 0.23–0.38). Crucialmente, esta estructura colapsa al usar pesos aleatorios o tokens aleatorios, demostrando que la combinación de pesos preentrenados y texto significativo es necesaria para acceder a la variedad.
• Predicción Basada en Recuperación: Una proyección recuperada de la variedad preentrenada basada en la primera mitad de una serie temporal puede predecir la segunda mitad con menor error (MSE 1.91) que una línea base ingenua de transporte del último valor (MSE 2.27). Esto sugiere que la variedad contiene señales de continuación predictiva antes de que ocurra cualquier ajuste fino de series temporales.
• Coherencia de Gradientes: Los modelos preentrenados exhiben una alta alineación de gradientes (similitud coseno media por pares) desde el primer paso del ajuste fino. En contraste, los modelos inicializados aleatoriamente experimentan una fase de "calentamiento" con alineación cercana a cero hasta el paso 64–256, después de lo cual los gradientes se vuelven coherentes. Esto indica que el preentrenamiento proporciona un paisaje de optimización favorable con gradientes coherentes y mutuamente reforzados, evitando la fase de interferencia destructiva observada en la inicialización aleatoria.

2. Adaptación de Bajo Rango y Alineación Geométrica

El artículo argumenta que el ajuste fino actúa como una alineación de baja dimensión en lugar de aprender primitivas temporales desde cero:

• Transferencia Efectiva de Datos: Utilizando el marco de Hernandez et al. [2021], los autores muestran que los métodos eficientes en parámetros (LoRA) recuperan la mayor parte del beneficio de transferencia. El ajuste fino completo logra una transferencia efectiva de datos (DT) de 6.8, mientras que LoRA Attn logra 5.2. Esto implica que solo es necesaria una pequeña perturbación de los pesos preentrenados.
• Dinámica de Rango Efectivo: Los modelos inicializados aleatoriamente comienzan con estados ocultos casi isotrópicos y experimentan un rápido "colapso de rango" hacia una estructura de baja dimensión. Por el contrario, los modelos inicializados en lenguaje comienzan con una representación comprimida y experimentan compresión selectiva: las capas intermedias aumentan el rango efectivo mientras que las capas tempranas y tardías lo disminuyen. Esto sugiere que el ajuste fino redistribuye la capacidad, reutilizando la circuitería de las capas intermedias en lugar de construir nuevas estructuras.
• Reutilización de Características: El análisis de codificadores cruzados entre dominios revela que características latentes específicas en el modelo preentrenado se activan tanto en motivos de series temporales (por ejemplo, saltos de magnitud, datos faltantes, cambios de régimen) como en pasajes de texto semánticamente coherentes (por ejemplo, conversiones de unidades, narrativas de ciclones tropicales, marcas de tiempo de batallas navales). Esto confirma que el subespacio transferido contiene primitivas temporales interpretables compartidas entre modalidades.

3. Transferencia Geométrica vs. Semántica

Los autores demuestran que, si bien tanto los modelos preentrenados como los inicializados aleatoriamente eventualmente aprenden a codificar estructuras periódicas (por ejemplo, ondas sinusoidales), lo hacen a través de diferentes caminos geométricos:

• RandInit aprende arcos simples de baja dimensión con alta varianza explicada por componentes principales.
• LangInit retiene bucles complejos, heterogéneos y variables por capa heredados del preentrenamiento, que son geométricamente más ricos pero funcionalmente alineados con la tarea.
• Análisis de Circuitos: La ablación cero identifica un circuito superaditivo específico en la Capa 1 (MLP y cabeza de atención) crítico para la predicción periódica. Se demuestra que este mismo circuito es altamente sensible a estructuras repetitivas secuenciales en texto, proporcionando evidencia causal de que el modelo reutiliza mecanismos estructurales abstractos en lugar de contenido semántico.

Significado y Afirmaciones

El artículo concluye que el mecanismo que permite la transferencia de LLM a series temporales es geométrico en lugar de semántico.

• Preentrenamiento como Construcción de Variedad: El preentrenamiento en lenguaje organiza el modelo en una variedad secuencial que codifica dinámicas como repetición, tendencias y periodicidad.
• Ajuste Fino como Proyección: El ajuste fino no aprende la estructura de predicción desde cero; proyecta dinámicas numéricas sobre direcciones relevantes para la tarea que ya están presentes en la variedad.
• Reconciliación de Literatura Conflictiva: Esta cuenta geométrica explica por qué la transferencia es más efectiva en regímenes de bajos datos y de cambio de distribución (donde las direcciones preentrenadas proporcionan estructura que los datos limitados no pueden establecer) y por qué métodos eficientes en parámetros como LoRA son efectivos (ya que la transferencia es fundamentalmente selección de dirección).

Los autores mantienen una postura modesta, señalando que sus hallazgos se basan en un solo esqueleto (Qwen3-0.6B) y corpus, y que la evidencia de circuitos causales es preliminar. Sin embargo, afirman que cualquier modelo de secuencia autoregresivo suficientemente rico con estructura temporal latente puede soportar una transferencia similar, extendiendo la relevancia de estos hallazgos más allá de los modelos de lenguaje.