Prompting Underestimates LLM Capability for Time Series Classification

1. El Problema

Existe un consenso emergente en la literatura de que los Grandes Modelos de Lenguaje (LLM) y los Modelos de Lenguaje Visuales (vLLM) tienen un rendimiento deficiente en tareas de clasificación de series temporales cuando se evalúan mediante indicaciones (prompts) en configuración zero-shot o few-shot. Esto ha llevado a la conclusión de que estos modelos no codifican estructuras temporales significativas o carecen de comprensión temporal.

Sin embargo, los autores argumentan que esta conclusión es errónea y refleja una limitación de la interfaz de generación (el prompt) en lugar de una deficiencia en la capacidad representacional interna del modelo. El problema central es la desconexión entre lo que el modelo "sabe" internamente (sus representaciones ocultas) y lo que logra "decir" externamente a través de la generación de texto.

2. Metodología

Para abordar esta discrepancia, los autores diseñaron un estudio comparativo que evalúa dos paradigmas de predicción sobre las mismas representaciones internas de los modelos:

• Clasificación Basada en Prompts (Generación): Se utiliza la interfaz estándar de LLM/vLLM. Las series temporales se presentan al modelo en tres modalidades:

  • Texto (d): Numeros serializados como dígitos (tokenización basada en dígitos para evitar fragmentación del BPE).
  • Visual (v): Representación de la serie como imágenes (gráficos de líneas o espectrogramas).
  • Multimodal (d + v): Combinación de texto y visual.
    El modelo genera una respuesta de texto (la clase).

• Sondeo de Representaciones (Linear Probing): En lugar de generar texto, se extraen los estados ocultos (hidden states) de cada capa del modelo para la misma entrada.

  • Se entrena un clasificador lineal simple (regresión logística) sobre estos estados para predecir la etiqueta de clase.
  • Se evalúa el rendimiento capa por capa para determinar cuándo emerge la información discriminativa.
  • Se incluyen controles rigurosos: un modelo con pesos aleatorios (Random-Probe) para establecer un límite inferior y evitar artefactos de memorización, y comparaciones con baselines de estado del arte (SOTA) como Moment, TS2Vec y Attend.

Modelos Evaluados: Llama-3.2, Mistral-Small, Qwen2.5-VL (vLLMs) y Gemma/GPT-oss (LLMs de texto puro).
Datasets: CTU, EMG, HAD, HAR, RWC, TEE (diversos dominios: salud, actividad humana, acústica, etc.).

3. Contribuciones Clave

1. Desenmascaramiento de la Capacidad Representacional: Son los primeros en disociar explícitamente el rendimiento a nivel de prompt de la capacidad representacional intrínseca en la clasificación de series temporales.
2. Evidencia de Información Subutilizada: Demuestran que los sondeos lineales simples sobre representaciones ocultas igualan o superan consistentemente a los pipelines complejos basados en prompts y a modelos especializados, indicando que la información temporal relevante está presente pero inaccesible mediante la generación de texto.
3. Análisis de Capas: Identifican que la estructura temporal discriminativa emerge temprano en el modelo (a menudo en las primeras 5-12 capas), sugiriendo que los LLM actúan como codificadores de secuencias efectivos antes de las etapas de razonamiento de alto nivel.

4. Resultados Principales

• Brecha Masiva entre Prompting y Probing:

  • El rendimiento zero-shot por prompts es cercano al azar (F1 promedio de 0.15 a 0.26).
  • El rendimiento mediante sondeo lineal (probing) mejora drásticamente, alcanzando un F1 promedio de 0.61 a 0.67.
  • En el dataset EMG, modelos como Llama y Qwen alcanjan un F1 perfecto (1.00) con probing, mientras que con prompts apenas superan el 0.17-0.41.

• Competitividad con SOTA:

  • Los sondeos lineales de vLLMs (Qwen, Mistral) superan o igualan a modelos especializados de series temporales como OneFitsAll y InstructTime.
  • En datasets específicos (EMG, CTU), los vLLMs superan a baselines establecidos como Attend y TS2Vec.

• Impacto de la Modalidad:

  • La inclusión de información visual (v) mejora el rendimiento tanto en prompting como en probing, especialmente para modelos vLLM.
  • Sin embargo, incluso la entrada de solo texto (d) muestra una capacidad de sondeo robusta, demostrando que la estructura temporal se codifica en la representación textual.

• Inestabilidad del Prompting:

  • El rendimiento basado en prompts es altamente sensible a la ingeniería de indicaciones (cambios menores en la redacción alteran significativamente el F1).
  • El uso de Chain-of-Thought (CoT) o ejemplos few-shot no mejora consistentemente el rendimiento ni la calidad de las representaciones extraídas.

• Generalización:

  • Los hallazgos se mantienen en LLMs de texto puro (Gemma, GPT-oss), confirmando que la limitación no es exclusiva de arquitecturas multimodales, sino de la interfaz de generación.

5. Significado e Implicaciones

El artículo redefine la comprensión de las capacidades de los LLM en el dominio de series temporales:

1. Reevaluación de las Limitaciones: Las limitaciones observadas en tareas de series temporales no son una falta de comprensión temporal por parte del modelo, sino un fallo en la interfaz de decodificación (la generación de texto). Los modelos "saben" clasificar las series, pero no pueden "expresar" esa decisión a través de un prompt estándar.
2. Nueva Perspectiva de Uso: Los LLM preentrenados deben considerarse como extractores de características robustos de alto nivel para modalidades no lingüísticas. Su valor reside en sus representaciones internas, no en su capacidad de generación directa para estas tareas.
3. Dirección Futura: Sugiere que el futuro de la aplicación de LLMs en series temporales no debe centrarse en mejorar los prompts, sino en desarrollar métodos de decodificación de representaciones (como cabezas de clasificación lineales o mecanismos de atención específicos) que puedan acceder a la información discriminativa que ya existe dentro del modelo.

En resumen, el trabajo concluye que las evaluaciones actuales basadas únicamente en prompts subestiman sistemáticamente la capacidad de los LLM para entender y clasificar datos temporales, y que una reevaluación basada en el análisis de representaciones internas revela un potencial mucho mayor.