Resumen Técnico: TimeSage-MT

Declaración del Problema

El análisis de series temporales es crítico para la toma de decisiones en dominios de alto riesgo como las finanzas, la salud y la energía. Aunque los agentes de Modelos de Lenguaje Extensos (LLM) demuestran capacidades en la interacción de lenguaje natural y el uso de herramientas, su capacidad para realizar un razonamiento de series temporales fiable y de múltiples turnos permanece sin verificar. Los benchmarks existentes (por ejemplo, Monash, M4, UCR/UEA) se centran en tareas aisladas de un solo paso, como la previsión o la detección de anomalías, con objetivos fijos. Estos no logran evaluar los complejos flujos de trabajo analíticos requeridos en la práctica, donde los agentes deben inspeccionar la calidad de los datos, seleccionar métodos, encadenar computaciones dependientes, adaptarse a los cambios en los objetivos del usuario y fundamentar sus conclusiones en el conocimiento del dominio. Las evaluaciones actuales suelen confundir el emparejamiento superficial de patrones o la alucinación de números con un razonamiento genuino, careciendo de la granularidad necesaria para diagnosticar fallos en la memoria, la calibración de la incertidumbre o la toma de decisiones fundamentada en el dominio.

Metodología

Construcción del Benchmark (TimeSage-MT)

Los autores presentan TimeSage-MT, un benchmark de múltiples turnos diseñado para evaluar el razonamiento de agentes en series temporales a través de 240 tareas y 2,680 turnos de diálogo. El benchmark abarca 8 dominios del mundo real (Salud, Energía, Manufactura, Clima, Finanzas, Telecomunicaciones, Transporte, Retail) y se organiza en cuatro niveles de complejidad:

• L1 (Exploración Abierta): 3–10 turnos para perfilado y resumen.
• L2 (Análisis Multi-Habilidad): 5–12 turnos que requieren pasos analíticos encadenados.
• L3 (Síntesis Fundamentada): 8–15 turnos que integran evidencia en informes específicos del dominio.
• L4 (Ruta de Decisión Completa): 12–20 turnos que culminan en decisiones estructuradas y accionables con incertidumbre calibrada.

Pipeline de Generación de Datos:
El benchmark se construye mediante un pipeline reproducible de cinco etapas:

1. Selección de Datos: Curaduría de 65 fuentes del mundo real en una lista blanca, con metadatos que rastrean la posible contaminación de los corpora de preentrenamiento de los modelos fundacionales.
2. Perfilado: Generación de un perfil de 11 métricas (frecuencia, estacionariedad, ausencia de datos, etc.) y división de los datos en un 80% visible (para la construcción) y un 20% reservado (para la extracción del objetivo de oro).
3. Asignación de Tareas: Asignación de tareas a niveles y dominios basados en la viabilidad del perfil, asegurando cuotas equilibradas.
4. Construcción de la Ruta de Razonamiento: Creación de un Grafo Acíclico Dirigido (DAG) tipificado para cada tarea, definiendo la secuencia de nodos analíticos, dependencias y salidas esperadas.
5. Generación de Diálogo: Uso de un LLM (Claude Opus 4.6) para generar diálogos de múltiples turnos fundamentados en los datos visibles y la ruta de razonamiento. Crucialmente, los objetivos de respuesta verificables (verdad numérica) se computan de forma determinista ejecutando código de referencia en los datos reservados, independientemente de la generación del diálogo.

Control de Calidad: Un riguroso proceso de verificación de cuatro etapas (P2–P5) incluye 46 comprobaciones deterministas (integridad de datos, validez de la división, ejecución de código), revisiones cruzadas de familias de LLM para sesgo y filtración, y anotación humana mediante un dashboard especializado.

Protocolo de Evaluación

La evaluación emplea dos pistas de puntuación paralelas:

1. Puntuación de Resultado: Mide la corrección de la respuesta final en cinco dimensiones: Precisión Numérica, Verificación Fáctica, Calidad Analítica, Toma de Decisiones y Corrección de Código. Las métricas numéricas y de código son deterministas; la calidad analítica y de decisión utilizan un juez LLM.
2. Puntuación de Capacidad: Diagnostica el comportamiento del agente frente a una taxonomía de 9 capacidades (C1–C9):
   • Básica: Leer (C1), Seleccionar (C2), Configurar (C3).
   • Razonamiento: Recordar (C4), Encadenar (C5), Adaptar (C6).
   • Acción: Decidir (C7), Calibrar (C8), Fundamentar (C9).
     La mayoría de las subcomprobaciones son deterministas, y solo C7 y C9 requieren el juicio de un LLM.

Sistemas Evaluados

El benchmark evalúa seis LLMs de frontera (Claude Sonnet 4.6, GPT-5.3-Codex, GLM-5.1, Qwen-3.5-122B-A10B, MiniMax-M2.7, Gemini-3-Flash-Preview) bajo cuatro configuraciones de sistema:

1. Respuesta Directa: Sin herramientas ni ejecución de código.
2. Razonamiento con Habilitación de Código: Ejecución en un sandbox de Python.
3. Razonamiento de Código Guiado por Habilidades: Acceso a una librería curada de 226 habilidades de series temporales.
4. TimeSage: Un pipeline de agente estructurado (Planificador, Perfilador, Ejecutor, Evaluador, Reportero) que utiliza la librería de habilidades y puertas de validación deterministas.

Resultados Clave

Tendencias de Rendimiento

• Sensibilidad a la Profundidad: Todos los modelos funcionan mejor en L1 (Exploración Abierta) pero sufren caídas drásticas de rendimiento (10–15 puntos) en L2 y niveles superiores. Esto indica que los agentes actuales tienen dificultades con la memoria de múltiples turnos, el encadenamiento de dependencias y los flujos de trabajo de decisión complejos.
• Código vs. Razonamiento: Mientras que la Corrección de Código es alta (71–78%), otras dimensiones como la Precisión Numérica (15–18%) y la Verificación Fáctica son significativamente más bajas. Esto revela que generar código ejecutable no garantiza un análisis confiable y fundamentado en los datos.
• Brechas de Capacidad: Los modelos muestran un fuerte rendimiento en Recordar (C4) y Encadenar (C5), pero presentan debilidades persistentes en Leer (C1) (malinterpretación de las propiedades de los datos) y Configurar (C3) (configuración de parámetros incorrectos). La Fundamentación (C9) y la Calibración (C8) también siguen siendo desafíos.

Impacto del Diseño del Sistema

• Razonamiento con Habilitación de Código: Proporciona ganancias sustanciales sobre la Respuesta Directa, particularmente en Precisión Numérica y Toma de Decisiones, al anclar las respuestas a evidencia ejecutable.
• Librerías de Habilidades: El beneficio varía según el modelo. Los modelos más fuertes (por ejemplo, GPT-5.3-Codex) muestran mejoras significativas en Calidad Analítica y Toma de Decisiones cuando son guiados por habilidades. Los modelos más débiles (por ejemplo, Qwen-3.5) muestran ganancias marginales, lo que sugiere que las librerías de habilidades requieren un motor capaz para ser invocadas e integradas eficazmente.
• Pipelines Estructurados (TimeSage): Introducen un compromiso. Para motores de base más débiles, el pipeline estructurado mejora la Precisión Numérica y la Verificación Fáctica, pero puede restringir la expresividad, bajando las puntuaciones de Toma de Decisiones. Para motores de base más fuertes, la capa de orquestación adicional puede introducir conflictos de planificación, degradando el rendimiento general.

Significado y Reivindicaciones

El artículo posiciona a TimeSage-MT como el primer benchmark de múltiples turnos específicamente para el razonamiento de agentes en series temporales. Su principal contribución es el cambio del paradigma de evaluación de la precisión de predicción de un solo paso hacia la corrección de toda la trayectoria analítica.

Los autores afirman que TimeSage-MT expone brechas críticas en los sistemas de agentes actuales, específicamente:

1. La incapacidad de mantener un razonamiento fiable a lo largo de diálogos largos.
2. Fallos en la calibración de la incertidumbre y en la toma de decisiones fundamentada en el dominio.
3. La limitación de la "ejecución de código" por sí sola sin una integración de habilidades estructurada o una validación robusta.

El benchmark se presenta no como un certificado de despliegue, sino como una herramienta de diagnóstico. Permite a los investigadores ir más allá de las puntuaciones agregadas para identificar modos de fallo específicos (por ejemplo, error en la lectura de datos frente a error en el encadenamiento de dependencias). Los autores concluyen que los agentes de series temporales fiables requieren no solo LLMs más fuertes, sino un mejor diseño de entornos (harness design) que equilibre la flexibilidad con la verificación numérica rigurosa y la fundamentación en el dominio. El trabajo proporciona una base para desarrollar herramientas de IA auditables y confiables para aplicaciones de series temporales en el mundo real.