Resumen Técnico: Hacia una Ciencia de Datos Agéntica Verificable: Resolviendo el TSQA Irregular mediante el Razonamiento Basado en Herramientas

1. Planteamiento del Problema

Los datos de series temporales del mundo real son predominantemente irregulares: las observaciones son asíncronas, los valores faltantes suelen ser informativos en lugar de aleatorios y las frecuencias de muestreo varían entre sensores y ventanas operativas. A pesar del rápido avance de los Grandes Modelos de Lenguaje (LLMs) y los agentes de IA en el razonamiento complejo, los benchmarks existentes de Respuesta a Preguntas de Series Temporales (TSQA, por sus siglas en inglés) (p. ej., TSAQA, Time-MQA) asumen mayoritariamente entradas con muestreo regular. Esto crea una brecha de evaluación fundamental, ya que los modelos actuales no son rigurosamente probados ante los desafíos semánticos y estructurales que plantean los datos irregulares.

Además, los métodos existentes para generar series temporales irregulares dependen a menudo de transformaciones sintéticas como el dropout aleatorio (MCAR) o el enmascaramiento disperso, que no logran capturar la semántica del dominio y las causas específicas de la falta de datos presentes en escenarios del mundo real (p. ej., el monitoreo en UCI activado por necesidad clínica o sensores industriales que registran datos solo tras la detección de una anomalía). El artículo señala que, si bien trabajos recientes (TIME-IMM) han establecido una taxonomía de la irregularidad, ningún pipeline previo ha utilizado esta taxonomía para fundamentar semánticamente la transformación de datos regulares a irregulares con fines de benchmarking.

2. Metodología

Los autores presentan IRTS-ToolBench, un benchmark diseñado para evaluar LLMs y agentes de IA en TSQA univariante irregular mediante el razonamiento basado en herramientas. La metodología se construye sobre tres componentes principales:

A. Pipeline de Transformación Irregular Guiado por LLM

Para cerrar la brecha entre los datos regulares y los irregulares, los autores proponen un pipeline de tres capas que transforma series temporales regulares en secuencias irregularmente fundamentadas:

1. Enriquecimiento de Contexto: Un LLM genera una descripción de contexto detallada para cada serie temporal, capturando el dominio, las características estadísticas y las características de la señal.
2. Selección de Taxonomía: Basándose en el contexto enriquecido, un LLM selecciona el tipo de irregularidad más apropiado de una taxonomía de nueve tipos (categorizados como Basados en Disparadores, Basados en Restricciones y Basados en Artefactos, siguiendo a TIME-IMM) y genera un plan de transformación con anotaciones de anomalías.
3. Generación de Parámetros: El LLM traduce el plan en parámetros numéricos validados para las funciones de transformación, produciendo secuencias irregulares con patrones de falta de datos realistas y marcas de tiempo con jitter.

B. Construcción del Benchmark

IRTS-ToolBench comprende 1.700 preguntas que abarcan 10 tipos de tareas en 13 dominios (p. ej., finanzas, salud). Las tareas están organizadas en una jerarquía de razonamiento progresivo:

• Razonamiento Estándar: Detección de Anomalías, Clasificación, Discriminación entre Regular e Irregular, y Recuperación de Regularidad.
• Razonamiento Específico de Irregularidad: Caracterización (propiedades temporales), Relación Temporal (orden/causalidad) y Atribución de Causa de Irregularidad.
• Razonamiento de Interfaz Regularidad–Irregularidad: Razonamiento de Faltantes (brechas informativas vs. no informativas), Estimación de Severidad de la Irregularidad y Pronóstico (Forecasting).

C. Biblioteca de Herramientas y Conjuntos de Herramientas de Oro (Golden Tool Sets)

El benchmark incluye una biblioteca de 30 herramientas dividida en dos capas:

1. Operadores de Irregularidad (7 herramientas): Manejan irregularidades específicas (p. ej., ALIGN ASOF, MISSING POLICY, RESAMPLE, GAP DETECT).
2. Herramientas Analíticas Avanzadas (23 herramientas): Proporcionan primitivas de análisis (p. ej., TREND CLASSIFIER, SEASONALITY DETECTOR, FORECASTER, INTERPOLATE).

Para cada muestra del benchmark, se construye un Conjunto de Herramientas de Oro mediante un protocolo de consenso multi-LLM (utilizando GPT-5.1, Claude Sonnet 4.5 y Gemini 2.5 Flash) para definir el conjunto mínimo de herramientas necesarias para responder una pregunta correctamente. Esto permite la evaluación tanto del prompting directo de LLM como de los marcos de uso de herramientas agénticos.

3. Contribuciones Clave

1. Nuevo Pipeline de Transformación: Un pipeline semánticamente fundamentado para convertir series temporales regulares en irregulares, yendo más allá del dropout aleatorio hacia la generación de irregularidad consciente del dominio.
2. Benchmark Exhaustivo (IRTS-ToolBench): Un conjunto de datos de 1.700 preguntas a través de 10 tipos de tareas y 13 dominios, diseñado específicamente para TSQA univariante irregular.
3. Marco de Evaluación Basado en Herramientas: Una biblioteca de 30 herramientas y un protocolo para construir "Conjuntos de Herramientas de Oro", lo que permite la evaluación simultánea de la exactitud de la respuesta y el comportamiento de razonamiento de los agentes respecto a la invocación de herramientas.

4. Resultados de la Evaluación

Los autores evaluaron el rendimiento zero-shot en varios modelos de lenguaje comerciales y de código abierto (incluyendo Claude-Opus-4.7, Qwen3.5-4B, Qwen3.6-27B y DeepSeek-V4-Flash).

• Rendimiento General: Qwen3.6-27B logró la mayor precisión general (78,59%), superando a otros modelos. Los modelos comerciales como Claude-Opus-4.7 mostraron una precisión constante entre el 74% y el 77%.
• Impacto de la Llamada a Herramientas: La llamada a herramientas proporcionó mejoras significativas para tareas que requieren análisis numérico explícito. Por ejemplo, Qwen3.6-27B mejoró del 96,80% al 99,60% en Detección de Anomalías y alcanzó el 100% en Clasificación con herramientas. DeepSeek-V4-Flash mostró ganancias masivas en Estimación de Severidad de Irregularidad (del 31,33% al 98,67%) y Recuperación de Regularidad (del 64,67% al 89,33%) cuando las herramientas estaban habilitadas.
• Desafíos Pendientes: A pesar de la aumentación por herramientas, las tareas de razonamiento temporal de nivel superior, como el razonamiento de Relación Temporal y la Discriminación entre Regular e Irregular, siguieron siendo difíciles, con un rendimiento que varía significativamente entre modelos.
• Línea Base Humana: Los revisores humanos lograron precisiones del 80% y 78%, lo que indica que, aunque la mayoría de las preguntas son comprensibles, tareas como la Recuperación de Regularidad y el Razonamiento de Faltantes siguen siendo desafiantes incluso para los humanos.

5. Significado y Reivindicaciones

El artículo posiciona a IRTS-ToolBench como un paso necesario hacia una "ciencia de datos agéntica verificable". Su importancia radica en:

• Cerrar la Brecha de Evaluación: Aborda la limitación crítica de que los benchmarks existentes ignoran la naturaleza irregular de las series temporales del mundo real.
• Estandarización: Proporciona entradas estandarizadas y un protocolo de evaluación reproducible para investigadores que trabajan en el análisis de series temporales irregulares basadas en LLM.
• Perspectiva del Comportamiento: Al utilizar los Conjuntos de Herramientas de Oro, el benchmark permite a los investigadores estudiar no solo si un modelo obtiene la respuesta correcta, sino cómo razona (es decir, si identifica e invoca correctamente las herramientas necesarias para manejar la irregularidad).

Los autores concluyen que, si bien los LLM actuales exhiben capacidades de razonamiento no triviales sobre series temporales irregulares —especialmente cuando cuentan con contexto y herramientas—, todavía tienen dificultades con el razonamiento temporal de nivel superior y requieren un andamiaje sólido para un uso de herramientas agéntico confiable. Reconocen las limitaciones en su pipeline de generación basado en LLM, señalando la posible sensibilidad al prompting y la calidad del consenso, y sugieren que el trabajo futuro debería centrarse en una validación más amplia e incorporar datos de origen naturalmente más irregulares.