Resumo Técnico: Rumo à Ciência de Dados Agêntica Verificável: Resolvendo o TSQA Irregular via Raciocínio Fundamentado em Ferramentas

1. Declaração do Problema

Dados de séries temporais do mundo real são predominantemente irregulares: as observações são assíncronas, valores ausentes são frequentemente informativos em vez de aleatórios e as frequências de amostragem variam entre sensores e janelas operacionais. Apesar do rápido avanço dos Grandes Modelos de Linguagem (LLMs) e agentes de IA em raciocínio complexo, os benchmarks existentes de Questionamento de Séries Temporais (TSQA) (ex: TSAQA, Time-MQA) assumem amplamente entradas amostradas regularmente. Isso cria uma lacuna fundamental de avaliação, pois os modelos atuais não são rigorosamente testados nos desafios semânticos e estruturais impostos por dados irregulares.

Além disso, os métodos existentes para gerar séries temporais irregulares dependem frequentemente de transformações sintéticas como dropout aleatório (MCAR) ou mascaramento esparso, que falham em capturar a semântica do domínio e as causas específicas de ausência encontradas em cenários do mundo real (ex: monitoramento de UTI disparado por necessidade clínica ou sensores industriais registrando apenas após a detecção de anomalias). O artigo observa que, embora trabalhos recentes (TIME-IMM) tenham estabelecido uma taxonomia de irregularidade, nenhum pipeline anterior utilizou essa taxonomia para fundamentar semanticamente a transformação de dados regulares para irregulares para fins de benchmarking.

2. Metodologia

Os autores introduzem o IRTS-ToolBench, um benchmark projetado para avaliar LLMs e agentes de IA em TSQA univariada irregular através de raciocínio fundamentado em ferramentas. A metodologia é construída sobre três componentes principais:

A. Pipeline de Transformação Irregular Guiada por LLM

Para preencher a lacuna entre dados regulares e irregulares, os autores propõem um pipeline de três camadas que transforma séries temporais regulares em sequências irregularmente fundamentadas:

1. Enriquecimento de Contexto: Um LLM gera uma descrição de contexto detalhada para cada série temporal, capturando o domínio, características estatísticas e características do sinal.
2. Seleção de Taxonomia: Com base no contexto enriquecido, um LLM seleciona o tipo de irregularidade mais apropriado de uma taxonomia de nove tipos (categorizados como Baseados em Gatilho, Baseados em Restrição e Baseados em Artefatos, seguindo o TIME-IMM) e gera um plano de transformação com anotações de anomalia.
3. Geração de Parâmetros: O LLM traduz o plano em parâmetros numéricos validados para funções de transformação, produzindo sequências irregulares com padrões de ausência realistas e carimbos de tempo com jitter (jittered timestamps).

B. Construção do Benchmark

O IRTS-ToolBench compreende 1.700 perguntas abrangendo 10 tipos de tarefas em 13 domínios (ex: finanças, saúde). As tarefas são organizadas em uma hierarquia de raciocínio progressivo:

• Raciocínio Padrão: Detecção de Anomalias, Classificação, Discriminação entre Regular vs. Irregular e Recuperação de Regularidade.
• Raciocínio Específico de Irregularidade: Caracterização (propriedades temporais), Relacionamento Temporal (ordenação/causalidade) e Atribuição de Causa de Irregularidade.
• Raciocínio de Interface Regularidade–Irregularidade: Raciocínio de Ausência (Missingness Reasoning) (lacunas informativas vs. não informativas), Estimativa de Severidade de Irregularidade e Previsão (Forecasting).

C. Biblioteca de Ferramentas e Conjuntos de Ferramentas de Ouro (Golden Tool Sets)

O benchmark inclui uma biblioteca de 30 ferramentas dividida em duas camadas:

1. Operadores de Irregularidade (7 ferramentas): Lidam com irregularidades específicas (ex: ALIGN ASOF, MISSING POLICY, RESAMPLE, GAP DETECT).
2. Ferramentas Analíticas Avançadas (23 ferramentas): Fornecem primitivas de análise (ex: TREND CLASSIFIER, SEASONALITY DETECTOR, FORECASTER, INTERPOLATE).

Para cada amostra do benchmark, um Conjunto de Ferramentas de Ouro é construído via um protocolo de consenso multi-LLM (usando GPT-5.1, Claude Sonnet 4.5 e Gemini 2.5 Flash) para definir o conjunto mínimo de ferramentas necessárias para responder a uma pergunta corretamente. Isso permite a avaliação tanto do prompting direto de LLM quanto de frameworks agênticos de uso de ferramentas.

3. Principais Contribuições

1. Novo Pipeline de Transformação: Um pipeline semanticamente fundamentado para converter séries temporais regulares em irregulares, indo além do dropout aleatório para a geração de irregularidade consciente do domínio.
2. Benchmark Abrangente (IRTS-ToolBench): Um conjunto de dados de 1,700 perguntas em 10 tipos de tarefas e 13 domínios, especificamente projetado para TSQA univariada irregular.
3. Framework de Avaliação Fundamentado em Ferramentas: Uma biblioteca de 30 ferramentas e um protocolo para construção de "Conjuntos de Ferramentas de Ouro", permitindo a avaliação simultânea da correção da resposta e do comportamento de raciocínio dos agentes em relação à invocação de ferramentas.

4. Resultados de Avaliação

Os autores avaliaram o desempenho zero-shot em vários LLMs comerciais e de código aberto (incluindo Claude-Opus-4.7, Qwen3.5-4B, Qwen3.6-27B e DeepSeek-V4-Flash).

• Desempenho Geral: O Qwen3.6-27B alcançou a maior precisão geral (78,59%), superando outros modelos. Modelos comerciais como o Claude-Opus-4.7 mostraram precisão consistente entre 74% e 77%.
• Impacto da Chamada de Ferramentas (Tool Calling): A chamada de ferramentas proporcionou melhorias significativas para tarefas que exigem análise numérica explícita. Por exemplo, o Qwen3.6-27B melhorou de 96,80% para 99,60% em Detecção de Anomalias e atingiu 100% em Classificação com ferramentas. O DeepSeek-V4-Flash mostrou ganhos massivos em Estimativa de Severidade de Irregularidade (31,33% para 98,67%) e Recuperação de Regularidade (64,67% para 89,33%) quando as ferramentas foram habilitadas.
• Desafios Remanescentes: Apesar do aumento por ferramentas, tarefas de raciocínio temporal de nível superior, como raciocínio de Relacionamento Temporal e Discriminação Regular-vs-Irregular, permaneceram difíceis, com o desempenho variando significativamente entre os modelos.
• Linha de Base Humana: Revisores humanos alcançaram precisões de 80% e 78%, indicando que, embora a maioria das perguntas seja compreensível, tarefas como Recuperação de Regularidade e Raciocínio de Ausência permanecem desafiadoras até mesmo para humanos.

5. Significância e Alegações

O artigo posiciona o IRTS-ToolBench como um passo necessário em direção à "ciência de dados agêntica verificável". Sua significância reside em:

• Preenchimento da Lacuna de Avaliação: Aborda a limitação crítica de que os benchmarks existentes ignoram a natureza irregular das séries temporais do mundo real.
• Padronização: Fornece entradas padronizadas e um protocolo de avaliação reprodutível para pesquisadores que trabalham na análise de séries temporais irregulares baseadas em LLM.
• Insight Comportamental: Ao utilizar Conjuntos de Ferramentas de Ouro, o benchmark permite que pesquisadores estudem não apenas se um modelo obtém a resposta correta, mas como ele raciocina (ou seja, se ele identifica e invoca corretamente as ferramentas necessárias para lidar com a irregularidade).

Os autores concluem que, embora os LLMs atuais exibam habilidades de raciocínio não triviais sobre séries temporais irregulares — especialmente quando apoiados por contexto e ferramentas — eles ainda lutam com o raciocínio temporal de nível superior e requerem um suporte (scaffolding) forte para o uso de ferramentas agênticas confiáveis. Eles reconhecem limitações em seu pipeline de geração baseado em LLM, observando a potencial sensibilidade ao prompting e à qualidade do consenso, e sugerem que trabalhos futuros devem focar em validação mais ampla e na incorporação de dados de origem naturalmente irregulares.