Resumo Técnico: TimeSage-MT

Declaração do Problema

A análise de séries temporais é crítica para a tomada de decisões em domínios de alto risco, como finanças, saúde e energia. Embora os agentes de Grandes Modelos de Linguagem (LLMs) demonstrem capacidades de interação em linguagem natural e uso de ferramentas, sua habilidade de conduzir um raciocínio de séries temporais multi-turno confiável permanece não verificada. Os benchmarks existentes (ex: Monash, M4, UCR/UEA) focam em tarefas isoladas de etapa única, como previsão ou detecção de anomalias, com objetivos fixos. Eles falham em avaliar os fluxos de trabalho analíticos complexos exigidos na prática, onde os agentes devem inspecionar a qualidade dos dados, selecionar métodos, encadear computações dependentes, adaptar-se a mudanças nos objetivos do usuário e fundamentar conclusões em conhecimento de domínio. As avaliações atuais frequentemente confundem o reconhecimento superficial de padrões ou números alucinados com raciocínio genuíno, carecendo da granularidade necessária para diagnosticar falhas em memória, calibração de incerteza ou tomada de decisão fundamentada no domínio.

Metodologia

Construção do Benchmark (TimeSage-MT)

Os autores introduzem o TimeSage-MT, um benchmark multi-turno projetado para avaliar o raciocínio de agentes em séries temporais através de 240 tarefas e 2.680 turnos de diálogo. O benchmark abrange 8 domínios do mundo real (Saúde, Energia, Manufatura, Clima, Finanças, Telecomunicações, Transporte, Varejo) e é organizado em quatro níveis de complexidade:

• L1 (Exploração Aberta): 3–10 turnos para perfilamento e sumarização.
• L2 (Análise Multi-Habilidade): 5–12 turnos exigindo etapas analíticas encadeadas.
• L3 (Síntese Fundamentada): 8–15 turnos integrando evidências em relatórios específicos do domínio.
• L4 (Caminho de Decisão Completo): 12–20 turnos culminando em decisões estruturadas e acionáveis com incerteza calibrada.

Pipeline de Geração de Dados:
O benchmark é construído via um pipeline reproduzível de cinco estágios:

1. Seleção de Dados: Curadoria de 65 fontes reais brancas (whitelisted), com metadados rastreando a potencial contaminação de corpora de pré-treinamento de modelos de fundação.
2. Perfilamento: Geração de um perfil de 11 métricas (frequência, estacionariedade, ausência de dados, etc.) e divisão dos dados em 80% visíveis (para construção) e 20% retidos (para extração do alvo de ouro).
3. Atribuição de Tarefas: Atribuição de tarefas aos níveis e domínios baseada na viabilidade do perfil, garantindo cotas equilibradas.
4. Construção do Caminho de Raciocínio: Criação de um Grafo Acíclico Dirigido (DAG) tipado para cada tarefa, definindo a sequência de nós analíticos, dependências e saídas esperadas.
5. Geração de Diálogo: Uso de um LLM (Claude Opus 4.6) para gerar diálogos multi-turno fundamentados nos dados visíveis e no caminho de raciocínio. Crucialmente, alvos de resposta verificáveis (verdade numérica fundamental) são computados deterministicamente executando código de referência nos dados retidos, independentemente da geração do diálogo.

Controle de Qualidade: Um processo de verificação rigoroso de quatro estágios (P2–P5) inclui 46 verificações determinísticas (integridade de dados, validade de divisão, execução de código), revisões de cross-family de LLM para viés e vazamento, e anotação humana via um dashboard especializado.

Protocolo de Avaliação

A avaliação emprega duas trilhas de pontuação paralelas:

1. Pontuação de Resultado (Outcome Scoring): Mede a correção da resposta final em cinco dimensões: Precisão Numérica, Verificação Factual, Qualidade Analítica, Tomada de Decisão e Correção de Código. As métricas numéricas e de código são determinísticas; a qualidade analítica e de decisão utilizam um juiz LLM.
2. Pontuação de Capacidade (Capability Scoring): Diagnostica o comportamento do agente contra uma taxonomia de 9 capacidades (C1–C9):
   • Básico: Ler (C1), Selecionar (C2), Configurar (C3).
   • Raciocínio: Lembrar (C4), Encadear (C5), Adaptar (C6).
   • Ação: Decidir (C7), Calibrar (C8), Fundamentar (C9).
     A maioria das sub-verificações é determinística, com apenas C7 e C9 exigindo julgamento de LLM.

Sistemas Avaliados

O benchmark avalia seis LLMs de fronteira (Claude Sonnet 4.6, GPT-5.3-Codex, GLM-5.1, Qwen-3.5-122B-A10B, MiniMax-M2.7, Gemini-3-Flash-Preview) sob quatro configurações de sistema:

1. Resposta Direta: Sem ferramentas ou execução de código.
2. Raciocínio com Habilitação de Código: Execução em um sandbox Python.
3. Raciocínio de Código Guiado por Habilidades: Acesso a uma biblioteca curada de 226 habilidades de séries temporais.
4. TimeSage: Um pipeline de agente estruturado (Planejador, Perfilador, Executor, Avaliador, Relator) utilizando a biblioteca de habilidades e portões de validação determinísticos.

Principais Resultados

Tendências de Desempenho

• Sensibilidade à Profundidade: Todos os modelos performam melhor no L1 (Exploração Aberta), mas sofrem quedas acentuadas de desempenho (10–15 pontos) no L2 e além. Isso indica que os agentes atuais lutam com memória multi-turno, encadeamento de dependências e fluxos de decisão complexos.
• Código vs. Raciocínio: Embora a Correção de Código seja alta (71–78%), outras dimensões como Precisão Numérica (15–18%) e Verificação Factual são significativamente menores. Isso revela que gerar código executável não garante uma análise confiável e fundamentada nos dados.
• Lacunas de Capacidade: Os modelos exibem forte desempenho em Lembrar (C4) e Encadear (C5), mas mostram fraquezas persistentes em Ler (C1) (interpretando incorretamente propriedades de dados) e Configurar (C3) (definindo parâmetros incorretos). Fundamentação (C9) e Calibração (C8) também permanecem desafiadoras.

Impacto do Design do Sistema

• Raciocínio com Habilitação de Código: Proporciona ganhos substanciais sobre a Resposta Direta, particularmente em Precisão Numérica e Tomada de Decisão, ancorando as respostas em evidências executáveis.
• Bibliotecas de Habilidades: O benefício varia conforme o modelo. Modelos mais fortes (ex: GPT-5.3-Codex) mostram melhorias significativas em Qualidade Analítica e Tomada de Decisão quando guiados por habilidades. Modelos mais fracos (ex: Qwen-3.5) mostram ganhos marginais, sugerindo que bibliotecas de habilidades requerem um backbone capaz para serem invocadas e integradas de forma eficaz.
• Pipelines Estruturados (TimeSage): Introduzem um compromisso (trade-off). Para backbones mais fracos, o pipeline estruturado melhora a Precisão Numérica e a Verificação Factual, mas pode restringir a expressividade, baixando as pontuações de Tomada de Decisão. Para backbones mais fortes, a camada de orquestração adicional pode introduzir conflitos de planejamento, degradando o desempenho geral.

Significância e Alegações

O artigo posiciona o TimeSage-MT como o primeiro benchmark multi-turno especificamente para o raciocínio de agentes em séries temporais. Sua principal contribuição é mudar o paradigma de avaliação da precisão de previsão de etapa única para a correção de toda a trajetória analítica.

Os autores alegam que o TimeSage-MT expõe lacunas críticas nos sistemas de agentes atuais, especificamente:

1. A incapacidade de manter um raciocínio confiável ao longo de diálogos longos.
2. Falhas na calibração de incerteza e na tomada de decisão fundamentada no domínio.
3. A limitação da "execução de código" isolada sem integração de habilidades estruturadas ou validação robusta.

O benchmark é apresentado não como um certificado de implantação, mas como uma ferramenta de diagnóstico. Ele permite que pesquisadores vão além de pontuações agregadas para identificar modos de falha específicos (ex: erro de leitura de dados vs. falha em encadear dependências). Os autores concluem que agentes de séries temporais confiáveis requerem não apenas LLMs mais fortes, mas um melhor design de harness que equilibre flexibilidade com verificação numérica rigorosa e fundamentação de domínio. O trabalho fornece uma base para o desenvolvimento de ferramentas de IA auditáveis e confiáveis para aplicações de séries temporais no mundo real.