Resumo Técnico: TSAQA: Um Benchmark de Questionamento e Resposta para Análise de Séries Temporais

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham revolucionado o processamento de linguagem natural, sua aplicação à análise de séries temporais tem sido amplamente confinada a tarefas numéricas tradicionais, como previsão, imputação e detecção de anomalias. Os benchmarks existentes para Questionamento e Resposta de Sé Series Temporais (TSQA) sofrem com cobertura de tarefas fragmentada, modalidade limitada e protocolos de avaliação não padronizados. Além disso, muitos conjuntos de dados existentes dependem de respostas abertas que são difíceis de avaliar objetivamente, ou focam em domínios estreitos. Há uma necessidade crítica de um benchmark unificado e de larga escala que avalie de forma abrangente as capacidades analíticas temporais de modelos capazes de linguagem através de diversos domínios e complexidades de tarefas, variando desde o reconhecimento fundamental de padrões até o raciocínio relacional avançado.

Metodologia

Construção do Benchmark

Os autores introduzem o TSAQA, um benchmark unificado composto por 210.000 amostras de alta qualidade curadas de 13 domínios distintos (incluindo finanças, saúde, energia, transporte e tráfego web). O conjunto de dados é construído a partir de repositórios centrais de séries temporais (ex: Lotsa, Time-300B, UTSD), benchmarks especializados de detecção de anomalias (ex: ECG, SMD) e arquivos de classificação (UCR Archive).

O benchmark integra 6 tarefas distintas categorizadas em dois grupos:

1. Análise Convencional:
   • Detecção de Anomalias: Identificação de padrões irregulares (Verdadeiro/Falso).
   • Classificação: Categorização de séries temporais baseada em padrões semânticos (Múltipla Escolha).
2. Análise Avançada:
   • Caracterização: Inferência de propriedades intrínsecas como tendência, sazonalidade e dispersão.
   • Comparação: Análise de similaridades e diferenças relativas entre duas séries temporais.
   • Transformação de Dados: Compreensão das relações entre dados brutos e dados transformados (Fourier, Wavelet, Diferenciação de Primeira Ordem).
   • Relacionamento Temporal: Determinação de dependências cronológicas entre patches de séries temporais.

Formatos de Pergunta

Para garantir uma avaliação objetiva e reproduzível, todas as tarefas são convertidas em um formato padronizado de Questionamento e Resposta (QA) com três tipos específicos:

• Verdadeiro ou Falso (TF): Verificação binária de uma afirmação.
• Múltipla Escolha (MC): Seleção da afirmação correta entre as opções.
• Puzzling (PZ): Um formato inovador onde os modelos recebem o primeiro patch de uma sequência e um conjunto de patches subsequentes embaralhados, exigindo que reconstruam a ordem cronológica correta. Isso testa o raciocínio causal global e a continuidade estrutural.

Processamento e Anotação de Dados

• Pré-processamento: As séries temporais são padronizadas via normalização z-score para evitar que os modelos explorem atalhos baseados em magnitude através de diferentes domínios. Os comprimentos de entrada variam entre 32 e 256 pontos.
• Geração: Para tarefas avançadas (Caracterização, Comparação), os pares de QA são gerados usando um pipeline de consenso multi-LLM. O GPT-4o gera perguntas e respostas iniciais baseadas em tópicos selecionados (ex: tendência, ruído) e sub-tópicos. Estes são então validados e agregados usando um esquema de votação ponderada envolvendo GPT-4.1, Gemini-2.5-Flash e Claude-3.5-Sonnet para minimizar o viés de um único modelo.
• Amostragem: Uma estratégia de amostragem aleatória hierárquica garante uma distribuição equilibrada entre domínios, conjuntos de dados e sequências.

Protocolo de Avaliação

O benchmark avalia modelos usando acurácia para perguntas TF e MC. Para perguntas PZ, a acurácia é calculada com base na proporção de posições corretamente correspondidas na sequência reconstruída em comparação com a verdade fundamental (ground truth). O estudo avalia:

• LLMs Comerciais: GPT-4.1, GPT-4o, Claude-3.5-Sonnet, Gemini-2.5-Flash.
• LLMs de Código Aberto: Qwen3-8B/0.6B, LLaMA-3.1-8B/3.2-1B, Ministral-8B, Gemma3-1B.
• Modelos de Fundação de Séries Temporais (TSFMs): ChatTime, ChatTS.
• Treinamento: Modelos de código aberto são avaliados em configurações zero-shot e após ajuste fino de instrução (SFT) usando LoRA.

Principais Resultados

Desempenho Geral

• Limitações Zero-Shot: Os LLMs atuais lutam significamente com o TSAQA. O melhor modelo comercial, Gemini-2.5-Flash, alcança uma acurácia média de 65,08%. Os modelos de código aberto geralmente apresentam desempenho inferior em configurações zero-shot, com o LLaMA-3.1-8B pontuando 44,93%.
• Impacto do Ajuste Fino de Instrução: O ajuste fino supervisionado (SFT) produz melhorias substanciais. Notavelmente, o LLaMA-3.1-8B (SFT) atinge 85,26%, superando o desempenho zero-shot dos modelos comerciais. O Gemma3-1B (SFT) chega a superar o Gemini-2.5-Flash (69,70% vs. 65,08%), demonstrando que o treinamento direcionado pode diminuir a lacuna entre modelos proprietários e de código aberto.
• TSFMs: Modelos de fundação de séries temporais capazes de linguagem (ChatTime, ChatTS) mostram resultados mistos, com o ChatTime alcançando 55,19%, indicando que os LLMs de propósito geral atualmente detêm uma vantagem no raciocínio sobre estes benchmarks específicos.

Descobertas Específicas por Tarefa

• Convencional vs. Avançado: Os modelos performam relativamente bem em Detecção de Anomalias e Classificação após o ajuste fino (ex: LLaMA-3.1-8B atinge >91% nestas). No entanto, as tarefas de Análise Avançada permanecem desafiadoras.
• O Desafio "Puzzling": A tarefa PZ prova ser a mais difícil, com o melhor score (LLaMA-3.1-8B SFT) atingindo apenas 67,68%.
• Correlação de Comprimento de Entrada: Ao contrário da maioria das tarefas onde a acurácia declina com comprimentos de entrada maiores, a tarefa de Relacionamento Temporal (PZ) mostra uma correlação positiva entre o comprimento da entrada e a acurácia. Isso sugere que os modelos estão utilizando efetivamente o contexto global para deduzir a ordem cronológica em vez de depender apenas de correspondência de padrões locais.
• Dificuldade de Domínio: O desempenho zero-shot é mais baixo em domínios Sintéticos, TI, Robótica e Web. Mesmo após o ajuste fino, os domínios de Vendas e Web permanecem os mais difíceis, sugerindo que complexidades específicas de domínio não são totalmente mitigadas pelo ajuste fino de propósito geral.

Análise de Erros

• Viés de Suavidade (Smoothness Bias): Na tarefa PZ, os modelos exibem um "viés de suavidade", particularmente em domínios voláteis como Web e Vendas. Eles tendem a selecionar transições de patch que são mais suaves do que a verdade fundamental, falhando em capturar descontinuidades legítimas e dinâmicas irregulares.
• Limites de Transformação: Os modelos lutam significativamente com tarefas de Transformada de Fourier (FT) e Transformada de Wavelet (WT), que exigem agregação global e raciocínio aritmético complexo, enquanto a Diferenciação de Primeira Ordem (FOD) é tratada de forma mais eficaz devido à sua dependência de dependências locais.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Um Novo Benchmark de Larga Escala: O TSAQA fornece uma plataforma unificada e padronizada com 210 mil amostras em 13 domínios, 6 tarefas e 3 tipos de perguntas, abordando a fragmentação nos conjuntos de dados de TSQA existentes.
2. Construção e Estatísticas Abrangentes: Os autores detalham um processo rigoroso de coleta e anotação de dados, incluindo um pipeline de consenso multi-LLM e amostragem hierárquica, garantindo transparência e reprodutibilidade.
3. Avaliação e Análise Extensiva: O benchmark serve como uma sonda rigorosa para as capacidades de raciocínio temporal tanto de LLMs de propósito geral quanto de TSFMs especializados. Os resultados destacam que, embora o ajuste fino de instrução melhore o desempenho, desafios significativos permanecem, particularmente no raciocínio analítico avançado e no tratamento de dinâmicas temporais complexas (ex: volatilidade, transformações globais).

Os autores posicionam o TSAQA não meramente como uma ferramenta de avaliação, mas como um recurso fundamental para o desenvolvimento de futuros modelos de raciocínio de séries temporais capazes de linguagem, potencialmente estendendo-se para configurações multivariadas, entradas multimodais e sistemas agentes. Eles reconhecem limitações, observando que o benchmark não captura totalmente a amostragem irregular ou os drivers exógenos encontrados em alguns cenários do mundo real, e que a natureza estática do conjunto de dados pode não refletir distribuições em evolução.