TSQAgent: Rating Time Series Data Quality via Dedicated Agentic Reasoning

Resumo Técnico: TSQAgent

Problema
Avaliar a qualidade de dados de séries temporais (TS) é fundamental para construir modelos de alto desempenho, mas permanece inerentemente desafiador devido à natureza multifacetada das dimensões de qualidade (ex: valores ausentes, outliers, ruído, mudanças de distribuição). Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa em tarefas de TS, as abordagens existentes para avaliação de qualidade dependem fortemente de dimensões pré-definidas manualmente e de um raciocínio puramente baseado em texto. Isso levanta uma questão crítica: Podem os LLMs identificar independentemente as dimensões de qualidade verdadeiramente relevantes e realizar comparações quantitativas fundamentadas? Evidências atuais sugerem que os LLMs têm dificuldade com essas tarefas, exibindo frequentemente uma seleção de dimensões instável e um raciocínio numérico alucinado ou não confiável ao avaliar características de qualidade.

Metodologia
Para abordar essas limitações, os autores propõem o TSQAgent, um novo framework de raciocínio agêntico projetado para a classificação dedicada da qualidade de dados de TS. O framework decompõe a tarefa de avaliação em três papéis colaborativos:

1. Perceiver (Seleção de Dimensões): Este agente constrói uma compreensão de alto nível dos pares de séries temporais de entrada e seleciona as dimensões de qualidade relevantes para avaliação. Para superar a tendência dos LLMs vanilla de selecionar excessivamente dimensões irrelevantes, o Perceiver é treinado usando uma estratégia de Otimização de Política Relativa de Grupo (GRPO) adaptada à qualidade de TS. Este treinamento, guiado pelo benchmark proposto, instila a capacidade de priorizar adaptativamente os aspectos de qualidade mais relevantes para a decisão.
2. Inspector (Análise Quantitativa): O Inspector realiza uma análise detalhada, por dimensão, utilizando um loop de interação ReAct (Reasoning-Acting). Crucialmente, este agente é equipado com um conjunto de 16 ferramentas analíticas externas que abrangem medições estatísticas, espectrais e estruturais. Quando o raciocínio interno é insuficiente para resolver diferenças sutis, o Inspector invoca essas ferramentas para obter evidências quantitativas, injetando as saídas das ferramentas diretamente no processo de raciocínio para garantir comparações fundamentadas.
3. Adjudicator (Agregação e Reflexão): Este agente agrega a evidência ao nível de dimensão em um julgamento final. Ele emprega um mecanismo de reflexão para avaliar a consistência e a suficiência da evidência. Se a evidência for conflitante ou incompleta, o Adjudicator pode disparar um "recheck" (reavaliando dimensões específicas) ou um "replan" (solicitando ao Perceiver que selecione dimensões adicionais) antes de finalizar o resultado.

Para facilitar o ranking global e a seleção de dados, as preferências pareadas geradas pelo TSQAgent são convertidas em pontuações de qualidade escalares via otimização de Bradley–Terry, treinando um modelo de classificação leve.

Benchmark e Avaliação
Os autores introduzem o TSQBench, um benchmark dedicado construído via um pipeline de geração sintética controlada. Ele avalia duas capacidades progressivas:

• Identificação de Dimensões: Se um LLM consegue identificar corretamente quais dimensões de qualidade diferem entre dois segmentos de TS.
• Comparação de Qualidade: Se um LLM consegue decidir corretamente qual série exibe maior qualidade sob uma dimensão específica.

Experimentos foram conduzidos no TSQBench e em 11 conjuntos de dados do mundo real abrangendo tarefas de previsão de longo prazo, previsão de curto prazo e classificação. O framework foi testado contra baselines incluindo DataShapley, DataOob, TimeInf e TSRating, e avaliado em modelos downstream (Linear, CNN, PatchTST) e em um Modelo de Fundação de Séries Temporais de grande escala (Timer-S1, 8.3 bilhões de parâmetros).

Principais Resultados

• Desempenho do Benchmark: No TSQBench, os LLMs vanilla mostraram baixa precisão na identificação de dimensões (33,4%–43,0%) e acurácia marginal na comparação de qualidade (54,7%–61,0%). O TSQAgent melhorou significativamente essas métricas:
  • Identificação de Dimensões: O treinamento via GRPO aumentou a precisão para quase 60%.
  • Comparação de Qualidade: Aumentou a acurácia para mais de 78%–84% através da automação por ferramentas.
• Seleção de Dados Downstream: Usar o TSQAgent para selecionar os 50% superiores de dados de alta qualidade resultou consistentemente em melhor desempenho downstream (menor RMSE/MAPE, maior acurácia) em comparação com a seleção aleatória e outros baselines em diversos conjuntos de dados e arquiteturas de modelos.
• Eficiência do Modelo de Fundação: Ao realizar o ajuste fino (fine-tuning) do modelo Timer-S1 de 8.3 bilhões de parâmetros, a seleção consciente da qualidade do TSQAgent permitiu que o modelo alcançasse um desempenho comparável ao treinamento com dados totais usando apenas 75% dos dados (0,341 RMSE vs. 0,338 RMSE para os dados totais).

Significância e Alegações
O artigo afirma que o TSQAgent preenche efetivamente a lacuna entre a compreensão temporal intrínseca dos LLMs e os requisitos rigorosos da avaliação de qualidade de dados. Ao integrar o raciocínio para seleção de dimensões e a análise quantitativa aumentada por ferramentas, o framework transforma os LLMs de avaliadores de texto não confiáveis em assessores de qualidade robustos e fundamentados em evidências. Os autores demonstram que essas melhorias nas capacidades de raciocínio traduzem-se diretamente em benefícios tangíveis: aumento da acurácia de modelos downstream e melhoria na eficiência de dados, permitindo o treinamento de alto desempenho com volumes reduzidos de dados. O trabalho estabelece um novo paradigma para a avaliação de qualidade de TS que vai além de critérios fixos em direção a um raciocínio agêntico, estruturado, adaptativo e quantitativo.