Resumo Técnico: ODTQA-FoRe e TimeFore

Definição do Problema

Apesar do rápido avanço dos Grandes Modelos de Linguagem (LLMs) em Questionamento sobre Tabelas (TQA), os sistemas existentes concentram-se predominantemente na recuperação e no raciocínio sobre dados históricos estáticos. Eles carecem da capacidade de realizar predição numérica orientada ao futuro e raciocínio baseado em previsões. Os métodos atuais de TQA de domínio aberto enfrentam duas limitações primárias: (1) os LLMs são treinados em textos estáticos e carecem de mecanismos para modelar dados de séries temporais dinâmicas de forma eficaz, e (2) em cenários de domínio aberto, os sistemas não podem depender de dados históricos contínuos pré-fornecidos; eles devem recuperar autonomamente dados relevantes de grandes bases de dados para apoiar a previsão.

Para abordar essa lacuna, os autores introduzem uma nova tarefa: Open-Domain Tabular Question Answering for Future Data Forecasting and Reasoning (ODTQA-FoRe) (Questionamento sobre Tabelas de Domínio Aberto para Previsão de Dados Futuros e Raciocínio). Esta tarefa exige que um sistema:

1. Identifique e recupere autonomamente tabelas relevantes de um grande corpus de tabelas candidatas.
2. Realize a previsão de séries temporais nos dados históricos recuperados.
3. Sintetize previsões para responder a consultas complexas, incluindo previsões futuras diretas e raciocínio comparativo baseado nessas previsções.

Metodologia

1. Construção do Conjunto de Dados: ODTQA-FoRe

Os autores construíram o primeiro conjunto de dados de referência para esta tarefa usando dados de transações imobiliárias de 10 cidades chinesas abrangendo 2022–2024.

• Escala: O conjunto de dados contém 28.507 pares de QA derivados de 11.149 projetos imobiliários.
• Estrutura: Compreende 288 tabelas (com média de 845 linhas cada) representando dados históricos (2022–2023) e um banco de dados "futuro" separado (2024) usado para avaliação da verdade fundamental (ground truth).
• Distribuição de Tarefas: O conjunto de dados inclui 8.042 perguntas de previsão de séries temporais (ex: "Qual será o preço no próximo mês?") e 20.465 perguntas de raciocínio baseadas em previsões (ex: "Qual projeto terá um aumento de preço maior?").
• Geração: As perguntas foram geradas usando 26 modelos de templates cobrindo cenários de projeto único e múltiplos projetos. Para aumentar a diversidade linguística e o realismo, um LLM (Qwen2.5-72B) foi usado para reescrever as consultas geradas pelos templates, seguido de validação manual.
• Divisão: Os dados são particionados ao nível do projeto (proporção 6:2:2) em conjuntos de treinamento, validação e teste para evitar vazamento de dados (data leakage).

2. Estrutura Proposta: TimeFore

Para resolver os desafios do ODTQA-FoRe, os autores propõem o TimeFore, um framework baseado em agentes de LLM que decompõe o problema em três papéis colaborativos:

• Retriever (Recuperador):

  • Função: Identifica tabelas relevantes e gera consultas SQL para buscar dados históricos.
  • Mecanismo: Emprega um processo de recuperação em dois estágios. Primeiro, um LLM resume a consulta do usuário em uma legenda de tabela canônica usando few-shot prompting. Se uma correspondência direta falhar, o algoritmo BM25 recupera a tabela semanticamente mais relevante.
  • Geração de SQL: O agente gera consultas SQL usando aprendizado em contexto (in-context learning de 5 disparos/shots) e emprega um ciclo de feedback de execução. Ele executa o SQL via uma ferramenta sqlQueryTool; se ocorrerem erros, ele refina a consulta com base na mensagem de erro, repetindo até 25 vezes.

• Forecaster (Previsor):

  • Função: Aborda a fraqueza inerente dos LLMs na predição de séries temporais invocando modelos externos especializados.
  • Mecanismo: O agente recebe dados históricos serializados (nome do projeto, mês, preço) e os formata em uma lista numérica de 24 meses. Em seguida, chama uma função predefinida, imputationThenPredictionTool, que orquestra um pipeline:
    1. Imputação: Usa TimesNet para lidar com valores ausentes na sequência histórica.
    2. Predição: Usa TimeXer para prever os próximos 12 meses de preços.
  • Saída: Retorna uma lista estruturada de preços previstos para 2024.

• Analyzer (Analisador):

  • Função: Sintetiza os dados históricos e as previsões para gerar a resposta padronizada final.
  • Mecanismo: Primeiro, classifica o tipo de consulta (previsão direta vs. raciocínio baseado em previsão) usando um classificador baseado em BERT.
  • Raciocínio: Com base na classificação, seleciona um prompt específico (in-context learning com 5 exemplos) para guiar o LLM.
  • Normalização: Um módulo dedicado de extração numérica garante que a saída seja concisa e estritamente formatada (ex: extraindo apenas o número necessário ou a lista de projetos), evitando explicações verbosas comuns em LLMs.

Principais Contribuições

1. Nova Definição de Tarefa: O artigo define o ODTQA-FoRe, expandindo o escopo do QA baseado em LLM para incluir a predição e o raciocínio de dados futuros.
2. Conjunto de Dados de Referência: A introdução do ODTQA-FoRe, o primeiro conjunto de dados cobrindo previsão de séries temporais e raciocínio baseado em previsões em um cenário de tabela de domínio aberto, preenchendendo uma lacuna crítica de recursos.
3. Proposta de Framework: O desenvolvimento do TimeFore, um framework de agentes colaborativos que efetivamente faz a ponte entre LLMs e modelos especializados de séries temporais, abordando desafios de recuperação, previsão e raciocínio.
4. Validação Empírica: Experimentos abrangentes estabelecendo fortes benchmarks de desempenho em cinco LLMs mainstream (Qwen3, GPT-OSS, GLM) e demonstrando a necessidade de abordagens híbridas.

Resultados Experimentais

Os autores avaliaram o TimeFore contra uma linha de base "Vanilla" (apenas LLM com recuperação BM25 e in-context learning) e vários modelos isolados.

• Desempenho de Previsão: Modelos especializados de séries temporais superaram significativamente os LLMs de propósito geral. O TimeXer alcançou o melhor desempenho (MRE: 0,1209) em comparação com LLMs gerais como Qwen3 30B (MRE: 0,1706) e GLM 4.5 Air (MRE: 0,1869).
• Desempenho Ponta a Ponta: O TimeFore superou significativamente a linha de base Vanilla em todas as métricas. Por exemplo, no modelo Qwen3 30B, o TimeFore melhorou o F1-score de Raciocínio Baseado em Previsão de 24,87% para 60,25% e reduziu o MSE de Previsão em aproximadamente 22%.
• Estudos de Ablação:
  • Previsão como o Gargalo: O estudo revelou que a precisão do componente de previsão de séries temporais é o principal gargalo. Substituir os dados futuros previstos pela verdade fundamental (Golden Future) gerou os maiores ganhos de desempenho (ex: +46,80% de precisão para Qwen3 30B), enquanto as melhorias na recuperação de tabelas ou geração de SQL foram marginais.
  • Robustez do Retriever: O método de recuperação em dois estágios (Resumo + BM25) alcançou altos escores F1 (>97%), confirmando que a aquisição de dados é robusta e não é a principal fonte de erro.
  • Necessidade do Analyzer: O módulo de extração numérica no Analyzer mostrou-se crucial; removê-lo causou uma queda significativa na Taxa de Conclusão Válida (ex: uma queda de 33,08% para Qwen3 30B).

Significância e Alegações

O artigo afirma que o ODTQA-FoRe e o TimeFore representam um passo fundamental para permitir que os LLMs lidem com tarefas de tomada de decisão dinâmicas e orientadas ao futuro. Os autores enfatizam que:

• Arquitetura Híbrida é Essencial: Confiar apenas em LLMs para a predição de séries temporais é insuficiente. Delegar a previsão para modelos especializados enquanto se utiliza LLMs para orquestração, recuperação e raciocínio produz um framework mais robusto.
• Lacuna de Benchmarking: O trabalho fornece o primeiro benchmark padronizado para previsão tabular de domínio aberto, permitindo pesquisas futuras para avaliar e melhorar essas capacidades.
• Aplicabilidade no Mundo Real: Ao focar no domínio imobiliário, o estudo demonstra a utilidade prática de tais sistemas para investimento e tomada de decisão financeira, embora o framework seja projetado para ser agnóstico ao domínio.

Os autores observam modestamente as limitações, incluindo a restrição atual ao domínio imobiliário e a falta de integração com variáveis exógenas (ex: políticas macroeconômicas), identificando estas como direções para trabalhos futuros.