FACTS: Table Summarization via Offline Template Generation with Agentic Workflows

Título: FACTS: Sumarização de Tabelas via Geração de Modelos Offline com Fluxos de Trabalho Agênticos

1. O Problema

A sumarização de tabelas focada em consultas (query-focused table summarization) visa gerar resumos em linguagem natural de dados tabulares condicionados a uma pergunta específica do usuário. Diferente da sumarização genérica (que resume todo o conteúdo) ou de perguntas e respostas (que retorna fatos curtos), essa tarefa exige raciocínio complexo e narrativas explicativas.

As abordagens existentes enfrentam quatro limitações críticas:

1. Custo e Complexidade: Modelos table-to-text exigem fine-tuning caro e ainda lutam com raciocínio numérico e fidelidade lógica.
2. Limitações de Tokens e Eficiência: Métodos baseados em prompting direto em LLMs (Large Language Models) sofrem com limites de tokens, ineficiência ao processar tabelas grandes e risco de alucinação.
3. Privacidade: Enviar dados brutos de tabelas (que podem conter informações sensíveis como dados financeiros ou de saúde) para LLMs externos viola regulamentações como GDPR e HIPAA.
4. Falta de Reutilização e Robustez: Pipelines agênticos anteriores frequentemente dependem de decomposição manual ou planejamento em linguagem natural, que não são escaláveis nem robustos para tabelas com o mesmo esquema, exigindo reprocessamento total para cada nova instância de dados.

2. Metodologia: O Framework FACTS

Os autores propõem o FACTS (Fast, Accurate, and Privacy-Compliant Table Summarization), um fluxo de trabalho agêntico que gera modelos offline reutilizáveis. A premissa central é separar a geração do "modelo de resposta" (template) da execução sobre os dados reais.

O sistema opera em três estágios interconectados, validados por um Conselho de LLMs (LLM Council):

• Pré-requisito de Privacidade: O LLM nunca acessa os valores brutos da tabela. Ele apenas recebe o esquema (nomes de colunas, tipos de dados) e a consulta do usuário.

Os Três Estágios do FACTS:

1. Especificação e Filtragem Guiada pelo Esquema:

   • O agente gera perguntas orientadas e regras de filtragem baseadas apenas no esquema da tabela para clarificar a intenção do usuário.
   • Exemplo: Definir regras como "excluir transações onde a categoria é 'despesa'" sem ver os dados reais.
   • Validação: O LLM Council (um conjunto de modelos heterogêneos) avalia essas regras via votação majoritária.

2. Geração de Consultas SQL:

   • Com as especificações aprovadas, o agente sintetiza consultas SQL executáveis para extrair os dados relevantes.
   • As consultas são executadas localmente (ex: via DuckDB) para verificar erros e resultados.
   • Se falhar, o Council fornece feedback para refinamento iterativo até que a consulta seja correta e executável.

3. Geração e Alinhamento de Template Jinja2:

   • O agente cria um template Jinja2 que transforma os resultados do SQL em linguagem natural.
   • O Council verifica o alinhamento entre os campos retornados pelo SQL e as variáveis usadas no template.
   • O produto final é um Modelo Offline composto pelo SQL validado e o Template Jinja2.

O Conselho de LLMs (LLM Council):
Funciona como um mecanismo de controle de qualidade. Em vez de confiar em um único modelo, o FACTS utiliza múltiplos LLMs (ex: GPT-4o-mini, Claude-4, DeepSeek) que avaliam independentemente cada etapa (perguntas, SQL, template, resumo final). Um voto majoritário decide a aceitação, e o feedback agregado guia a revisão iterativa, reduzindo alucinações e garantindo consistência.

3. Principais Contribuições

1. Geração de Modelos Offline: Introduz a criação de artefatos reutilizáveis (SQL + Jinja2) ligados ao esquema e à semântica da consulta. Uma vez gerado, o mesmo modelo pode ser aplicado a milhares de tabelas com o mesmo esquema (ex: dados de 10 anos diferentes) sem reexecutar o LLM.
2. Fluxo de Trabalho Agêntico com Validação Iterativa: Propõe um pipeline de três estágios com um mecanismo de feedback loop robusto via LLM Council, garantindo correção lógica e alinhamento sintático.
3. Privacidade e Escalabilidade: O método atende a requisitos de privacidade ao expor apenas o esquema aos LLMs e garante escalabilidade ao evitar o envio de linhas de dados para os modelos, substituindo a geração de texto livre pela execução de SQL.

4. Resultados Experimentais

O FACTS foi avaliado em três benchmarks públicos: FeTaQA, QTSumm e QFMTS (incluindo cenários de tabela única e múltiplas tabelas).

• Desempenho Automatizado: O FACTS superou consistentemente as baselines (incluindo métodos prompt-based como DirectSumm e frameworks agênticos como SPaGe) nas métricas BLEU, ROUGE-L e METEOR.
• Avaliação Humana:
  • Precisão Factual: 94% de precisão na execução do SQL e 98% na renderização do template.
  • Preferência Humana: Em comparação direta com o melhor baseline (SPaGe), os avaliadores humanos preferiram o FACTS em 55-60% dos casos por ser mais completo, correto e ter menos alucinações.
• Reutilização e Escalabilidade:
  • Reutilização: Após a geração inicial do modelo offline, o FACTS é significativamente mais rápido ao processar novas tabelas com o mesmo esquema, pois executa apenas SQL e renderização, sem chamar o LLM novamente.
  • Escalabilidade: O tempo de execução do FACTS permanece estável à medida que o número de linhas da tabela aumenta, enquanto métodos concorrentes (que enviam a tabela inteira para o LLM) sofrem aumento linear no custo e latência.
• Estudo de Ablação: A versão "Single-Call" (gerar o template em uma única chamada sem validação iterativa) teve uma taxa de sucesso de SQL muito menor (83,2% vs 100% do FACTS), demonstrando a importância do ciclo de refinamento.

5. Significado e Impacto

O FACTS representa um avanço prático para a aplicação de IA em cenários corporativos reais (finanças, saúde, direito), onde:

• A precisão é não negociável: O uso de SQL executável garante que os números nos resumos sejam factualmente corretos, eliminando alucinações comuns em LLMs.
• A privacidade é crítica: Ao não expor dados sensíveis aos provedores de LLM, o método torna-se viável para ambientes com regulamentações estritas.
• A eficiência é essencial: A capacidade de reutilizar modelos para grandes volumes de dados com o mesmo esquema resolve o problema de custo e latência, permitindo a sumarização de tabelas massivas de forma econômica.

Em suma, o FACTS estabelece um novo paradigma para sumarização de tabelas focada em consultas, combinando a flexibilidade da linguagem natural com a rigorosa precisão da execução de código e a segurança de dados.