DataFactory: Collaborative Multi-Agent Framework for Advanced Table Question Answering

O artigo apresenta o DataFactory, um framework colaborativo multi-agente que supera as limitações de modelos de linguagem únicos na Resposta a Perguntas sobre Tabelas (TableQA) através da orquestração especializada de agentes, transformação automática de dados em grafos de conhecimento e estratégias de engenharia de contexto, resultando em ganhos significativos de precisão e robustez em benchmarks padrão.

O essencial

🏭 O DataFactory: Uma Fábrica de Respostas Inteligente para Tabelas

Imagine que você tem uma pilha gigante de planilhas de Excel, bancos de dados e registros de empresas. Você quer fazer perguntas complexas como: "Qual departamento vendeu mais no último trimestre e quem são os funcionários que colaboram mais entre si?"

Antes, os computadores (especificamente os modelos de Inteligência Artificial) tinham dificuldade em responder a isso. Eles ou "alucinavam" (inventavam dados), ou ficavam confusos com a quantidade de informações, ou não conseguiam conectar pontos distantes na tabela.

O DataFactory é como uma nova fábrica de inteligência que resolve esses problemas. Em vez de ter um único "gênio" tentando fazer tudo sozinho, o DataFactory organiza uma equipe especializada que trabalha junta.

🎭 Os Personagens da História (A Equipe)

Para entender como funciona, imagine que o DataFactory é uma empresa de consultoria com três departamentos principais:

1. O Chefe de Projetos (Data Leader):

   • Quem é: O gerente experiente que recebe a sua pergunta.
   • O que faz: Ele não tenta adivinhar a resposta. Primeiro, ele pensa: "O que o cliente realmente precisa? Devo olhar os números ou as conexões entre as pessoas?". Ele usa uma lógica chamada ReAct (Raciocinar e Agir), que significa: pensar, agir, ver o resultado, e pensar de novo se necessário. Ele divide o trabalho e manda as tarefas para os especialistas.

2. A Equipe de Contabilidade (Database Team):

   • Quem é: Os especialistas em números e listas.
   • O que faz: Eles são mestres em SQL (a linguagem dos bancos de dados). Se você pergunta "Quantas vendas fizemos?", eles vão direto à planilha, somam os números e trazem o resultado exato. Eles são rápidos, precisos e ótimos em cálculos.

3. A Equipe de Detetives (Knowledge Graph Team):

   • Quem é: Os especialistas em conexões e relacionamentos.
   • O que faz: Eles transformam a planilha chata em um mapa de conexões (um Grafo de Conhecimento). Se você pergunta "Quem conhece quem no projeto?" ou "Como a ideia A levou ao evento B?", eles não olham apenas linhas e colunas; eles olham as "pontes" entre os dados. Eles entendem que "João trabalha com Maria" e "Maria conhece Pedro", então "João e Pedro estão conectados".

🚀 Como a Mágica Acontece (O Processo)

Quando você faz uma pergunta, o DataFactory não joga tudo em um único computador. Ele segue um roteiro inteligente:

1. Exploração (O "Chefe" investiga): Antes de responder, o Chefe manda a equipe de contabilidade e a de detetives darem uma olhada rápida nos dados para ver o que existe. É como um chef de cozinha cheirar os ingredientes antes de começar a cozinhar. Isso evita que eles inventem coisas que não existem.
2. Divisão de Trabalho:
   • Se a pergunta é sobre números (ex: "Qual foi o lucro?"), o Chefe manda a Equipe de Contabilidade fazer a conta.
   • Se a pergunta é sobre relações (ex: "Quem influenciou a decisão?"), ele chama a Equipe de Detetives.
   • Se a pergunta é complexa (ex: "Qual o departamento mais lucrativo e como a equipe deles se organiza?"), o Chefe coordena ambas as equipes trabalhando juntas.
3. Montagem da Resposta: O Chefe pega os números da contabilidade e as conexões dos detetives, junta tudo e escreve uma resposta clara e humana para você.

🌟 Por que isso é tão especial? (As Vantagens)

• Menos Mentiras (Alucinações): Como cada equipe é especialista em sua área e o Chefe verifica os fatos antes de responder, o sistema inventa muito menos coisas erradas.
• Pensamento em Múltiplos Passos: Antigamente, a IA tinha dificuldade em perguntas que exigiam dois ou três passos de lógica (ex: A leva a B, B leva a C, então A leva a C?). O DataFactory é ótimo nisso, porque os "Detetives" são treinados para seguir esses caminhos.
• Adaptabilidade: Se uma equipe não consegue encontrar a resposta, o Chefe muda a estratégia e pede ajuda à outra equipe ou muda a forma de perguntar. É como um time de futebol que se adapta se o plano A não funcionar.

📊 Os Resultados (O que os números dizem)

Os autores testaram esse sistema em vários desafios difíceis e os resultados foram impressionantes:

• A precisão das respostas aumentou em 20% a 24% comparado aos métodos antigos.
• O sistema funciona bem mesmo com modelos de IA menores, porque a divisão de trabalho ajuda a compensar as limitações de cada um.
• Eles descobriram que menos é mais: às vezes, pedir para as equipes conversarem muitas vezes (muitas "rodadas" de discussão) atrapalha. O ideal é uma conversa curta e direta, seguida de uma resposta.

💡 Em Resumo

O DataFactory é como transformar uma sala cheia de pessoas gritando respostas aleatórias em uma orquestra bem ensaiada.

• O Maestro (Data Leader) garante que todos toquem na hora certa.
• Os Violinistas (Database Team) cuidam da melodia dos números.
• Os Cantores (Knowledge Graph Team) trazem a harmonia das conexões.

O resultado? Uma música (resposta) perfeita, clara e sem erros, que qualquer pessoa pode entender, mesmo sem saber ler partituras (código de programação).

Resumo técnico

Resumo Técnico: DataFactory para Resposta a Perguntas em Tabelas (TableQA)

1. O Problema

A Resposta a Perguntas em Tabelas (TableQA) visa permitir que usuários interajam com dados tabulares estruturados usando linguagem natural. Apesar dos avanços recentes com Grandes Modelos de Linguagem (LLMs), as abordagens atuais enfrentam limitações críticas:

• Restrições de Contexto: LLMs têm limites de comprimento de contexto que impedem o processamento de tabelas grandes.
• Alucinações: Modelos tendem a gerar informações não suportadas pelos dados da tabela, comprometendo a confiabilidade.
• Raciocínio Complexo: Arquiteturas de agente único (single-agent) lutam para lidar com cenários que exigem raciocínio multihop (múltiplos passos), inferência de relações semânticas e lógica complexa que vai além da simples extração de dados.
• Falta de Especialização: Abordagens existentes frequentemente tratam todos os tipos de consulta de forma genérica, sem separar o processamento de dados estruturados (SQL) do raciocínio relacional (Grafos de Conhecimento).

2. Metodologia: O Framework DataFactory

O DataFactory é um framework colaborativo baseado em agentes de LLM que supera essas limitações através da coordenação de uma equipe especializada e da transformação automática de dados. A arquitetura é composta por três componentes principais operando em um fluxo de três fases:

A. Arquitetura de Agentes (Tripartite)

1. Data Leader (Líder de Dados):
   • Atua como o orquestrador central, utilizando o paradigma ReAct (Reasoning and Acting).
   • Decompõe consultas complexas do usuário em subtarefas, delegando-as dinamicamente às equipes especializadas.
   • Realiza "consultas" em linguagem natural com as equipes, permitindo planejamento adaptativo e ajuste de estratégia baseado em descobertas intermediárias, em vez de seguir fluxos de trabalho rígidos.
2. Equipe de Banco de Dados (Database Team):
   • Especializada em processamento de dados estruturados, cálculos numéricos, agregações e filtragem precisa.
   • Gera consultas SQL otimizadas.
   • Utiliza Retrieval-Augmented Generation (RAG) com histórico de consultas, esquemas de banco de dados (DDL) e conhecimento de domínio para reduzir alucinações.
3. Equipe de Grafo de Conhecimento (Knowledge Graph Team):
   • Especializada em representação de conhecimento relacional e descoberta de conexões semânticas.
   • Transforma dados tabulares planos em Grafos de Conhecimento (KG) e gera consultas Cypher.
   • É crucial para raciocínio multihop e análise de relações indiretas entre entidades.

B. Transformação Automatizada de Dados para KG
O framework formaliza a transformação de dados tabulares ($\mathcal{D}$) para Grafos de Conhecimento ($\mathcal{G}$) através de uma função de mapeamento $\mathcal{F}: \mathcal{D} \times \mathcal{S} \times \mathcal{R} \rightarrow \mathcal{G}$.

• Fase de Ingestão: Análise automática de cabeçalhos, inferência de tipos de dados e geração de DDL.
• Construção de Entidades e Relações: Identificação de entidades únicas, tratamento de dados compostos (split-based) e descoberta de relações intra e inter-linhas (baseadas em co-ocorrência, similaridade semântica ou regras lógicas).
• Persistência: Os dados são armazenados em um banco de dados de grafos (Neo4j) para consultas futuras.

C. Fluxo de Trabalho (3 Fases)

1. Armazenamento de Informação: Ingestão automática de dados e construção do KG.
2. Extração de Conhecimento: Geração de consultas SQL/Cypher usando prompts enriquecidos com contexto (histórico, esquema, domínio).
3. Geração de Insights: O Data Leader sintetiza os resultados das duas equipes, realiza verificação de consistência e gera respostas coerentes e visualizações.

3. Principais Contribuições

1. Coordenação de Equipes Especializadas: Introduz uma divisão de trabalho clara entre uma equipe de Banco de Dados (focada em precisão estrutural/SQL) e uma equipe de Grafo de Conhecimento (focada em raciocínio relacional/Cypher), superando as limitações de agentes únicos.
2. Transformação Automatizada de Dados para KG: Propõe um algoritmo formal para converter tabelas em grafos de conhecimento sem engenharia manual de esquema, permitindo raciocínio multihop escalável.
3. Orquestração Dinâmica via ReAct: O Data Leader utiliza o paradigma ReAct para coordenação baseada em consulta em linguagem natural, permitindo adaptação dinâmica e resolução de conflitos entre equipes, em vez de workflows pré-definidos.
4. Redução de Alucinações: Uso de engenharia de contexto que integra padrões históricos, DDL e conhecimento de domínio para guiar a geração de consultas.

4. Resultados Experimentais

O framework foi avaliado em três conjuntos de dados de referência (TabFact, WikiTableQuestions, FeTaQA) utilizando 8 LLMs de 5 provedores diferentes.

• Desempenho Geral: O DataFactory superou consistentemente métodos baseados em DNN, prompt engineering, geração de código e outros agentes.
  • TabFact: Melhoria de 20,2% na precisão em relação aos baselines.
  • WikiTableQuestions: Melhoria de 23,9% na precisão.
  • FeTaQA: Melhorias significativas nas métricas ROUGE.
  • O tamanho do efeito (Cohen's d) foi > 1, indicando melhoria estatisticamente significativa.
• Impacto da Colaboração: A colaboração entre as duas equipes superou as variantes de equipe única em 5,5% (TabFact), 14,4% (WikiTQ) e até 17,1% (FeTaQA ROUGE-2).
• Análise de Frequência de Interação: Descobriu-se uma relação em forma de "U invertido" entre a frequência de interação dos agentes e o desempenho. Otimização ocorre em 1-3 chamadas; interações excessivas (>6 chamadas) levam à degradação do desempenho devido à confusão e acúmulo de erros.
• Adaptabilidade: O framework funcionou bem em modelos de diferentes tamanhos (de 14B a 235B parâmetros), demonstrando que a colaboração especializada pode compensar limitações de modelos menores.

5. Significado e Implicações

• Teórico: O trabalho avança a compreensão de sistemas multiagentes ao demonstrar que a especialização de papéis combinada com comunicação flexível em linguagem natural supera workflows rígidos. Formaliza a integração de modalidades de raciocínio estruturado e relacional.
• Prático: O framework oferece uma plataforma interativa que permite a usuários não técnicos explorarem dados complexos e realizarem análises de negócios avançadas sem precisar escrever SQL ou Cypher.
• Escalabilidade: A abordagem de transformação automática de dados para grafos e a arquitetura modular permitem a implantação em cenários empresariais reais, suportando tanto modelos locais (open-source) quanto APIs comerciais.

Em conclusão, o DataFactory representa um avanço significativo na área de TableQA, transformando a interação com dados tabulares de uma tarefa de extração simples para um processo de análise inteligente, colaborativa e baseada em evidências.