Pneuma-Seeker: A Relational Reification Mechanism to Align AI Agents with Human Work over Relational Data

O artigo apresenta o Pneuma-Seeker, um sistema que alinha agentes de IA ao trabalho humano com dados relacionais ao representar necessidades de informação como esquemas relacionais reificados e iterativamente refinados, superando a fragilidade dos LLMs em solicitações mal especificadas e demonstrando maior precisão e confiabilidade em ambientes reais.

O essencial

Imagine que você está tentando pedir uma receita de bolo muito específica para um cozinheiro super inteligente, mas que às vezes alucina e inventa ingredientes que não existem.

Você diz: "Quero um bolo para uma festa de aniversário."
O cozinheiro (que é uma Inteligência Artificial) responde: "Tudo bem! Vou fazer um bolo de chocolate com bacon e pimenta."
Você diz: "Não, eu não quero bacon!"
Ele responde: "Ok, então é um bolo de chocolate com pimenta e queijo."
Você: "Mas eu não quero queijo também!"

Esse é o problema que o Pneuma-Seeker tenta resolver.

O Problema: O "Cozinheiro" que Adivinha Demais

Muitas vezes, quando pedimos dados para computadores ou IAs, não sabemos exatamente o que queremos no início. Nossa ideia é vaga. Se pedirmos diretamente para uma IA, ela tenta adivinhar os detalhes (como quais tabelas de banco de dados usar ou como juntar as informações). Como ela não tem certeza, ela "alucina": inventa colunas, junta tabelas erradas ou dá respostas que parecem certas, mas estão erradas.

A Solução: O "Menu de Pedido" (Reificação Relacional)

O Pneuma-Seeker muda a forma como conversamos com a máquina. Em vez de pedir a resposta final diretamente, ele transforma o seu pedido vago em um esboço de tabela (uma estrutura de dados concreta).

Pense nisso como se você fosse a um restaurante:

1. O Pedido Vago: Você diz: "Quero algo para comer".
2. O Esboço (A Inovação): O sistema não traz o prato pronto. Ele traz um menu em branco e diz: "Olha, pensei em fazer um prato com Carne, Batata e Molho. Faz sentido para você?"
3. A Conversa: Você olha o menu e diz: "Não, eu não como carne, troque por Tofu. E o molho é muito forte, use Molho Leve."
4. A Coleta: Só depois que você aprova o menu (a estrutura da tabela), o sistema vai à despensa (os bancos de dados da empresa) procurar os ingredientes exatos, misturá-los e cozinhar o prato.

Esse "menu" é o que os autores chamam de Reificação Relacional. Ele transforma sua ideia abstrata em algo concreto que você pode ver, criticar e corrigir antes que a máquina comece a trabalhar.

Como Funciona a "Cozinha" (A Arquitetura)

O sistema é dividido em três equipes que trabalham juntas, como uma cozinha profissional:

1. O Chefe (Conductor): É o gerente. Ele conversa com você, entende o que você quer e cria o "menu" (a estrutura da tabela). Ele decide quais ingredientes buscar e como prepará-los.
2. O Garçom Especialista (Retriever): Ele vai até a despensa gigantesca da empresa (que tem milhões de arquivos e tabelas) e traz apenas os ingredientes que o Chefe pediu. Ele é muito bom em encontrar o que está escondido.
3. O Cozinheiro (Materializer): Ele pega os ingredientes trazidos pelo Garçom e segue o "menu" do Chefe para montar o prato. Se algo não estiver claro, ele não inventa; ele pergunta ao Chefe ou verifica a etiqueta do ingrediente.

O Grande Truque: "Checar a Geladeira" (Contexto Micro)

Um dos maiores problemas das IAs é que elas não conseguem ler milhões de linhas de dados de uma vez (é muita informação). Elas tendem a "adivinhar" o que está lá dentro.

O Pneuma-Seeker tem um superpoder: ele permite que a IA faça perguntas específicas aos dados antes de decidir.

• Exemplo: A IA acha que a coluna "Ano" tem dados de 2024. Em vez de assumir isso, ela roda um pequeno teste: "Ei, existe algum registro de 2024 nessa coluna?".
• Se a resposta for "Não", ela muda o plano. Isso evita erros bobos e garante que a resposta final seja baseada em fatos reais, não em suposições.

Por que isso é importante?

1. Confiança: Você não precisa confiar cegamente na IA. Você vê o "menu" (a estrutura) antes do "prato" (a resposta). Se o menu estiver errado, você corrige antes de gastar tempo.
2. Precisão: Como o sistema verifica os dados reais antes de montar a resposta, ele erra muito menos do que IAs que tentam adivinhar tudo de uma vez.
3. Velocidade na Longo Prazo: Pode parecer que demora mais porque o sistema "planeja" antes de agir, mas isso evita que você tenha que refazer o trabalho todo porque a IA inventou algo errado.

Resumo em uma Frase

O Pneuma-Seeker é um assistente inteligente que, em vez de tentar adivinhar a resposta para sua pergunta vaga, primeiro desenha um esboço do que você precisa, deixa você corrigir esse esboço, e só então vai buscar os dados reais para montar a resposta final, garantindo que tudo esteja certo e transparente.

Resumo técnico

Resumo Técnico: Pneuma-Seeker

1. O Problema

O trabalho aborda um desafio fundamental no ciclo de vida da gestão de dados: a dificuldade de automatizar as etapas de descoberta de dados e preparação de dados.

• Ambiguidade da Intenção: Os usuários (analistas, engenheiros de dados) raramente conseguem articular suas necessidades de informação com precisão suficiente para que sistemas de software as executem diretamente. As necessidades são frequentemente vagas, evolutivas e dependem de exploração iterativa.
• Fragilidade dos LLMs: Embora os Grandes Modelos de Linguagem (LLMs) possam interpretar linguagem natural, eles falham quando a intenção é subespecificada. Tendem a "alucinar" campos inexistentes, assumir caminhos de junção (join paths) incorretos ou produzir respostas não fundamentadas em dados reais.
• Custo Operacional: O processo atual exige coordenação manual entre equipes, transferência de conhecimento e iterações demoradas para transformar uma pergunta vaga em um conjunto de dados pronto para análise.

2. Metodologia: Reificação Relacional

A contribuição central do Pneuma-Seeker é o conceito de Reificação Relacional. Em vez de tentar responder diretamente a um prompt de linguagem natural, o sistema trata a necessidade do usuário como uma especificação de esquema relacional que deve ser negociada e concretizada.

• O Conceito (T, S): O sistema converte a necessidade de informação (I+) em um par explícito:
  • T (Target Tables): Um conjunto de visões derivadas (tabelas) com atributos, tipos e semântica definidos.
  • S (Transformation): Um programa executável (SQL ou Python) que transforma os dados brutos em T.
• Fluxo de Trabalho Iterativo:
  1. O sistema propõe um esquema alvo (T) baseado na consulta do usuário.
  2. O usuário revisa e refina o esquema (ex: "hazardous" é muito amplo; use "radioactive").
  3. O sistema descobre fontes de dados relevantes para preencher T e executa S para gerar a resposta final.
  4. Isso cria um artefato compartilhado e inspecionável entre humano e máquina, alinhando a intenção de alto nível com operações de dados de baixo nível.

Arquitetura do Sistema (Agente):
O Pneuma-Seeker utiliza uma arquitetura de agentes baseada em LLM com duas estratégias de gerenciamento de contexto:

1. Gerenciamento de Contexto Macro: Decomposição do fluxo de trabalho em três componentes especializados para reduzir a carga de contexto de cada agente:
   • Conductor (Maestro): Orquestra o fluxo, planeja ações e interage com o usuário.
   • Retriever: Descobre e recupera tabelas relevantes de repositórios heterogêneos.
   • Materializer: Constrói e materializa as tabelas T usando operadores relacionais e semânticos.
2. Gerenciamento de Contexto Micro: Para lidar com tabelas grandes que não cabem no contexto do LLM, o sistema permite que o agente execute scripts de sondagem (Context Extraction) via um serviço de banco de dados (DBService). O LLM pode solicitar verificações específicas (ex: "existem registros de 2025?", "qual a distribuição deste campo?") em vez de depender apenas de amostragem aleatória, garantindo precisão na construção de T.

3. Contribuições Principais

• Reificação de Intenção: Formaliza a ideia de representar necessidades de informação evolutivas como esquemas relacionais concretos, transformando "objetivos móveis" em artefatos verificáveis.
• Técnicas de Gerenciamento de Contexto: Introduz uma estratégia de micro-contexto onde agentes interagem ativamente com grandes volumes de dados através de execução de consultas sob demanda, superando as limitações de janelas de contexto de LLMs.
• Sistema Pneuma-Seeker: Implementação completa de um pipeline agentic que descobre fontes, materializa tabelas e sintetiza programas executáveis, mantendo rastreabilidade (proveniência) de todo o processo.
• Validação Empírica e de Implantação: Avaliação em múltiplos domínios e aprendizado de uma implantação real em uma organização universitária, destacando a importância da inspecionabilidade e confiança.

4. Resultados e Avaliação

O sistema foi avaliado contra baselines de ponta (como DS-Guru e smolagents) usando o benchmark KramaBench e dados reais de uma universidade.

• Qualidade da Resposta (RQ1): O Pneuma-Seeker superou consistentemente as baselines em precisão de respostas, especialmente em conjuntos de dados complexos (Biomedicina, Meio Ambiente).
  • No conjunto de dados Biomedical, alcançou 94,44% de qualidade, superando os concorrentes em mais de 27 pontos percentuais.
  • A ablação mostrou que a Reificação (T, S) e a Extração de Contexto são críticas para o desempenho; sem elas, a qualidade cai drasticamente devido a suposições incorretas sobre os dados.
• Custo e Escalabilidade (RQ2):
  • O sistema opera na fronteira de Pareto ótima entre custo (tokens) e qualidade.
  • Em termos de escalabilidade de memória, o Pneuma-Seeker é superior: enquanto sistemas que carregam dados na memória (como DS-Guru) atingem picos de uso de RAM de gigabytes, o Pneuma-Seeker mantém o uso baixo (centenas de MBs) ao depender de execução baseada em banco de dados (DuckDB).
  • O tempo de execução é ligeiramente maior devido ao processamento estruturado, mas o custo de memória é significativamente menor.
• Validação Qualitativa: Em casos de uso reais (ex: análise de pedidos de compra), a exposição do esquema (T, S) permitiu que os usuários identificassem inconsistências nos dados (ex: definições diferentes de "ano fiscal" em tabelas distintas) que não seriam perceptíveis em uma resposta de texto simples, permitindo refinamentos precisos da necessidade de informação.

5. Significado e Impacto

O Pneuma-Seeker representa uma mudança de paradigma na interação humano-máquina para análise de dados:

• Confiança e Transparência: Ao forçar a explicitação de suposições de modelagem (esquema T) e transformações (S), o sistema torna o processo de descoberta de dados inspecionável. O usuário pode verificar como a resposta foi construída antes de confiar nela.
• Catalisador de Convergência: O sistema não substitui a comunicação humana, mas acelera a convergência de perguntas vagas para perguntas precisas e acionáveis.
• Fundação para Sistemas de Dados Confiáveis: O trabalho demonstra que a reificação relacional é uma base prática para construir sistemas de descoberta e preparação de dados mediados por LLMs que são robustos, escaláveis e adequados para ambientes corporativos onde a precisão e a rastreabilidade são críticas.

Em resumo, o Pneuma-Seeker resolve o problema da "alucinação" e da ambiguidade em sistemas de dados ao transformar a intenção do usuário em um contrato de dados estruturado e verificável, permitindo que agentes de IA operem com precisão sobre grandes volumes de dados heterogêneos.