Resumo Técnico: Baikal – Busca Estruturada para Pesquisa Profunda sobre Data Lakes

1. Formulação do Problema

O artigo aborda o desafio da pesquisa profunda sobre data lakes, definida como a tarefa onde um agente autônomo deve sintetizar um relatório ao investigar seletivamente evidências distribuídas através de milhares de tabelas heterogêneas e passagens de texto não estruturadas.

A dificuldade central reside na natureza de busca com orçamento (budgeted search) do problema. Dado um orçamento fixo de $B$ etapas (onde cada etapa gera um achado), o agente deve:

1. Recuperar evidências relevantes à consulta de uma coleção massiva e heterogênea ($L = T \cup P$).
2. Processar a evidência com raciocínio.
3. Crucialmente: Identificar um conjunto diverso de aspectos salientes para a consulta sem sobre-explorar evidências localmente promissoras.

Os métodos existentes de recuperação e geração iterativa frequentemente falham aqui porque dependem do acúmulo de contexto para mudar as crenças do modelo. Isso enviesa o agente em direção a evidências localmente promissoras, levando a uma cobertura pobre de regiões semânticas distintas e relatórios de baixa qualidade que negligenciam aspectos fundamentais da consulta. Os autores formalizam o objetivo como a maximização da pontuação média de qualidade dos achados ao longo do orçamento, onde a pontuação de qualidade ($\rho$) é o produto de quatro dimensões: fundamentação (groundedness), relevância, distinção e utilidade.

2. Metodologia: O Framework Baikal

O Baikal reformula a pesquisa profunda como um problema de bandit multi-braços com orçamento sobre um espaço semântico estruturado. O framework opera em três fases principais:

A. Adicionando Estrutura (Pré-computação)

Em vez de buscar em tabelas e passagens brutas, o Baikal primeiro organiza o data lake em regiões semânticas:

• Embedding: Um único codificador (ex: Qwen3-Embedding) realiza o embedding tanto dos metadados das tabelas (título, esquema) quanto das passagens de texto em um espaço vetorial compartilhado.
• Clustering: Usando BERTopic (UMAP para redução de dimensionalidade + HDBSCAN para agrupamento), o sistema agrupa milhares de itens em $|R|$ regiões semânticas.
• Definição de Região: Cada região $c$ contém um subconjunto de tabelas $T_c$ e passagens $P_c$, além de uma descrição. As regiões são projetadas para caber na janela de contexto de um agente, mantendo a coerência tópica. Isso reduz o espaço de busca de $|L|$ itens para $|R|$ "braços".

B. Busca e Investigação (Tempo de Execução)

Para uma determinada consulta $q$, o Baikal realiza uma busca sequencial sobre as regiões candidatas $C(q)$:

1. Seleção de Candidatos: A consulta é transformada em embedding, e o top-$k$ de tabelas/passagens é recuperado. Qualquer região que sobreponha esses itens do top-$k$ é retida como candidata. Isso garante que a recuperação de um item traga todo o seu espaço semântico para o escopo.
2. Política de Seleção de Região: Uma política $\pi$ seleciona uma região $c \in C(q)$ para investigação. O artigo avalia várias políticas:
   • Aleatória (Random): Amostragem uniforme.
   • Guiada por LLM: Um LLM seleciona com base nas descrições das regiões e no histórico.
   • Bayesiana $\epsilon$-greedy: Explora a região com a maior média estimada de recompensa, com probabilidade $\epsilon$ explorando via softmax sobre as médias posteriores.
   • Bayes-UCB: Seleciona a região com o maior quantil superior posterior, equilibrando exploração e explotação.
   • Nota: As políticas Bayesianas são inicializadas com priors elicitados por LLM para evitar o desperdício de orçamento em exploração não informada.
3. Geração e Seleção de Subquestões: Dentro da região selecionada, um LLM gera até $K$ subquestões analíticas (ex: contagens, comparações) fundamentadas no conteúdo da região. Uma subquestão é selecionada (aleatoriamente ou via política de LLM) para ser respondida.
4. Execução: Um agente de codificação (ex: OpenCode) executa a subquestão usando SQL com escopo de região contra um banco de dados SQLite das tabelas da região e lê suas passagens. O agente também pode realizar a expansão de região (usando grep para buscar passagens adicionais relevantes) caso a região inicial seja insuficiente.
5. Feedback de Recompensa: Um juiz LLM pontua o achado resultante nas quatro dimensões da rubrica. Essa pontuação serve como a recompensa $r_t$ para atualizar a estimativa de valor da política para aquela região (usando um esquema de pseudo-contagem para atualizações Bayesianas).

C. Síntese do Relatório

Uma vez que o orçamento é esgotado ou não restam candidatos, os achados coletados são sintetizados em um relatório final, com as afirmações atribuídas a fontes de evidência específicas.

3. Principais Contribuições

1. Formalização: Enquadrar a pesquisa profunda sobre data lakes como um problema de busca com orçamento sobre regiões semânticas estruturadas, abordando explicitamente o compromisso entre exploração e explotação.
2. Framework Baikal: Um sistema que agrupa dados heterogêneos em regiões semânticas e utiliza tomada de decisão sequencial (políticas de bandit) para guiar a coleta de evidências, em vez de depender apenas de acúmulo de contexto iterativo.
3. Novo Testbed e Avaliação: A construção de consultas de pesquisa profunda sobre data lakes HybridQA (10.993 tabelas) e TAT-QA (2.757 tabelas), acompanhada de uma rubrica prática para avaliar fundamentação, relevância, distinção e utilidade usando juízes LLM.
4. Validação Empírica: Demonstrar que os ganhos advêm do procedimento de busca (alocação sequencial de orçamento) e não apenas da estrutura. Fornecer um agente de codificação forte com as mesmas regiões não replica o desempenho do Baikal.

4. Resultados

Os autores avaliaram o Baikal contra baselines fortes, incluindo um agente OpenCode (com e sem artefatos de recuperação/clustering) e o DeepSearcher, em 15 consultas por data lake com um orçamento de 50 etapas.

• Desempenho: A melhor configuração do Baikal (Bayes-UCB no HybridQA; Random/Bayes $\epsilon$-greedy no TAT-QA) melhorou as pontuações dos relatórios em 28% no HybridQA e 36% no TAT-QA em relação aos baselines mais fortes.
• Dimensões de Qualidade: O Baikal melhorou significativamente a fundamentação (0.92 vs. ~0.72 para baselines) e a distinção (0.86 vs. ~0.62), que são críticas para evitar conteúdo repetitivo ou alucinado. Embora os baselines às vezes pontuassem mais alto em relevância, sua falta de fundamentação resultou em pontuações totais menores devido à natureza multiplicativa da rubrica.
• Eficiência de Busca: As políticas do Baikal se separaram dos baselines logo nas primeiras 10 etapas. Embora a seleção aleatória tenha performado surpreendentemente bem (devido à própria estrutura), as políticas Bayesianas mostraram vantagens claras conforme o orçamento aumentava (ex: Bayes-UCB ganhou 8,8% sobre a seleção aleatória com orçamento de 200).
• Análise de Custo: O Baikal incorreu em custos totais maiores por consulta porque produziu mais achados válidos (44,6 vs. 30,9 para o OpenCode). No entanto, o custo por achado válido foi comparável aos baselines, indicando que o prêmio compra evidências utilizáveis em vez de etapas falhas caras.

5. Significância e Alegações

O artigo afirma que a exploração semântica estruturada é essencial para a pesquisa sistemática sobre data lakes heterogêneos. A principal contribuição não é apenas o agrupamento de dados, mas o gerenciamento explícito do processo de busca sob um orçamento fixo.

• Estrutura vs. Busca: Os autores enfatizam que fornecer a um agente forte as mesmas regiões estruturadas (recuperação + clustering) não transfere os ganhos de desempenho. A melhoria provém da política de tomada de decisão sequencial que aloca o orçamento entre as regiões para maximizar a cobertura e a distinção.
• Escalabilidade: A abordagem lida com a natureza de "longo horizonte" da pesquisa profunda ao reduzir o espaço de busca para regiões semânticas, permitindo que o agente cubra partes distintas do data lake que métodos baseados em contexto iterativo frequentemente perdem.
• Reprodutibilidade: A rubrica de avaliação (fundamentação, relevância, distinção, utilidade) foi validada para concordância inter-LLM, mostrando alta consistência na pontuação de distinção e fundamentação.

Em conclusão, o Baikal demonstra que tratar um data lake como um espaço estruturado a ser pesquisado, em vez de um corpus do qual recuperar informações, oferece uma base robusta para tarefas de pesquisa profunda, particularmente quando a evidência está distribuída através de milhares de tabelas e passagens.