Resumo Técnico: LAKEQUEST

Definição do Problema

Os sistemas modernos de Questionamento e Resposta (QA) alcançaram um sucesso significativo em corpora curados e homogêneos (ex: compreensão de leitura, recuperação de texto de domínio aberto). No entanto, o conhecimento científico e empresarial do mundo real raramente é armazenado como texto plano e alinhado a esquemas. Em vez disso, ele reside em data lakes: coleções heterogêneas e fracamente estruturadas de tabelas, passagens e metadados interligados.

Benchmarks atuais falham ao avaliar o desempenho de ponta a ponta necessário para navegar nesses ambientes. Eles ou abstraem o processo ruidoso de descoberta ou avaliam o raciocínio sobre dados que já foram limpos. Consequentemente, há uma carência de ambientes de avaliação que simultaneamente testem a descoberta de fontes, a composição entre fontes e a atribuição fiel sobre corpora heterogêneos e fracamente estruturados.

Metodologia: O Framework LAKEQUEST

Para abordar essa lacuna, os autores introduzem o LAKEQUEST, um benchmark validado por humanos projetado para avaliar o pipeline de recuperação e síntese de ponta a ponta sobre data lakes realistas.

1. Construção do Dataset

O LAKEQUEST abrange três domínios diversos, preservando sua heterogeneidade estrutural nativa em vez de achatá-los em uma representação uniforme:

• Metadados de IA/ML: Um repositório de model cards e dataset cards do Hugoing Face Hub, focando em desambiguação de entidades e encadeamento de relações sobre metadados fracamente ligados.
• Varejo Bancário: Um lake sintético de alta fidelidade derivado de esquemas relacionais inspirados em open-banking (clientes, contas, transações, políticas), avaliando a tomada de decisão fundamentada sob restrições rigorosas de política.
• Informação Biomédica de Medicamentos: Um corpus híbrido que funde registros XML estruturados do DrugBank 6.0 com literatura científica de acesso aberto do PubMed, enfatizando a integração de evidências multimodais.

O dataset contém 9.846 pares de QA validados por humanos. Cada pergunta é acompanhada por uma resposta de referência e ponteiros de evidência exatos e conscientes da modalidade (ex: linhas específicas de tabelas ou intervalos de passagens).

2. Pipeline de Construção

Os autores utilizam um pipeline de cinco estágios reprodutível para sintetizar e validar o dataset:

1. Instanciação do Lake: Preservando o esquema nativo do domínio.
2. Síntese de Candidatos: Utilizando um modelo de linguagem forte (GPT-5) para gerar perguntas, respostas e ponteiros de evidência a partir de subgrafos amostrados.
3. Filtragem Estrutural: Removendo programaticamente saídas malformadas.
4. Filtragem Semântica: Utilizando um LLM-como-juiz para rejeitar candidatos triviais que poderiam ser respondidos apenas via memória paramétrica.
5. Validação Humana: Revisão humana rigorosa para verificar a Respondibilidade (a pergunta pode ser respondida exclusivamente usando a evidência citada?) e a Atribuição (a resposta é fiel ao texto citado?).

3. Taxonomia de Tarefas

O benchmark organiza as tarefas em quatro famílias de raciocínio:

• Buscas de fonte única: Extração de fatos de objetos isolados.
• Composição entre fontes: Combinar fatos através de objetos heterogêneos (ex: unir uma política a uma transação).
• Raciocínio multi-hop: Inferência encadeada sobre entidades intermediárias ou metadados vinculados.
• Recuperação baseada em âncoras: Raciocínio sobre entidades relacionadas em meio a distratores semanticamente próximos.

4. Protocolo de Avaliação

A avaliação isola a descoberta de fonte (recuperação) da síntese cross-modal (geração). As métricas incluem:

• Acurácia: Correção binária.
• Fidelidade (Atribuição): Se a resposta prevista é suportada pelo conjunto de evidências previsto (estilo AIS).
• Qualidade de Recuperação: Recall de evidência de ouro (gold evidence) consciente do domínio.
• Uso de Tokens: Pegada total de tokens de ponta a ponta.

Os baselines avaliados incluem Zero-Shot prompting, RAG padrão e métodos agentes de uso de ferramentas (XMODE, RESP).

Resultados Principativos e Análise

Avaliações de baseline nos três domínios revelam que uma recuperação de alta qualidade não garante o raciocínio correto, e os modos de falha são fortemente dependentes do domínio.

• Domínio de IA/ML (Gargalo de Descoberta): A qualidade da recuperação é o principal gargalo. Embora o RAG alcance um recall modesto (ex: 0.09 para questões de Modelos), a acurácia é maior (0.35), sugerindo que os data lakes contêm redundância factual. Sistemas podem frequentemente sintetizar respostas corretas a partir de evidências válidas alternativas mesmo se o artefato "gold" específico for perdido. No entanto, navegar por metadados fracamente ligados para desambiguação de entidades continua sendo difícil.
• Domínio de Varejo Bancário (Falha de Fundamentação): A principal falha não é a recuperação, mas a fundamentação (grounding). Sistemas agentes (XMODE) alcançam alto recall de política (>0.85), mas lutam para fundamentar essas regras abstratas contra livros contábeis operacionais específicos para executar decisões fiéis. Modelos zero-shot às vezes alcançam alta acurácia ao confiar em priors paramétricos para princípios financeiros, mas falham na métrica de fidelidade (atribuição), destacando o risco de respostas não auditáveis em ambientes corporativos.
• Domínio de Drogas (Gargalo de Síntese): Este domínio é caracterizado como um desafio de síntese cross-modal em vez de um problema limitado pela recuperação. Embora a recuperação de passagens e tabelas seja frequentemente forte, a acurácia de ponta a ponta cai significativamente quando o raciocínio conjunto sobre evidências estruturadas e não estruturadas é exigido (ex: acurácia de Passagem-Tabela em 0.66, apesar do alto recall individual). O raciocínio multi-hop sobre evidências biomédicas estruturadas permanece substancialmente mais difícil do que buscas em tabelas únicas.

Estudo de Ablação: Quando fornecidos com evidência de ouro perfeita (Context Bundle), a acurácia de IA/ML satura em 98.7%, confirmando que é um problema de descoberta. Em contraste, a acurácia do lake de Drogas atinge apenas 6 de 62.5% com evidência perfeita, indicando que o raciocínio cross-modal sobre tabelas biomédicas densas está fundamentalmente quebrado nos LLMs atuais, independentemente do desempenho de recuperação.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. O Benchmark LAKEQUEST: Um dataset validado por humanos com mais de 9,8k perguntas avaliando o raciocínio fundamentado através de três data lakes heterogêneos (IA/ML, Varejo Bancário, Biomédico/Drogas).
2. Um Framework de Construção Reprodutível: Um protocolo de cinco estágios para sintetizar, filtrar e validar pares de QA com rastros de evidência explícitos sobre corpora fracamente estruturados.
3. Análise Empírica de QA Moderno: Avaliações extensas de baseline revelando que uma alta qualidade de recuperação não se traduz consistentemente em respostas precisas e fiéis, especialmente quando a composição multi-etapa ou entre fontes é necessária.

Os autores posicionam o LAKEQUEST como um testbed necessário para impulsionar a próxima geração de sistemas de QA agentes e confiáveis, capazes de descoberta rigorosa e atribuição fiel sobre data lakes do mundo real. Eles enfatizam que o benchmark é destinado a ser um recurso de avaliação rigoroso, não um substituto para a expertise de domínio ou supervisão humana em pipelines de decisão de alto risco.