Resumo Técnico: Contratos de Esquema Executáveis para Recuperação de Múltiplas Fontes

Declaração do Problema

Dados do mundo real são inerentemente heterogêneos, abrangendo tabelas estruturadas, logs JSON semiestruturados, documentos não estruturados e wikis internas. Essas fontes frequentemente possuem identificadores inconsistentes e semânticas implícitas. Embora os sistemas de Geração Aumentada de Recuperação (RAG) se destaquem na busca em documentos únicos, eles frequentemente falham em junções entre fontes, recuperação de múltiplos saltos (multi-hop) e fluxos de trabalho que exigem procedência auditável. O principal gargalo não é a capacidade do modelo de linguagem, mas a falta de estrutura: os sistemas não conseguem alinhar entidades, percorrer relacionamentos ou justificar respostas entre fontes díspares de forma confiável sem engenharia de esquema manual. As soluções existentes ou exigem uma curadoria manual estática e dispendiosa que não escala com a evolução do esquema, ou dependem de abordagens totalmente abertas que sacrificam a correção e a latência.

Metodologia

Os autores propõem um sistema que descobre automaticamente um esquema executável unificado a partir de dados brutos de múltiplas fontes e o utiliza como um contrato compartilhado tanto para a construção de um grafo de conhecimento (KG) offline quanto para a recuperação em tempo de consulta (query-time). O pipeline consiste em três estágios principais:

1. Indução de Esquema (O Contrato)

O sistema induz um esquema unificado $\Sigma = (F, T, R, I)$ a partir de fontes heterogêneas $S$ sem anotação manual.

• Catálogo de Campos de Mundo Fechado: Para evitar alucinações de LLM, o sistema primeiro perfila as fontes para construir um catálogo $F$ de todos os campos observáveis com identificadores estáveis. O LLM é estritamente limitado a referenciar apenas esses campos atestados.
• Descoberta Semântica de Dois Passos: O LLM realiza uma passagem de "descoberta profunda" em uma amostra representativa e uma passagem de "validação" em amostras diversas para extrair tipos de entidades, mapeamentos de atributos e relacionamentos. Essa estratégia de dois passos recupera tipos de entidades raros perdidos por extração de passo único.
• Inteligência Estrutural Estatística: Em vez de depender do LLM para padrões estruturais, o sistema utiliza análise estatística determinística para inferir chaves de identidade (para deduplicação), chaves estrangeiras (para vinculação entre fontes) e hierarquias de fontes baseadas em sobreposição de valores e cardinalidade.
• Unificação entre Fontes: Usando amostragem correspondente (agrupando registros por valores de chave compartilhados em vez de indexação paralela), o sistema unifica esquemas por fonte em um $\Sigma$ global com ganchos de procedência.

2. Construção Guiada pelo Esquema

O esquema induzido $\Sigma$ atua como um plano de controle para a construção de um grafo de conhecimento Neo4j consciente de procedência $G$.

• Extração: $\Sigma$ dita a estratégia de extração. Campos estruturados são extraídos deterministicamente; a extração por LLM é acionada apenas para fontes híbridas ou campos marcados como tal.
• Deduplicação: Chaves de identidade definidas em $\Sigma$ permitem deduplicação determinística $O(n)$. Para tipos sem chaves, o agrupamento baseado em embeddings é usado como alternativa (fallback).
• Vinculação: Arestas entre fontes são materializadas via junções de índice de hash em chaves estrangeiras declaradas, permitindo consultas de múltiplos saltos entre fontes.
• Procedência: Cada entidade extraída é vinculada ao seu nó SourceRecord de origem via arestas DERIVED_FROM, garantindo rastreabilidade total.

3. Recuperação e QA Guiados pelo Esquema

No tempo de consulta, o sistema emprega um agente multi-ferramenta que utiliza o esquema (opcionalmente estendido via protocolo monotônico) para rotear a recuperação.

• Roteamento Condicionado ao Esquema: O agente faz a introspecção de $\Sigma$ para construir um contexto de execução. Ele roteia consultas com base em uma ordem de preferência: SCHEMALOOKUP para restrições de tipos discretos e valores tipados; VECTORRAG para evidências não estruturadas; e EXTERNALSEARCH para consultas fora da distribuição (out-of-distribution - OOD).
• Portão de Confiabilidade: Um mecanismo de portão de dois estágios evita alucinações. Um portão de pré-recuperação verifica se as entidades da consulta estão dentro dos conjuntos de valores conhecidos do esquema; um portão de pós-recuperação verifica se as respostas candidatas estão fundamentadas na evidência recuperada.
• Extensão em Tempo de Consulta: Se uma consulta introduzir tipos de entidades não resolvidos, o sistema pode realizar uma extensão de esquema monotônica (adicionando novos tipos sem alterar as definições existentes) para lidar com lacunas conceituais, seja de forma persistente ou em memória para a consulta específica.

Principais Contribuições

O artigo formula o QA heterogêneo em torno de um contrato de esquema executável compartilhado. As contribuições específicas são:

1. Descoberta de Esquema Executável: Demonstrar que esquemas descobertos por LLM podem ser tornados executáveis sobre fontes brutas heterogêneas ao fundamentá-los em um catálogo de campos de mundo fechado e usar métodos estatísticos para inferência estrutural.
2. Construção Guiada pelo Esquema: Mostrar que a execução do esquema induzido durante a ingestão (especificando caminhos de extração, chaves e vínculos) melhora significativamente o desempenho de QA subsequente em comparação com a remoção da inteligência estrutural.
3. Recuperação Guiada pelo Esquema: Provar que expor o esquema induzido ao agente de QA para decisões de roteamento produz ganhos substanciais sobre agentes de uso de ferramentas genéricos (ex: ReAct, PlanAct) e bases de comparação padrão de RAG.
4. Extensão Monotônica: Introduzir um mecanismo para evoluir esquemas em tempo de consulta enquanto mantém a integridade das definições anteriores.

Resultados

O sistema foi avaliado em quatro benchmarks: BlendQA (descoberta entre fontes), HybridQA (ponte tabela-texto), TAT-QA (raciocínio financeiro) e ComplexTR (raciocínio temporal de múltiplos saltos).

• Desempenho: Em comparações controladas zero-shot utilizando o mesmo LLM (GPT-4.1) e o mesmo ambiente de avaliação, o sistema Guiado pelo Esquema alcançou as maiores pontuações de Exact Match (EM) e F1 em todos os quatro benchmarks.
  • No BlendQA, melhorou o EM em +2,6 sobre a próxima melhor linha de base controlada (AtomR) e +10,2 sobre RAG.
  • No HybridQA, alcançou +19,8 EM sobre AtomR e +51,3 EM sobre RAG.
  • No TAT-QA e ComplexTR, superou similarmente todas as linhas de base, com ganhos de +5,7 e +10,5 EM, respectivamente, sobre os melhores métodos seguintes.
• Estudos de Ablação: A remoção de componentes específicos confirmou suas contribuições independentes:
  • Remover a orientação de esquema (revertendo para roteamento estilo ReAct) reduziu o EM em 9,3 no BlendQA.
  • Remover a ingestão de KG prejudicou significativamente o desempenho de múltiplos saltos (ex: -8,0 EM no BlendQA).
  • Remover a inteligência estrutural degradou o EM em 2,1–6,8 em vários conjuntos de dados.
  • Remover a extensão em tempo de consulta reduziu o desempenho em conjuntos de dados que exigiam evolução de esquema (HybridQA, TAT-QA), embora o sistema tenha permanecido robusto sem ela.
• Avaliação Cross-Model: Os ganhos foram consistentes em três famílias de LLM (GPT-4.1, Claude Haiku, Llama 3.3 70B), indicando que a abordagem não é específica para uma única arquitetura de modelo.

Significância e Alegações

Os autores alegam que seus resultados estabelecem três princípios para QA heterogêneo:

1. A indução de esquema de mundo fechado é necessária para tornar a estrutura descoberta pelo LLM executável e evitar referências de campos alucinadas.
2. A análise estrutural estatística deve preceder a extração semântica para inferir de forma confiável chaves e relacionamentos que os LLMs têm dificuldade em detectar.
3. Agentes de recuperação beneficiam-se quando o esquema usado para a construção também condiciona o roteamento; esta abordagem supera substancialmente o uso de ferramentas de agentes genéricos.

O artigo posiciona este trabalho como um passo em direção a sistemas de QA autoconfiguráveis e autoextensíveis que podem operar sobre fontes de dados não estacionárias sem design de esquema manual, mantendo baixa latência, controlabilidade e procedência auditável. Os autores observam limitações quanto ao escopo da avaliação cross-model (limitada ao BlendQA para alguns modelos) e o custo de latência da extensão de esquema em tempo de consulta, que pode ser proibitivo para aplicações de tempo real estritas.