Resumo Técnico: ENTLORE – Um Benchmark Baseado em Grafos para Raciocínio Organizacional Latente

Declaração do Problema

O Questionamento de Respostas (QA) Empresarial é tradicionalmente formulado como uma tarefa de recuperação, onde os sistemas identificam documentos internos para gerar respostas fundamentadas. No entanto, os registros empresariais rotineiros são frequentemente subprodutos de trabalho, e não descrições autocontidas projetadas para consultas futuras. Consequentemente, muitas relações organizacionais críticas — como escopos de projeto, correspondências de apelidos ou responsabilidades de fluxos de trabalho — permanecem implícitas através de fontes heterogêneas.

Benchmarks existentes (ex: TechQA, EKRAG, MultiDoc2Dial) melhoraram a avaliação multiferonte, mas tipicamente materializam a evidência ao longo de um caminho de raciocínio predefinido. Nesses setups, cada etapa necessária é explicitamente declarada no corpus, testando a capacidade de um sistema de recuperar e compor fatos declarados, em vez de recuperar uma relação alvo que está ausente do texto. Este artigo identifica uma lacuna na avaliação atual: a incapacidade de avaliar o raciocínio organizacional latente, definido como a capacidade de recuperar e raciocinar sobre relações organizacionais que não estão explicitamente declaradas em nenhum documento liberado, mas que são deriváveis da estrutura organizacional subjacente.

Metodologia: O Framework ENTLORE

Os autores introduzem o ENTLORE, um framework de construção de benchmark baseado em grafos, projetado para avaliar essa capacidade de raciocínio latente sem expor a verdade fundamental aos sistemas avaliados. O framework opera em quatro estágios:

1. Reconstrução do Grafo de Verdade Auditado ($G_{truth}$):

   • O sistema reconstrói um grafo bruto ($G_{raw}$) a partir de documentos rotineiros, tabelas organizacionais autoritativas e traços operacionais.
   • Uma biblioteca versionada de convenções organizacionais (regras de inferência privadas e tipadas) é aplicada para certificar relações derivadas. Por exemplo, uma regra pode inferir que uma pessoa trabalha em um projeto se ela trabalha em um módulo contido nesse projeto.
   • O grafo de verdade resultante separa fatos nativos, metadados, associações heurísticas e relações derivadas certificadas.

2. Projeção de Corpus com Preservação de Privacidade:

   • Um mapa de anonimização compartilhado ($\phi$) projeta o mundo privado em um corpus de documentos liberado ($D_{release}$).
   • Este processo renomeia entidades de forma consistente e altera datas, preservando a organização relativa, o gênero e a densidade de informações.
   • Crucialmente, $D_{release}$ contém nenhuma declaração explícita das relações alvo. Os registros organizacionais privados, as regras de certificação e o grafo de verdade permanecem ocultos dos sistemas avaliados.

3. Construção de Perguntas e Decomposição de Capacidade:

   • As perguntas são geradas via operadores de grafo tipados que amostram de $G_{truth}$, executam consultas e registram dependências de prova.
   • O benchmark categoriza 907 perguntas em três níveis de dificuldade baseados na disponibilidade de evidências:
     • L1 (Busca Declarada): A resposta é explicitamente declarada em um único documento liberado.
     • L2 (Composição Declarada): A resposta requer a composição de fatos explicitamente declarados em múltiplas fontes liberadas.
     • L3 (Raciocínio Organizacional Latente): A relação alvo aparece em nenhuma fonte liberada. Ela existe apenas em $G_{truth}$ e deve ser recuperada inferindo estruturas organizacionais implícitas a partir de observações distribuídas.

4. Verificação:

   • Cada pergunta é verificada para garantir que o programa de grafo retorne uma resposta única e completa com derivações certificadas.
   • Para itens L3, uma varredura em todo o release confirma que a relação alvo está ausente de todos os apelidos de entidades liberados.

Principais Contribuições

1. Formulação do Raciocínio Organizacional Latente: O artigo define uma nova capacidade onde os sistemas devem combinar fatos fundamentados heterogêneos para recuperar relações organizacionais específicas que não são explicitamente declaradas.
2. Construção do Grafo de Verdade Auditado: Um framework para construir um benchmark a partir de documentos empresariais reais e tabelas autoritativas, separando fatos nativos de relações derivadas certificadas.
3. O Benchmark ENTLORE: Um conjunto de dados contendo 2.341 documentos e 907 perguntas (469 L1, 204 L2, 234 L3) avaliado através de 56 configurações de modelo e acesso.
4. Avaliação de Paradigmas de Acesso: Uma matriz abrangente comparando abordagens de livro fechado (closed-book), recuperação lexical (BM25), recuperação densa plana (RAG), pipelines agênticos e abordagens baseadas em grafos (GraphRAG, LLM Wiki) contra o desafio do raciocínio latente.

Resultados Experimentais

A avaliação abrange oito modelos (incluindo GPT-5.4, Claude-Sonnet, Qwen, DeepSeek) e sete condições de acesso.

• Desempenho em Evidência Declarada (L1/L2): Os sistemas performam razoavelmente bem em busca explícita e composição. GraphRAG, BM25 e um Wiki compilado por LLM formam o nível superior, com acurácias variando entre ~50% e 63%. RAG plano e recuperação agêntica geralmente performam abaixo desses baselines estruturados ou lexicais.
• Desempenho em Raciocínio Latente (L3): O desempenho cai significativamente em todas as configurações.
  • GraphRAG alcança a maior acurácia média de L3 com 36,2%, seguido por BM25 (34,0%) e o LLM Wiki (27,7%).
  • RAG plano (18,9%) e recuperação agêntica (13,5%) performam mal, sugerindo que a interação iterativa sem indução estrutural não ajuda a recuperar relações latentes.
  • A lacuna de desempenho é altamente heterogênea; o GraphRAG supera significativamente o BM25 em tarefas de "Atribuição de departamento", mas mostra menos vantagem em "Atribuição de contenção".
• O Resíduo do Documento de Ouro: Mesmo quando os sistemas são fornecidos com os exatos "documentos de ouro" contendo toda a evidência necessária (via um agente Oráculo, $\Omega$), 30,4% das perguntas L3 permanecem sem resposta. Isso é comparado a 12,6% para L1 e 6,2% para L2. Este resíduo indica que a falha não é meramente devida à recuperação de documentos (recall), mas decorre da incapacidade de realizar a derivação organizacional necessária mesmo quando as premissas estão presentes.
• Fidelidade do Release: Uma análise de 176 itens pareados entre os mundos privado e liberado mostra que, embora o ranking grosseiro das configurações de oráculo seja preservado, a ordenação refinada dos sistemas implantáveis muda (Spearman $\rho = 0,71$, $p = 0,06$). Os autores concluem que o release é válido para comparações de grupo, mas tentativo para rankings refinados, particularmente para métodos lexicais sensíveis à anonimização.

Significância e Alegações

O artigo alega que o QA Empresarial depende não apenas da recuperação de documentos, mas criticamente de se as relações organizacionais implícitas tornam-se utilizáveis.

• Além da Recuperação: Os resultados demonstram que fornecer documentos de ouro não resolve o problema do raciocínio latente. O "desafio da relação latente" persiste mesmo quando os erros de recuperação são eliminados.
• Estrutura como um Objeto de Primeira Classe: Os achados sugerem que os sistemas de QA empresarial devem tratar a organização por trás dos documentos como um objeto de inferência de primeira classe, recuperando relações tipadas através de fontes e preservando a proveniência através de raciocínio de múltiplos passos.
• Utilidade do Benchmark: O ENTLORE fornece um campo de teste para medir o progresso no raciocínio organizacional sem reduzir a tarefa à simples recuperação de documentos. Ao manter a verdade do benchmark privada, mas suas premissas auditáveis, ele permite a avaliação de sistemas capazes de raciocinar sobre estruturas implícitas.

Os autores permanecem modestos quanto à fidelidade do release, observando que, embora o benchmark preserve o comportamento comparativo para grupos amplos, a ordenação específica dos sistemas implantáveis pode variar devido à sensibilidade da recuperação lexical às superfícies de texto anonimizadas. Eles enfatizam que o benchmark é um passo em direção à avaliação de sistemas capazes de lidar com a natureza de "subproduto de trabalho" dos dados empresariais reais.