Technische Samenvatting: ENTLORE – Een op grafen gebaseerde benchmark voor latente organisatorische redenering

Probleemstelling

Enterprise Question Answering (QA) wordt traditioneel geframed als een retrieval-taak waarbij systemen interne documenten identificeren om gegronde antwoorden te genereren. Echter, routinematige bedrijfsgegevens zijn vaak werkproducten in plaats van zelfstandige beschrijvingen die ontworpen zijn voor toekomstige bevraging. Bijgevolg blijven veel kritieke organisatorische relaties—zoals projectomvang, alias-correspondenties of werkstroomverantwoordelijkheden—vaak impliciet verspreid over heterogene bronnen.

Bestaande benchmarks (bijv. TechQA, EKRAG, MultiDoc2Dial) hebben de evaluatie van meerdere bronnen verbeterd, maar materialiseren doorgaans bewijslast langs een vooraf gedefinieerd redeneerpad. In deze opstellingen is elke vereiste stap expliciet vermeld in de corpus, wat het vermogen van een systeem test om gestelde feiten te extraheren en samen te stellen, in plaats van een doelgerichte relatie te herstellen die afwezig is in de tekst. Dit artikel identificeert een gat in de huidige evaluatie: het onvermogen om latente organisatorische redenering te beoordelen, gedefinieerd als het vermogen om organisatorische relaties te herstellen en erover te redeneren die niet expliciet in enig vrijgegeven document worden vermeld, maar die afleidbaar zijn uit de onderliggende organisatorische structuur.

Methodologie: Het ENTLORE-framework

De auteurs introduceren ENTLORE, een op grafen gebaseerd framework voor de constructie van een benchmark, ontworpen om dit vermogen tot latente redenering te evalueren zonder de grondwaarheid bloot te leggen aan de geëvalueerde systemen. Het framework werkt in vier fasen:

1. Reconstructie van de Gecontroleerde Waarheidsgraaf ($G_{truth}$):

   • Het systeem reconstrueert een ruwe graaf ($G_{raw}$) uit routinematige documenten, gezaghebbende organisatietabellen en operationele sporen.
   • Een versiebeheerbare bibliotheek van organisatorische conventies (private, getypeerde inferentieregels) wordt toegepast om afgeleide relaties te certificeren. Een regel kan bijvoorbeeld bepalen dat een persoon aan een project werkt als diegene werkt aan een module die deel uitmaakt van dat project.
   • De resulterende waarheidsgraaf scheidt natuurlijke feiten, metadata, heuristische associaties en gecertificeerde afgeleide relaties.

2. Privacy-bewarende Corpusprojectie:

   • Een gedeelde anonimiseringsmap ($\phi$) projecteert de private wereld naar een vrijgegeven documentencorpus ($D_{release}$).
   • Dit proces hernoemt entiteiten consistent en verschuift datums, terwijl de relatieve organisatie, genre en informatiedichtheid behouden blijven.
   • Cruciaal is dat $D_{release}$ geen expliciete verklaringen bevat van de doelgerichte relaties. De private organisatorische gegevens, certificeringsregels en de waarheidsgraaf blijven verborgen voor de geëvalueerde systemen.

3. Vraagconstructie en Capaciteitsdecompositie:

   • Vragen worden gegenereerd via getypeerde graafoperators die samplen uit $G_{truth}$, queries uitvoeren en bewijsafhankelijkheden registreren.
   • De benchmark categoriseert 907 vragen in drie moeilijkheidsgraden op basis van de beschikbaarheid van bewijs:
     • L1 (Stated Lookup): Het antwoord wordt expliciet vermeld in een enkel vrijgegeven document.
     • L2 (Stated Composition): Het antwoord vereist het samenstellen van feiten die expliciet vermeld staan in meerdere vrijgegeven bronnen.
     • L3 (Latent Organizational Reasoning): De doelgerichte relatie komt in geen enkel vrijgegeven bron voor. Deze bestaat alleen in $G_{truth}$ en moet worden hersteld door impliciete organisatorische structuren af te leiden uit gedistribueerde observaties.

4. Verificatie:

   • Elke vraag wordt geverifieerd om te garanderen dat het graafprogramma een uniek, volledig antwoord met gecertificeerde afleidingen teruggeeft.
   • Voor L3-items bevestigt een scan over het gehele release om te verifiëren dat de doelgerichte relatie afwezig is van alle vrijgegeven entiteit-aliassen.

Belangrijkste Bijdragen

1. Formulering van Latente Organisatorische Redenering: Het artikel definieert een nieuwe capaciteit waarbij systemen heterogene gegronde feiten moeten combineren om organisatiespecifieke relaties te herstellen die niet expliciet zijn vermeld.
2. Constructie van een Gecontroleerde Waarheidsgraaf: Een framework voor het bouwen van een benchmark vanuit echte bedrijfsdocumenten en gezaghebbende tabellen, waarbij natuurlijke feiten worden gescheiden van gecertificeerde afgeleide relaties.
3. De ENTLORE Benchmark: Een dataset met 2.341 documenten en 907 vragen (469 L1, 204 L2, 234 L3), geëvalueerd over 56 model- en toegangsconfiguraties.
4. Evaluatie van Toegangs Paradigma's: Een uitgebreide matrix die closed-book, lexicale retrieval (BM25), platte dense retrieval (RAG), agentic pipelines en graaf-gebaseerde benaderingen (GraphRAG, LLM Wiki) vergelijkt tegen de uitdaging van latente redenering.

Experimentele Resultaten

De evaluatie beslaat acht modellen (waaronder GPT-5.4, Claude-Sonnet, Qwen, DeepSeek) en zeven toegangscondities.

• Prestaties op Gestelde Bewijslast (L1/L2): Systemen presteren redelijk goed op expliciete lookup en compositie. GraphRAG, BM25 en een LLM-gecompileerde Wiki vormen de topklasse, met nauwkeurigheden variërend van ~50% tot 63%. Platte RAG en agentic retrieval presteren over het algemeen slechter dan deze gestructureerde of lexicale baselines.
• Prestaties op Latente Redenering (L3): De prestaties dalen aanzienlijk over alle configuraties.
  • GraphRAG behaalt de hoogste gemiddelde L3-nauwkeurigheid van 36,2%, gevolgd door BM25 (34,0%) en de LLM Wiki (27,7%).
  • Platte RAG (18,9%) en agentic retrieval (13,5%) presteren slecht, wat suggereert dat iteratieve interactie zonder structurele inductie niet helpt bij het herstellen van latente relaties.
  • Het prestatieverschil is zeer heterogeen; GraphRAG presteert significant beter dan BM25 op taken van "Department attribution", maar vertoont minder voordeel op "Containment attribution".
• De Gold Document Residual: Zelfs wanneer systemen worden voorzien van de exacte "gold documents" die alle noodzakelijke bewijslast bevatten (via een Oracle agent, $\Omega$), blijven 30,4% van de L3-vragen onbeantwoord. Dit staat in contrast met 12,6% voor L1 en 6,2% voor L2. Deze residual geeft aan dat de fout niet louter toe te schrijven is aan document retrieval (recall), maar voortkomt uit het onvermogen om de noodzakelijke organisatorische afleiding te maken, zelfs wanneer alle premissen aanwezig zijn.
• Release Fidelity: Een analyse van 176 gekoppelde items tussen de private en de vrijgegeven werelden laat zien dat hoewel de grove rangschikking van oracle-configuraties behouden blijft, de fijnmazige ordening van inzetbare systemen verschuift (Spearman's $\rho = 0,71$, $p=0,06$). De auteurs concluderen dat de release geldig is voor groeps-niveau vergelijkingen, maar voorzichtig is voor fijnmazige rangschikking, vooral voor lexicale methoden die gevoelig zijn voor anonimisering.

Betekenis en Claims

Het artikel claimt dat Enterprise QA niet alleen afhangt van document retrieval, maar cruciaal van de vraag of impliciete organisatorische relaties bruikbaar worden.

• Voorbij Retrieval: De resultaten demonstreren dat het aanleveren van gold documents het probleem van latente redenering niet oplost. De "latente-relatie-uitdaging" blijft bestaan, zelfs wanneer retrieval-fouten zijn geëlimineerd.
• Structuur als een First-Class Object: De bevindingen suggeren dat enterprise QA-systemen de organisatie achter de documenten als een first-class inference object moeten behandelen, waarbij zij getypeerde relaties over bronnen heen herstellen en provenance bewaren via meerstapsredenering.
• Nut van de Benchmark: ENTLORE biedt een testbed voor het meten van vooruitgang in organisatorische redenering zonder de taak te reduceren tot eenvoudige document retrieval. Door de waarheid van de benchmark privé te houden maar de premissen controleerbaar te maken, maakt het de evaluatie mogelijk van systemen die kunnen redeneren over impliciete structuren.

De auteurs blijven bescheiden over de release fidelity en merken op dat hoewel de benchmark vergelijkbaar gedrag voor brede groepen behoudt, de specifieke rangschikking van inzetbare systemen kan variëren door de gevoeligheid van lexicale retrieval voor geanonimiseerde tekstoppervlakken. Zij benadrukken dat de benchmark een stap is naar het evalueren van systemen die in staat zijn om om te gaan met de "werk-bij-product"-aard van echte bedrijfsdata.