💬 NLP

ENTLORE: A Graph-Grounded Benchmark for Latent Organizational Reasoning in Enterprise Question Answering

Cet article présente ENTLORE, un benchmark fondé sur les graphes qui évalue les systèmes de questions-réponses en entreprise sur leur capacité à effectuer un raisonnement organisationnel latent en reconstruisant des mondes d'entreprise audités à partir de documents de routine afin de tester la récupération de relations implicites au-delà de la simple recherche de faits.

Auteurs originaux : Akrin Zheng, Alexander Wu, Alaia Liu

Publié 2026-08-12

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Akrin Zheng, Alexander Wu, Alaia Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de résoudre un mystère au sein d'une bibliothèque géante et chaotique. Ce n'est pas une bibliothèque ordinaire ; c'est le « cerveau » d'une entreprise massive, rempli de millions de documents comme des e-mails, des rapports de projet, des notes de réunion et des feuilles de calcul. Dans le monde de l'Intelligence Artificielle (IA), il existe un jeu populaire appelé « Question Answering » (Réponse aux Questions). Habituellement, l'IA reçoit une question et une pile de documents, et son travail consiste à trouver la phrase exacte qui détient la réponse. Considérez cela comme une partie de « Je vois quelque chose de... » où la réponse est cachée à la vue de tous, attendant d'être ramassée.

Mais la vie réelle dans une entreprise est bien plus désordonnée qu'un simple jeu. Souvent, la réponse à une question n'est pas écrite dans une seule phrase. Au lieu de cela, la vérité est cachée dans les relations entre différents documents. Peut-être qu'un e-mail dit « Alice a travaillé sur le Module X », et qu'un autre rapport dit « Le Module X fait partie du Projet Y », mais aucun document ne mentionne jamais explicitement « Alice a travaillé sur le Projet Y ». Pour trouver la réponse, l'IA doit elle-même relier les points, en utilisant les règles invisibles de la façon dont l'entreprise est organisée. Ce document, écrit par des chercheurs de ScitiX.ai, traite précisément de la manière d'apprendre aux ordinateurs à effectuer ce genre de travail de détective, plutôt que d'être simplement doués pour trouver des mots.

Le Problème : Le Piège de la « Vérité Cachée »

La plupart des benchmarks d'IA (tests pour l'IA) sont comme une chasse au trésor où la carte est déjà tracée. Les créateurs du test écrivent une question, puis s'assurent que la réponse est explicitement écrite dans les documents fournis à l'IA. C'est comme demander : « De quelle couleur est la balle rouge ? » et donner à l'IA une image d'une balle rouge. L'IA n'a qu'à trouver le mot « rouge ».

Les auteurs de ce document soutiennent que c'est trop facile et que cela ne reflète pas le fonctionnement réel des entreprises. Dans le monde réel, la « balle rouge » peut être mentionnée dans un fichier, et le fait qu'il s'agisse d'une « balle » peut se trouver dans un autre, mais le lien entre les deux n'est jamais énoncé. L'IA doit comprendre que le « Module X » appartient au « Projet Y » en se basant sur la structure de l'entreprise, même si aucun document ne les lie explicitement. Les chercheurs appellent cette compétence manquante le Raisonnement Organisationnel Latent. Il s'agit de la capacité à inférer les règles invisibles d'une organisation à partir des sous-produits désordonnés du travail quotidien.

La Solution : ENTLORE, le « Graphe de Vérité »

Pour tester si l'IA peut réellement faire cela, l'équipe a construit un nouveau benchmark appelé ENTLORE. Imaginez qu'ils aient pris l'histoire numérique entière d'une véritable entreprise privée — des milliers de documents, des organigrammes et des journaux opérationnels — et qu'ils aient construit un immense « Graphe de Vérité » secret en coulisses. Ce graphe est comme un plan directeur qui sait exactement comment chaque personne, projet et module est connecté, sur la base de règles strictes et auditées.

Ensuite, ils ont créé un « monde publié » dans lequel l'IA peut jouer. Ce monde publié contient les mêmes documents, mais tous les noms sont modifiés pour protéger la vie privée (comme transformer « Alice » en « Employé #42 » et « Projet Alpha » en « Projet Beta »). Crucialement, l'IA ne peut pas voir le Graphe de Vérité secret. Elle ne voit que les documents désordonnés et anonymisés.

L'équipe a ensuite posé 907 questions. Ils ont divisé ces questions en trois niveaux de difficulté :

Niveau 1 (La Recherche) : La réponse se trouve directement dans un document. (ex : « Qui est le gestionnaire du Projet Beta ? »)
Niveau 2 (La Composition) : La réponse nécessite de lire deux documents et de combiner des faits. (ex : « Qui gère l'équipe qui a construit le Module X ? »)
Niveau 3 (Le Raisonnement Latent) : La réponse nécessite de relier des points qui ne sont pas explicitement liés. (ex : « Qui est responsable du succès global du Projet Beta ? » — bien qu'aucun document ne dise « l'Employé #42 est responsable du Projet Beta », le Graphe de Vérité le sait parce qu'il gérait le module à l'intérieur de celui-ci.)

Les Résultats : L'IA est bonne pour lire, mais mauvaise pour connecter

Les chercheurs ont testé 8 modèles d'IA différents utilisant diverses méthodes, allant de la simple recherche par mots-clés à des systèmes d'« agents » complexes capables de parcourir des documents comme un humain. Voici ce qu'ils ont trouvé :

1. La « Vérité Cachée » est difficile à trouver
Lorsque la réponse était explicitement écrite dans les documents (Niveaux 1 et 2), les modèles d'IA s'en sortaient raisonnablement bien. Mais lorsqu'ils atteignaient le Niveau 3 (Raisonnement Latent), les performances chutaient de manière spectaculaire. Même les meilleurs modèles n'ont réussi qu'environ 36,2 % de ces questions difficiles.

2. La Structure importe plus que la Vitesse
Les chercheurs ont essayé différentes manières d'aider l'IA à trouver l'information.

Recherche Simple (BM25) : Rechercher simplement des mots correspondants. Cela fut étonnamment efficace.
Recherche Dense (Flat RAG) : Utiliser des mathématiques avancées pour trouver des idées similaires. Cela a en fait fait pire que la recherche simple.
Systèmes Basés sur des Graphes (GraphRAG) : Ces systèmes tentent de construire une carte des connexions entre les documents avant de répondre. Cela s'est avéré être l'approche la plus forte, battant les autres en moyenne. Cela suggère que l'IA a besoin de comprendre la structure de l'entreprise, pas seulement les mots.

3. Même avec les « Documents d'Or », l'IA échoue
La découverte la plus choquante est survenue lorsque les chercheurs ont donné à l'IA les « Documents d'Or » — les fichiers exacts nécessaires pour répondre à la question, sautant ainsi l'étape de la recherche.

Pour les questions faciles (Niveau 1), l'IA a presque tout réussi.
Pour les questions moyennes (Niveau 2), elle s'en est toujours bien sortie.
Mais pour les questions latentes et difficiles (Niveau 3), 30,4 % des réponses étaient toujours fausses, même si l'IA avait les documents parfaits sous les yeux !

Cela signifie que le problème n'est pas seulement que l'IA ne parvient pas à trouver le bon fichier ; c'est qu'elle ne parvient pas à raisonner à travers les règles organisationnelles invisibles, même lorsqu'elle a toutes les preuves devant elle. C'est comme donner à un détective les photos de la scène du crime, mais qu'il échoue encore à réaliser que le majordome et le jardinier sont en fait la même personne parce que les photos ne le disent pas explicitement.

Pourquoi cela importe

Le document conclut que nous ne pouvons pas simplement construire de meilleurs moteurs de recherche pour les entreprises. Nous avons besoin d'une IA capable de comprendre « l'âme » d'une organisation — les règles tacites, les hiérarchies de projets et les connexions cachées. ENTLORE prouve que l'IA actuelle est encore en difficulté avec cela. Elle est très douée pour lire ce qui est écrit, mais elle est encore en train d'apprendre à réfléchir à ce qui est implicite.

Les chercheurs ont rendu leurs données et leur code publics afin que d'autres scientifiques puissent tenter de résoudre ce puzzle. Tant que l'IA ne pourra pas maîtriser ce « raisonnement organisationnel latent », elle sera toujours un peu comme un nouvel employé qui sait lire le manuel, mais qui ne comprend pas encore comment l'entreprise fonctionne réellement.

Résumé Technique : ENTLORE – Un benchmark fondé sur les graphes pour le raisonnement organisationnel latent

Énoncé du problème

Le questionnement de type Entité-Réponse (QA) en entreprise est traditionnellement formulé comme une tâche de recherche (retrieval) où les systèmes identifient des documents internes pour générer des réponses ancrées. Cependant, les enregistrements d'entreprise courants sont souvent des produits de travail plutôt que des descriptions autonomes conçues pour des requêtes futures. Par conséquent, de nombreuses relations organisationnelles critiques — telles que les périmètres de projet, les correspondances d'alias ou les responsabilités de flux de travail — restent implicites à travers des sources hétérogènes.

Les benchmarks existants (ex. TechQA, EKRAG, MultiDoc2Dial) ont amélioré l'évaluation multi-sources mais testent généralement une preuve le long d'un chemin de raisonnement prédéfini. Dans ces configurations, chaque étape requise est explicitement énoncée dans le corpus, testant la capacité d'un système à extraire et composer des faits déclarés plutôt qu'à récupérer une relation cible absente du texte. Ce document identifie une lacune dans l'évaluation actuelle : l'incapacité à évaluer le raisonnement organisationnel latent, défini comme la capacité à récupérer et à raisonner sur des relations organisationnelles qui ne sont pas explicitement énoncées dans aucun document publié, mais qui sont dérivables de la structure organisationnelle sous-jacente.

Méthodologie : Le cadre ENTLORE

Les auteurs introduisent ENTLORE, un cadre de construction de benchmark fondé sur les graphes, conçu pour évaluer cette capacité de raisonnement latent sans exposer la vérité de terrain aux systèmes évalués. Le cadre opère en quatre étapes :

Reconstruction du Graphe de Vérité Audité ( $G_{truth}$ ) :
- Le système reconstruit un graphe brut ( $G_{raw}$ ) à partir de documents de routine, de tableaux organisationnels faisant autorité et de traces opérationnelles.
- Une bibliothèque versionnée de conventions organisationnelles (règles d'inférence privées et typées) est appliquée pour certifier les relations dérivées. Par exemple, une règle peut inférer qu'une personne travaille sur un projet si elle travaille sur un module contenu dans ce projet.
- Le graphe de vérité résultant sépare les faits natifs, les métadonnées, les associations heuristiques et les relations dérivées certifiées.
Projection de Corpus Préservant la Confidentialité :
- Une carte d'anonymisation partagée ( $\phi$ ) projette le monde privé dans un corpus de documents publiés ( $D_{release}$ ).
- Ce processus renomme systématiquement les entités et décale les dates tout en préservant l'organisation relative, le genre et la densité d'information.
- Crucialement, $D_{release}$ ne contient aucune déclaration explicite des relations cibles. Les registres organisationnels privés, les règles de certification et le graphe de vérité restent cachés aux systèmes évalués.
Construction de Questions et Décomposition des Capacités :
- Les questions sont générées via des opérateurs de graphes typés qui échantillonnent à partir de $G_{truth}$ , exécutent des requêtes et enregistrent les dépendances de preuve.
- Le benchmark catégorise 907 questions en trois niveaux de difficulté basés sur la disponibilité des preuves :
  - L1 (Recherche Énoncée) : La réponse est explicitement énoncée dans un seul document publié.
  - L2 (Composition Énoncée) : La réponse nécessite de composer des faits explicitement énoncés à travers plusieurs sources publiées.
  - L3 (Raisonnement Organisationnel Latent) : La relation cible n'apparaît dans aucune source publiée. Elle n'existe que dans $G_{truth}$ et doit être récupérée en inférant les structures organisationnelles implicites à partir d'observations distribuées.
Vérification :
- Chaque question est vérifiée pour s'assurer que le programme de graphe retourne une réponse unique et complète avec des dérivations certifiées.
- Pour les éléments L3, un scan de l'ensemble de la version publiée confirme l'absence de la relation cible de tous les alias d'entités publiés.

Contributions Clés

Formulation du Raisonnement Organisationnel Latent : Le papier définit une nouvelle capacité où les systèmes doivent combiner des faits ancrés hétérogènes pour récupérer des relations organisationnelles spécifiques qui ne sont pas explicitement énoncées.
Construction d'un Graphe de Vérité Audité : Un cadre pour construire un benchmark à partir de documents d'entreprise réels et de tableaux faisant autorité, séparant les faits natifs des relations dérivées certifiées.
Le Benchmark ENTLORE : Un ensemble de données contenant 2 341 documents et 907 questions (469 L1, 204 L2, 234 L3) évaluées à travers 56 configurations de modèles et d'accès.
Évaluation des Paradigmes d'Accès : Une matrice complète comparant les approches en mode "fermé" (closed-book), la recherche lexicale (BM25), la recherche dense plate (RAG), les pipelines agentiques et les approches basées sur les graphes (GraphRAG, LLM Wiki) face au défi du raisonnement latent.

Résultats Expérimentaux

L'évaluation couvre huit modèles (incluant GPT-5.4, Claude-Sonnet, Qwen, DeepSeek) et sept conditions d'accès.

Performance sur les Preuves Énoncées (L1/L2) : Les systèmes se comportent raisonnablement bien sur la recherche explicite et la composition. GraphRAG, BM25 et un Wiki compilé par LLM forment le premier rang, avec des précisions allant de ~50 % à 63 %. Le RAG plat et la recherche agentique sont généralement moins performants que ces bases structurelles ou lexicales.
Performance sur le Raisonnement Latent (L3) : La performance chute considérablement dans toutes les configurations.
- GraphRAG atteint la précision moyenne la plus élevée pour L3 à 36,2 %, suivi de BM25 (34,0 %) et du LLM Wiki (27,7 %).
- Le RAG plat (18,9 %) et la recherche agentique (13,5 %) performent mal, suggérant que l'interaction itérative sans induction structurelle n'aide pas à récupérer les relations latentes.
- L'écart de performance est très hétérogène ; GraphRAG surpasse significativement BM25 sur les tâches d'« attribution de département » mais montre un avantage moindre sur l'« attribution de confinement ».
Le Résidu du Document d'Or : Même lorsque les systèmes sont fournis avec les documents "d'or" exacts contenant tout le nécessaire (via un agent Oracle, $\Omega$ ), 30,4 % des questions L3 restent sans réponse. Cela est comparé à 12,6 % pour L1 et 6,2 % pour L2. Ce résidu indique que l'échec n'est pas simplement dû à la récupération de documents (rappel) mais provient de l'incapacité à effectuer la dérivation organisationnelle nécessaire, même lorsque toutes les prémisses sont présentes.
Fidélité de la Publication : Une analyse de 176 éléments appariés entre les mondes privés et publiés montre que, bien que le classement grossier des configurations Oracle soit préservé, l'ordre fin des systèmes déployables change (Rho de Spearman $\rho = 0,71$ , $p = 0,06$ ). Les auteurs concluent que la publication est valide pour les comparaisons de groupe mais tentative pour le classement fin, particulièrement pour les méthodes lexicales sensibles à l'anonymisation.

Signification et Revendications

Le papier affirme que le QA en entreprise dépend non seulement du rappel de documents, mais aussi de manière critique de la question de savoir si les relations organisationnelles implicites deviennent utilisables.

Au-delà de la Récupération : Les résultats démontrent que fournir les documents d'or ne résout pas le problème du raisonnement latent. Le « défi de la relation latente » persiste même lorsque les erreurs de récupération sont éliminées.
La Structure comme Objet de Premier Rang : Les conclusions suggèrent que les systèmes de QA d'entreprise doivent traiter l'organisation derrière les documents comme un objet d'inférence de premier rang, en récupérant des relations typées à travers les sources et en préservant la provenance via un raisonnement multi-étapes.
Utilité du Benchmark : ENTLORE fournit un banc d'essai pour mesurer les progrès du raisonnement organisationnel sans réduire la tâche au simple rappel de documents. En gardant la vérité du benchmark privée mais ses prémisses auditables, il permet l'évaluation de systèmes capables de raisonner sur des structures implicites.

Les auteurs restent modestes quant à la fidélité de la publication, notant que si le benchmark préserve le comportement comparatif pour les groupes larges, le classement spécifique des systèmes déployables peut varier en raison de la sensibilité de la recherche lexicale aux surfaces de texte anonymisées. Ils soulignent que ce benchmark est une étape vers l'évaluation de systèmes capables de gérer la nature de "produit de travail" des données réelles d'entreprise.