W-RAG: Source-Aware Retrieval for Enterprise Document Generation from Heterogeneous Knowledge Bases
Cet article introduit W-RAG, un cadre de récupération sensible aux sources qui remédie aux limites du classement global dans les bases de connaissances d'entreprise hétérogènes en employant une récupération guidée par l'ontologie et une pondération au niveau de la source pour améliorer la couverture des documents et la qualité de la génération.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le milieu de travail moderne, la rédaction de documents complexes tels que des manuels de politiques, des rapports de fusion ou des plans de lancement de produits nécessite souvent de rassembler des informations provenant de sources très diverses. Une équipe peut devoir consulter simultanément les règles internes de l'entreprise, des articles de recherche scientifique, des réglementations gouvernementales et des actualités du marché. Pour aider à cela, les informaticiens ont développé des systèmes permettant à l'intelligence artificielle de rechercher des faits avant d'écrire une phrase. Cette approche, connue sous le nom de génération augmentée par récupération (RAG pour retrieval-augmented generation), agit comme un assistant numérique qui lit une bibliothèque de documents et utilise ces notes pour rédiger une réponse. L'objectif est de rendre l'IA plus précise et ancrée dans la réalité, l'empêchant ainsi d'inventer des faits. Cependant, un problème important survient lorsque ces systèmes tentent de rassembler des informations provenant de plusieurs types de bibliothèques différentes en même temps.
Le défi réside dans le fait que toutes les sources d'information ne sont pas égales et qu'elles ne jouent pas toutes le même rôle dans un document unique. Un système standard traite souvent chaque fragment de texte trouvé comme s'il participait à une course unique, sélectionnant les meilleurs résultats uniquement sur la base de la proximité des mots avec la question de l'utilisateur. Dans un contexte d'entreprise, cette méthode échoue souvent. Elle peut extraire des centaines de pages d'articles d'actualité généraux parce qu'ils contiennent les bons mots-clés, tout en ignorant complètement un paragraphe crucial provenant d'une réglementation gouvernementale spécifique ou d'une directive de sécurité technique. Le résultat est un brouillon qui semble fluide mais qui omet les détails essentiels et spécialisés nécessaires pour rendre le document juridiquement ou techniquement valide. La fenêtre de contexte de l'IA se retrouve alors dominée par un seul type de source, délaissant les preuves diversifiées nécessaires pour construire une image complète.
Les chercheurs Hridya Dhulipala, Rajesh Ombase, Michael Wang et Tien N. Nguyen ont entrepris de résoudre ce problème spécifique. Ils ont proposé un nouveau cadre appelé W-RAG, qui signifie « recherche sensible à la source » (source-aware retrieval). Au lieu de laisser tous les documents de toutes les bibliothèques s'affronter dans un seul grand bassin, ce nouveau système organise le processus de recherche. Il identifie d'abord les thèmes spécifiques requis pour le document, tels que la « confidentialité des données » ou la « conformité financière », et utilise une carte conceptuelle structurée pour trouver les passages pertinents. Ensuite, plutôt que de tout classer ensemble, il classe les meilleurs documents au sein de chaque bibliothèque spécifique séparément. Enfin, il attribue un budget spécifique à chaque bibliothèque, décidant exactement quelle part de l'espace du document final doit être remplie par des rapports d'entreprise, quelle part par des articles scientifiques et quelle part par des textes juridiques. Cela garantit que le brouillon final est une composition équilibrée de preuves, reflétant les besoins réels de la tâche plutôt que simplement le volume de texte disponible dans une source.
Pour tester si cette approche fonctionnait réellement, l'équipe a créé un nouvel ensemble de données conçu spécifiquement pour ce type de rédaction d'entreprise. Ils ont construit cent scénarios réalistes, allant de la rédaction de politiques de santé à la préparation de rapports de fusion et d'acquisition. Pour chaque scénario, ils ont construit quatre bibliothèques d'informations distinctes : l'une contenant des documents de l'entreprise et des guides opérationnels, une autre avec de la recherche scientifique, une troisième avec des textes juridiques et réglementaires, et une quatrième avec des actualités du marché et des rapports sectoriels. Ils ont ensuite demandé à l'IA de rédiger des documents basés sur ces sources mixtes. Les chercheurs ont constaté que les systèmes standards, qui choisissent simplement les meilleurs résultats d'une liste globale, éprouvaient des difficultés significatives. Ces systèmes produisaient souvent des documents fluides mais incomplets, échouant à couvrir les exigences obligatoires de la tâche car ils avaient ignoré les bibliothèques plus petites et spécialisées.
Les résultats ont montré une différence nette lorsque la nouvelle méthode sensible à la source était utilisée. En forçant le système à respecter les rôles distincts de chaque base de connaissances, la qualité des documents générés s'est considérablement améliorée. La nouvelle approche a augmenté la satisfaction des exigences documentaires de plus de cinquante pour cent par rapport aux meilleures méthodes précédentes, et de plus de cent pour cent par rapport aux systèmes standards. Elle a également garanti que les informations utilisées pour rédiger le document provenaient d'un mélange approprié de sources, plutôt que d'être biaisées en faveur de la bibliothèque la plus vaste ou la plus dense en texte. L'étude suggère que pour les tâches de rédaction complexes du monde réel, la manière dont l'information est sélectionnée et équilibrée est aussi importante que la capacité à la trouver. En gérant soigneusement la composition des preuves, le système peut produire des brouillons qui sont non seulement fondés sur des faits, mais aussi structurellement complets, répondant aux divers besoins de la rédaction d'entreprise moderne.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.