Topology-Aware Hybrid Retrieval for Enterprise Knowledge Systems
Cet article présente un moteur de recherche hybride sensible à la topologie qui unifie la recherche dense, parcellaire et par système de fichiers avec un contrôleur multi-niveaux pour traverser automatiquement les hiérarchies de documents et les hyperliens, améliorant ainsi considérablement le rappel, la qualité du classement et la latence pour les systèmes de connaissances d'entreprise tout en évitant la surcharge liée à la décomposition de requêtes pilotée par des modèles de langage.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de trouver un fait précis dans une bibliothèque immense et chaotique. Dans le monde de l'intelligence artificielle, cette bibliothèque est l'internet ou les documents internes d'une entreprise, et le bibliothécaire est un système de « Génération Augmentée par Récupération » (RAG - Retrieval-Augmented Generation). Considérez le RAG comme un robot super intelligent qui ne se contente pas de mémoriser des réponses, mais qui va à la bibliothèque pour faire des recherches avant de parler. Cela empêche le robot d'inventer des choses (hallucinations) et lui permet d'apprendre de nouvelles choses instantanément.
Cependant, les bibliothécaires traditionnels ont quelques particularités. Certains ne s'intéressent qu'aux mots exacts que vous utilisez (si vous dites « voiture », ils ne trouveront pas « automobile »), tandis que d'autres ne s'intéressent qu'à l'ambiance générale de la phrase (si vous dites « véhicule rapide », ils pourraient vous apporter une voiture de course même si vous posiez une question sur un camion). De plus, ces bibliothécaires traitent souvent chaque livre comme un tas de pages volantes et déconnectées, oubliant le fait qu'une page peut comporter une note disant : « Voir aussi page 42 », ou un lien hypertexte vers un livre entièrement différent. Lorsque le robot essaie de reconstituer une histoire complexe qui nécessite la lecture de plusieurs pages connectées, il se perd souvent, s'embrouille ou met trop de temps à déterminer quelles pages lire ensuite.
C'est ici qu'une nouvelle approche intervient, conçue pour rendre le bibliothécaire plus rapide, plus intelligent et plus connecté.
Le Bibliothécaire Super-Connecté : Une Nouvelle Façon de Trouver des Réponses
Imaginez que vous soyez un détective essayant de résoudre un mystère. Dans l'ancienne méthode, vous pourriez demander un indice à un seul ami. Si votre ami ne connaît que les « voitures rouges », il ne vous parlera pas d'une « berline cramoisie », même s'il s'agit de la même chose. Ou, si vous demandez à un ami qui ne connaît que le « sentiment » d'une scène de crime, il pourrait vous rapporter une histoire de vol à l'étalage alors que vous cherchiez en réalité un cambriolage.
Ce document présente une nouvelle sorte d'équipe de détectives appelée Récupération Hybride Sensible à la Topologie (Topology-Aware Hybrid Retrieval). Au lieu de s'appuyer sur un seul ami, cette équipe envoie quatre éclaireurs différents simultanément pour trouver des indices, puis combine leurs rapports en une liste parfaite.
Les Quatre Éclaireurs
Le système envoie la même question à quatre « éclaireurs » différents simultanément :
- L'Éclaireur Sémantique (Recherche Dense) : Cet éclaireur comprend le sens des mots. Si vous posez une question sur les « véhicules rapides », il trouve des documents sur la vitesse, même si le mot « rapide » n'y figure pas.
- L'Éclaireur de Mots-Clés (Recherche Sparse/BM25) : Cet éclaireur est un adepte de la correspondance exacte. Si vous demandez un numéro de série spécifique ou un code d'erreur, cet éclaireur le trouve instantanément, en ignorant le sens général.
- L'Éclaireur de Fréquence (Recherche TF-IDF) : Cet éclaireur observe la rareté d'un mot à travers toute la bibliothèque. Si un mot est très courant, il l'ignore ; s'il est unique, il y prête attention.
- LL'Éclaireur du Système de Fichiers (DFS Natif) : Cet éclaireur ne regarde même pas le texte à l'intérieur des livres. Au lieu de cela, il examine les dossiers de fichiers, les noms de fichiers et les étiquettes de propriété sur les étagères pour trouver les documents appropriés en fonction de leur lieu de stockage.
Le Grand Mélangeur
Voici la partie délicate : l'Éclaireur Sémantique donne des scores comme « 0,95 » (très proche), tandis que l'Éclaireur de Mots-Clés donne des scores comme « 150 » (basés sur le nombre de fois où un mot apparaît). Si vous additionniez simplement ces nombres, l'Éclaireur de Mots-Clés gagnerait à chaque fois, et les réflexions intelligentes de l'Éclaireur Sémantique seraient ignorées.
Pour corriger cela, le système utilise une stratégie de « Sur-Collecte » (Over-Fetching). Au lieu de demander à chaque éclaireur de ramener seulement les 5 meilleurs résultats, il lui demande de ramener une énorme pile (disons 100 résultats chacun). Ensuite, il utilise un « traducteur » mathématique pour normaliser tous les scores, les plaçant sur la même échelle. Enfin, il les mélange en utilisant une recette personnalisable. Vous pouvez dire au système : « Je veux 70 % de sens et 30 % de mots exacts », ou « Donne-moi simplement le score le plus élevé de n'importe quel éclaireur ». Cela garantit que la liste finale de documents est le meilleur de tous les mondes.
Le Superpouvoir du « Lien Hypertexte »
La véritable magie, cependant, se produit après la création de la première liste. Dans une bibliothèque normale, si vous trouvez une page qui dit : « Voir aussi : La Recette Secrète », un humain pourrait devoir s'arrêter, réfléchir et demander au bibliothécaire d'aller chercher cette seconde page. Cela prend du temps et peut mener à des erreurs.
Ce nouveau système possède un Contrôleur Multi-Niveaux Sensible à la Topologie. Imaginez cela comme un robot capable de voir instantanément les fils invisibles reliant les pages.
- Passage Primaire : Il trouve les meilleurs documents initiaux grâce aux quatre éclaireurs.
- Le Saut de Lien : Il scanne immédiatement ces documents pour détecter tout « lien hypertexte » ou référence à d'autres documents.
- Le Passage Secondaire : Au lieu de demander à une IA lente de réfléchir pour savoir quoi chercher ensuite, le robot effectue un saut programmatique vers ces documents liés et les récupère instantanément.
- Le Filet de Sécurité : Pour s'assurer qu'il ne reste pas coincé dans une boucle infinie (comme un chien qui court après sa propre queue), le système conserve une « liste de visites ». S'il voit un document qu'il a déjà vérifié, il le saute. Il vérifie également si le nouveau document correspond bien au contexte du lien d'origine, filtrant ainsi les contenus non pertinents.
Pourquoi cela compte : Intelligence et Rapidité
Les auteurs ont testé ce système et ont obtenu des résultats impressionnants.
- De Meilleures Réponses : Le système a amélioré le « rappel » (combien de bonnes réponses il a trouvées) de 20,0 %, atteignant un score parfait de 1,0000 Recall@100 sur certains tests. Il a également amélioré la qualité du classement (la manière dont les meilleures réponses se trouvent en haut de la liste) de 13,2 %.
- Une Rapidité Fulgurante : La plus grande victoire est la vitesse. Les anciennes méthodes qui utilisaient une IA pour réfléchir à l'étape suivante prenaient des secondes (environ 3 700 millisecondes). Ce nouveau système accomplit le même travail en moins d'une milliseconde (0,87 ms). C'est une réduction de 95 % du temps d'attente.
- Moins de Gaspillage : En ne récupérant que les documents liés spécifiques nécessaires, le système a réduit la quantité de texte supplémentaire (tokens) qu'il devait traiter de 25,8 % à 43,3 %.
Ce qu'il n'est pas
Il est important de noter ce que ce document ne fait pas. Il ne remplace pas la grande IA qui rédige la réponse finale ; il rend simplement la partie « recherche » bien meilleure. Il s'oppose également à l'idée d'utiliser des agents IA lents et bouclants pour décider de la prochaine recherche, démontant le fait qu'un saut direct et programmé vers les documents liés est plus rapide et plus fiable.
En résumé, ce document suggère qu'en combinant quatre styles de recherche différents, en mélangeant mathématiquement leurs résultats et en utilisant la propre carte interne des documents pour sauter vers des pages liées, nous pouvons construire un système de recherche d'entreprise qui est non seulement plus intelligent, mais aussi assez rapide pour suivre des conversations en temps réel. Il transforme une bibliothèque chaotique en un réseau de connaissances parfaitement organisé et hyper-connecté.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.