Hierarchical Semantic Retrieval with Cobweb

1. Problématique

Les systèmes de récupération de documents neuronaux modernes traitent généralement les corpus comme un "nuage plat" de vecteurs dans un espace euclidien. Cette approche présente plusieurs limites :

• Sous-utilisation de la structure : Elle ignore la structure hiérarchique intrinsèque des données (thèmes, sous-thèmes).
• Opacité : Les décisions de classement sont basées sur une seule similarité à une granularité unique, rendant les explications opaques.
• Fragilité des représentations : Les méthodes basées sur le produit scalaire (dot product) fonctionnent bien avec des encodeurs optimisés (comme BERT), mais échouent souvent avec des modèles génératifs (comme GPT-2) dont les embeddings sont anisotropes (distributions non sphériques et corrélées).

L'objectif est de combler le fossé entre la récupération dense performante et l'interprétabilité humaine en utilisant des principes cognitifs (organisation hiérarchique et raisonnement par prototypes).

2. Méthodologie

Les auteurs adaptent Cobweb, un algorithme de clustering conceptuel incrémental, pour l'organiser comme une base de données hiérarchique sur des embeddings neuronaux.

A. Représentation des Données et Prétraitement

• Embeddings : Utilisation de vecteurs dérivés de modèles Transformer (encodeurs BERT/T5 et décodeur GPT-2).
• Blanchiment (Whitening) : Pour adapter Cobweb/4V (qui suppose une distribution gaussienne diagonale) aux embeddings neuronaux fortement corrélés, les auteurs appliquent des techniques de blanchiment (PCA et ICA). Cela décorrèle les dimensions et rend la distribution plus isotrope, ce qui est crucial pour le calcul de l'utilité des catégories dans Cobweb.

B. Construction de la Hiérarchie (Entraînement)

• Algorithme : Cobweb/4V construit incrémentalement un arbre de classification.
• Nœuds internes : Ils ne stockent pas les documents bruts mais des prototypes conceptuels (paramètres gaussiens $\mu$ et $\sigma^2$) qui résument les instances de leurs descendants.
• Feuilles : Stockent les documents originaux.
• Opérations : À chaque insertion, l'algorithme choisit entre créer, fusionner, diviser ou insérer dans une catégorie existante, en maximisant l'Utilité de Catégorie (Category Utility - CU), une métrique informationnelle qui équilibre la prédictibilité et la distinctivité.

C. Stratégies de Recherche (Inférence)

Deux approches sont proposées pour parcourir l'arbre du "grossier au fin" (coarse-to-fine) :

1. Recherche Best-First Généralisée (Cobweb-BFS) : Une recherche gloutonne qui explore jusqu'à $N_{max}$ nœuds prometteurs à chaque étape en utilisant un score de collocation $s(c) = p(x|c)^2$. Elle retourne les documents feuilles dans l'ordre d'exploration.
2. Prédiction par Somme de Chemin (Cobweb-PathSum) : Classe les documents feuilles en fonction de la somme cumulée des scores de collocation le long du chemin parcouru de la racine à la feuille. Cette méthode est plus rapide et offre une complexité temporelle inférieure.

3. Contributions Clés

1. Recherche Hiérarchique : Introduction d'une méthode de récupération qui compose des similarités de prototypes à plusieurs niveaux de granularité, généralisant la correspondance vectorielle plate.
2. Interprétabilité : Le système fournit des justifications transparentes via les chemins de recherche et les prototypes intermédiaires (ex: un nœud "Sciences de la vie" regroupant "Biochimie" et "Nutrition").
3. Robustesse aux Architectures : Démonstration que la méthode fonctionne efficacement avec des embeddings d'encodeurs (BERT/T5) et reste robuste là où le produit scalaire échoue (GPT-2), grâce à la combinaison du blanchiment et de l'agrégation hiérarchique.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données MS MARCO et QQP avec des corpus de 10k à 40k documents.

• Performance avec Encodeurs (RoBERTa, T5) : Les méthodes Cobweb (BFS et PathSum) atteignent des performances comparables à la recherche par produit scalaire (FAISS) en termes de Recall@k, MRR et nDCG.
• Performance avec GPT-2 (Décodeur) :
  • Le produit scalaire (FAISS) s'effondre (Recall proche de 0% sur MS MARCO sans blanchiment, très faible avec blanchiment) car les embeddings de GPT-2 sont anisotropes.
  • Cobweb reste robuste : Grâce au blanchiment et à l'agrégation multi-niveaux, Cobweb récupère des résultats pertinents (Recall ~35-42% sur MS MARCO avec GPT-2), là où le produit scalaire échoue totalement.
• Évolutivité (Scalability) :
  • La qualité de récupération reste stable à mesure que la taille du corpus augmente (de 5k à 40k documents), avec un déclin similaire à celui de FAISS.
  • Efficacité Temporelle : Cobweb-PathSum est 20 à 100 fois plus rapide que Cobweb-BFS car il est parallélisable via des opérations matricielles, bien que les deux aient une complexité théorique similaire $O(ND)$ dans le pire des cas.

5. Signification et Conclusion

Ce travail démontre que l'intégration de structures cognitives hiérarchiques (via Cobweb) dans la récupération de documents neuronaux offre un compromis avantageux :

• Interprétabilité : Contrairement aux "boîtes noires" des vecteurs plats, Cobweb fournit un raisonnement explicite via des prototypes conceptuels.
• Robustesse : La méthode est moins sensible à la qualité ou à la nature géométrique des embeddings (notamment pour les modèles génératifs), suggérant que l'organisation hiérarchique peut compenser les défauts des représentations vectorielles.
• Futur : Les auteurs suggèrent d'intégrer le blanchiment directement dans l'entraînement des modèles et d'explorer des approximations de Cobweb différentiables pour optimiser nativement les embeddings pour cette structure hiérarchique.

En résumé, Cobweb transforme une base de données vectorielle plate en une carte sémantique hiérarchique, améliorant la fiabilité et la transparence des systèmes de recherche sans sacrifier la précision.