💬 NLP

KG-HTC: Integrating Knowledge Graphs into LLMs for Effective Zero-shot Hierarchical Text Classification

L'article propose KG-HTC, une méthode de classification hiérarchique de texte en zéro tir qui intègre des graphes de connaissances avec des modèles de langage de grande taille via la génération augmentée par récupération pour répondre efficacement à des défis tels que les grands espaces d'étiquettes et les distributions à longue traîne, démontrant des améliorations significatives de performance par rapport aux méthodes de référence sur plusieurs jeux de données.

Auteurs originaux : Qianbo Zang, Christophe Zgrzendek, Igor Tchappi, Afshin Khadangi, Johannes Sedlmeir

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qianbo Zang, Christophe Zgrzendek, Igor Tchappi, Afshin Khadangi, Johannes Sedlmeir

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un bibliothécaire tentant de classer un nouveau livre dans une immense bibliothèque à plusieurs étages. Il ne s'agit pas d'une bibliothèque ordinaire ; c'est un système de classification hiérarchique de textes (HTC).

Dans une bibliothèque normale, vous pourriez simplement placer un livre dans « Fiction ». Mais dans cette bibliothèque hiérarchique, vous devez être précis. Vous ne pouvez pas simplement dire « Fiction ». Vous devez dire :

Niveau 1 : Fiction
Niveau 2 : Science-fiction
Niveau 3 : Cyberpunk
Niveau 4 : Dystopie

Le problème est que cette bibliothèque compte des milliers de catégories, et que beaucoup d'entre elles sont très rares (comme un livre sur le « tissage de paniers sous-marins au XIXe siècle »). De plus, le bibliothécaire (une intelligence artificielle appelée Grand Modèle de Langage ou LLM) n'a jamais vu ce livre spécifique auparavant et ne dispose d'aucun manuel de formation (aucune donnée étiquetée). C'est ce qu'on appelle un scénario « Zero-Shot ».

Si vous demandez simplement à l'IA : « Où cela va-t-il ? », elle est souvent submergée. Elle pourrait deviner correctement « Fiction » mais échouer aux niveaux plus profonds, ou elle pourrait être confuse face à la multitude d'options.

Le Problème : Le « Bibliothécaire Submergé »

L'article soutient que les bibliothécaires IA standards peinent avec trois choses :

Trop de choix : La liste des catégories est immense.
Articles rares : La plupart des catégories ont très peu de livres (distribution à longue traîne), de sorte que l'IA ne les a pas « vus » assez pour savoir où ils appartiennent.
Aucune formation : Dans le monde réel, nous n'avons souvent pas de liste de « bonnes réponses » pour enseigner à l'IA.

La Solution : KG-HTC (Le Système de « Carte Intelligente »)

Les auteurs, Zang et ses collègues, ont créé un système appelé KG-HTC. Imaginez cela comme donner au bibliothécaire IA une carte intelligente et dynamique de la bibliothèque, au lieu d'une simple liste géante de noms.

Voici comment cela fonctionne, étape par étape, en utilisant une analogie simple :

1. Le Graphes de Connaissances (Le Plan de la Bibliothèque)

D'abord, ils prennent la liste complète des catégories et les organisent en un Graphe de Connaissances. Imaginez cela comme un arbre généalogique ou un plan de métro où chaque catégorie est une « station », et les lignes qui les relient montrent les relations parent-enfant (par exemple, « Cyberpunk » est connecté à « Science-fiction », qui est connecté à « Fiction »).

2. Le Système RAG (La Recherche « Projecteur »)

Lorsqu'un nouvel avis de livre (le texte d'entrée) arrive, l'IA ne tente pas de lire la totalité de la carte d'un coup. Ce serait trop d'informations. Au lieu de cela, elle utilise une approche de Génération Augmentée par Récupération (RAG).

Imaginez cela comme projeter un projecteur sur la carte.

L'IA examine le texte du livre (par exemple, un avis sur un lave-vaisselle).
Elle scanne rapidement la carte pour trouver les quelques stations qui sont sémantiquement proches de « lave-vaisselle ».
Elle extrait uniquement cette petite section de la carte — un sous-graphe — contenant « Maison », « Nettoyage » et « Lavage de vaisselle ».

3. La Propagation Ascendante (Retracer le Chemin)

Une fois qu'elle a cette petite section de carte pertinente, le système trace les lignes vers le haut, depuis l'élément spécifique jusqu'à la racine. Il crée un chemin clair :
Lavage de vaisselle -> Nettoyage ménager -> Fournitures ménagères -> Maison

4. L'Invite (La « Fausse Note »)

L'IA transforme ensuite ce chemin en une phrase simple (une invite) et la renvoie au LLM principal. C'est comme remettre au bibliothécaire une fausse note disant : « Basé sur le texte, l'article est probablement lié au lavage de vaisselle. Voici le chemin complet du sommet de la bibliothèque jusqu'au lavage de vaisselle. Veuillez choisir la catégorie finale correcte. »

Pourquoi Cela Fonctionne Mieux

L'article a testé cela sur trois ensembles de données réels (avis de produits Amazon, articles scientifiques et articles Wikipédia).

Le Résultat : Le système de « Carte Intelligente » (KG-HTC) était bien meilleur pour trouver le bon endroit que l'IA travaillant seule ou utilisant des méthodes précédentes.
L'Analyse Approfondie : La plus grande victoire s'est produite aux niveaux plus profonds de la hiérarchie. Alors que d'autres méthodes se perdaient en essayant de trouver la catégorie spécifique « Lavage de vaisselle », KG-HTC est resté sur la bonne voie car il disposait de la carte structurelle pour le guider.
L'Analogie : C'est la différence entre deviner un mot dans un jeu de « 20 Questions » en criant des mots au hasard, et avoir un organigramme qui élimine la moitié des possibilités à chaque question.

La Conclusion

L'article affirme qu'en combinant le « cerveau » d'un Grand Modèle de Langage avec la « structure » d'un Graphe de Connaissances, ils ont créé un système capable de trier avec précision des textes dans des catégories complexes et multi-niveaux sans avoir besoin de données de formation pré-écrites.

Il résout le problème de l'IA se perdant dans une mer d'options en lui donnant une carte focalisée et structurée des chemins les plus pertinents, lui permettant de naviguer même dans les coins les plus obscurs de la bibliothèque avec confiance.

Note : L'article se concentre strictement sur la classification de textes (tri de documents/avis). Il ne prétend pas fonctionner pour le diagnostic médical, les usages cliniques ou d'autres applications en dehors de l'organisation de données textuelles.

Résumé Technique : KG-HTC

Définition du Problème

La Classification Hiérarchique de Textes (HTC) consiste à attribuer des documents à des étiquettes organisées au sein d'une taxonomie multi-niveaux, une tâche cruciale pour des domaines tels que le classement dans le commerce électronique et la gestion de la littérature. Bien que les méthodes supervisées aient dominé les recherches précédentes, elles font face à des obstacles majeurs dans les applications industrielles réelles :

Pénurie de Données : L'annotation manuelle de données à travers plusieurs niveaux hiérarchiques est prohibitivement coûteuse.
Espaces d'Étiquettes Vastes : Les taxonomies contiennent souvent des centaines ou des milliers de catégories feuilles (par exemple, le jeu de données Amazon compte plus de 500 catégories feuilles).
Distributions à Longue Traîne : Les jeux de données sont souvent fortement déséquilibrés, où une petite fraction de catégories fréquentes domine tandis que la majorité des classes sont sous-représentées.

Ces facteurs rendent les approches supervisées standard inadaptées à de nombreux contextes industriels, nécessitant un glissement vers des méthodes d'apprentissage strictement zéro-shot. Les approches zéro-shot existantes, telles que celles exploitant l'apprentissage en contexte (Halder et al.) ou la propagation de similarité basée sur les embeddings (Z-STC, HiLA), peinent souvent avec une dégradation des performances à mesure que la hiérarchie s'approfondit, échouant à naviguer efficacement dans de vastes espaces d'étiquettes éparses.

Méthodologie : KG-HTC

Les auteurs proposent KG-HTC, un cadre novateur qui intègre des Graphes de Connaissances (KG) avec des Modèles de Langage à Grande Échelle (LLM) pour relever les défis de l'HTC dans un contexte zéro-shot. La méthode traite la taxonomie d'étiquettes comme un Graphe Acyclique Dirigé (DAG) et emploie un pipeline de Génération Augmentée par Récupération (RAG) pour fournir un contexte sémantique structuré au LLM.

L'architecture du système fonctionne à travers les étapes suivantes :

Stockage et Représentation :
- La taxonomie d'étiquettes est stockée à la fois dans une Base de Données Graphique (Neo4j) pour préserver les relations parent-enfant hiérarchiques et dans une Base de Données Vectorielle (ChromaDB) contenant les embeddings de toutes les étiquettes.
- Ce stockage dual permet au système d'exploiter des contraintes topologiques pour la désambiguïsation sémantique.
Récupération de Sous-graphe (RAG) :
- Étant donné un texte d'entrée $x$ , le système calcule son embedding $\Psi(x)$ .
- Pour chaque niveau hiérarchique $l$ , le système calcule la similarité cosinus entre l'entrée et toutes les étiquettes à ce niveau.
- Les étiquettes candidates $Q_l$ sont récupérées sur la base d'un seuil de similarité $\tau_l$ .
- L'Algorithme 1 valide les dépendances inter-niveaux : une étiquette candidate au niveau $l$ n'est conservée que si son étiquette parente existe dans l'ensemble des candidats du niveau $l-1$ . Ce processus construit un sous-graphe pertinent (ou sous-arbre) à partir du graphe de connaissances complet, filtrant le bruit non pertinent.
Construction de l'Invite (Prompt) :
- Le sous-graphe récupéré est transformé en une invite structurée utilisant l'Algorithme 2.
- Le système effectue un parcours de propagation ascendante, énumérant tous les chemins valides des nœuds feuilles jusqu'à la racine.
- Ces chemins sont sérialisés sous forme de séquences (par exemple, Niveau 1 -> Niveau 2 -> Niveau 3) et concaténés dans une invite. Cette représentation basée sur la chaîne assure que le LLM comprend les contraintes hiérarchiques sans être submergé par l'ensemble de la taxonomie.
Classification Couche par Couche :
- Le LLM effectue la classification de manière itérative du Niveau 1 au Niveau $L$ .
- Pour le premier niveau, toutes les étiquettes de haut niveau sont incluses dans l'invite.
- Pour les niveaux suivants, l'ensemble des candidats est contraint par l'étiquette prédite du niveau précédent ( $y_{l-1}$ ) combinée aux nouveaux candidats récupérés ( $Q_l$ ). Cette stratégie atténue la propagation des erreurs et gère efficacement les vastes espaces d'étiquettes.

Contributions Clés

L'article expose trois contributions principales :

Intégration Novatrice : L'introduction de KG-HTC, une méthode qui intègre les Graphes de Connaissances dans les LLM spécifiquement pour la Classification Hiérarchique de Textes zéro-shot stricte.
Pipeline de Récupération Sémantique : La mise en œuvre d'un pipeline qui récupère dynamiquement des sous-graphes sémantiquement pertinents basés sur la similarité cosinus et les transforme en invites structurées et hiérarchiques, permettant au LLM de raisonner sur des taxonomies complexes.
Évaluation Complète : Une évaluation approfondie démontrant que KG-HTC surpasse les méthodes zéro-shot précédentes de l'état de l'art (Z-STC et HiLA) sur trois jeux de données open-source, en particulier aux niveaux hiérarchiques plus profonds.

Résultats Expérimentaux

Les auteurs ont évalué KG-HTC sur trois jeux de données : Avis sur Produits Amazon (3 niveaux), Web of Science (WoS) (2 niveaux) et DBpedia (3 niveaux). La métrique principale était le F1-macro, choisie pour tenir compte du déséquilibre des classes.

Gains de Performance : KG-HTC a nettement surpassé à la fois une baseline faible (classification directe par LLM) et des baselines fortes (Z-STC et HiLA).
- Sur le jeu de données Amazon, KG-HTC a atteint un F1-macro de 0,445 au Niveau 3, contre 0,249 pour HiLA et 0,173 pour Z-STC.
- Sur WoS, KG-HTC a atteint 0,630 au Niveau 2, dépassant HiLA (0,371) et Z-STC (0,462).
Analyse de Décroissance : L'article introduit une métrique de "taux de décroissance moyen" pour mesurer la perte de performance à mesure que la taxonomie s'approfondit. KG-HTC a présenté le taux de décroissance le plus faible (par exemple, 0,15 sur Amazon contre 0,43 pour HiLA), indiquant que la méthode maintient sa robustesse même dans des hiérarchies profondes et éparse où d'autres méthodes échouent.
Études d'Ablation :
- Récupération de Sous-graphe : Le remplacement de la récupération de sous-graphe basée sur RAG par le graphe de connaissances complet (Full-KG) a entraîné une baisse de performance aux niveaux plus profonds, confirmant que le filtrage du contexte pertinent est crucial pour gérer les vastes espaces d'étiquettes.
- Généralisation du Modèle : La méthode a réussi à améliorer la performance d'un LLM open-source (Qwen2.5-8b) par rapport à sa baseline, démontrant une généralisabilité au-delà des modèles propriétaires comme GPT-3.5-turbo.

Importance et Revendications

L'article revendique que KG-HTC répond efficacement aux défis fondamentaux de l'HTC dans les contextes industriels : le manque de données annotées, les vastes espaces d'étiquettes et les distributions à longue traîne. En intégrant des connaissances structurées (via la récupération de sous-graphes) avec les capacités génératives des LLM, la méthode permet une classification zéro-shot précise sans nécessiter de fine-tuning.

Les auteurs soulignent que leur approche permet aux LLM de "comprendre la sémantique des étiquettes à divers niveaux hiérarchiques" en fournissant des contraintes topologiques explicites. Les résultats suggèrent que l'intégration de connaissances structurées est une voie viable pour surmonter les limites des méthodes actuelles d'HTC zéro-shot, en particulier dans les scénarios où les distributions d'étiquettes sont fortement déséquilibrées et les taxonomies profondes.

Limitations : Les auteurs notent que la méthode suppose la disponibilité d'une taxonomie d'étiquettes complète et correcte ; des imprécisions dans le graphe de connaissances sous-jacent dégraderaient les performances. Un travail futur est proposé pour se concentrer sur l'utilisation de LLM pour construire des graphes de connaissances plus robustes.