SC-Taxo: Hierarchical Taxonomy Generation under Semantic Consistency Constraints using Large Language Models

1. Énoncé du problème

L'expansion rapide de la littérature scientifique nécessite une organisation efficace des connaissances de domaine. Bien que les taxonomies hiérarchiques soient cruciales pour la navigation, l'analyse des tendances et la récupération d'information, les méthodes de génération existantes souffrent de deux modes d'échec principaux :

• Distorsion structurelle et désalignement de granularité : Les méthodes traditionnelles mélangent souvent différents niveaux d'abstraction (par exemple, placer des détails d'implémentation spécifiques comme "Code Python" à côté d'algorithmes de haut niveau comme "Faster R-CNN" sous le même parent).
• Dérive sémantique et hallucination : Les approches purement basées sur les modèles de langage de grande taille (LLM) génèrent souvent des nœuds "hors domaine" en surajustant aux mots-clés locaux dans les résumés (par exemple, générer un nœud "Concepts mathématiques" sous "Apprentissage supervisé" parce qu'un résumé mentionne "concept mathématique", en ignorant le contexte algorithmique global).
• Cause racine : Ces problèmes découlent d'une modélisation inadéquate de la cohérence sémantique hiérarchique. Les méthodes existantes échouent à imposer explicitement simultanément des contraintes conceptuelles de haut en bas et des abstractions sémantiques de bas en haut, ni à coordonner les nœuds frères pour prévenir la redondance.

2. Méthodologie : Le cadre SC-Taxo

SC-Taxo propose un cadre qui découple l'induction structurelle de la génération sémantique, en les intégrant via un mécanisme rigoureux de Fusion profonde. Le pipeline se compose de trois phases principales :

A. Initialisation à double voie

Pour prévenir une génération non ancrée, le cadre initialise deux voies parallèles :

1. Voie structurelle (Clustering) : Les articles sont encodés en plongements denses, réduits via UMAP, et partitionnés en une Arbre de clusters ($T_{cluster}$) structurel utilisant une recherche en largeur récursive (BFS). Cela fournit un échafaudage topologique stable et agnostique à la langue.
2. Voie sémantique (Construction de concepts) : Un LLM extrait les concepts techniques clés des résumés, fusionne/synonymise, et induit un Arbre de concepts ($T_{concept}$) préliminaire. Cela fournit une riche signification sémantique mais manque de stabilité structurelle.

B. Fusion profonde (Validation en quatre tours)

L'innovation centrale est un processus de validation mutuelle en quatre tours qui aligne $T_{cluster}$ et $T_{concept}$ :

1. Tour 1 (Concepts $\to$ Clusters) : Valide si les concepts générés par le LLM sont ancrés dans les distributions réelles d'articles. Les concepts avec des associations d'articles dispersées sont filtrés comme des hallucinations.
2. Tour 2 (Clusters $\to$ Concepts) : Assigne le concept validé le plus représentatif comme titre pour chaque cluster structurel. Les clusters manquant de soutien clair sont signalés pour un reclustering.
3. Tour 3 (Alignement parent-enfant) : Impose une Cohérence verticale. Lors de la génération du titre d'un nœud enfant, le LLM est conditionné par : (1) le titre global de la racine, (2) le titre du nœud parent, et (3) le sous-ensemble spécifique d'articles de l'enfant. Cela prévient la dérive sémantique.
4. Tour 4 (Expansion des frères) : Impose une Cohérence horizontale. Le LLM examine les nœuds frères existants pour identifier les concepts techniques manquants tout en s'assurant qu'il n'y a ni chevauchement conceptuel ni désalignement de granularité, réduisant ainsi la redondance.

C. Contrôle qualité

Avant la sortie finale, la taxonomie subit :

• Notation des concepts : Les LLM notent les nœuds (1-10) en fonction de la spécificité et de la couverture ; les nœuds à faible score sont élagués.
• Détection de redondance : La similarité des plongements et la vérification par LLM éliminent les synonymes ou les concepts subsumés.
• Vérification structurelle : Valide la profondeur et les facteurs de branchement pour assurer une hiérarchie équilibrée.

3. Contributions clés

1. Cadre SC-Taxo : Une architecture novatrice qui atténue explicitement la distorsion structurelle et la dérive contextuelle en découplant le clustering topologique de l'induction sémantique pilotée par LLM.
2. Mécanisme de fusion profonde : Introduit un mécanisme de génération de titres bidirectionnel pour un alignement vertical rigoureux et une association sémantique de niveau pair pour la réduction de redondance horizontale.
3. Généralisation robuste multilingue : Efficacité démontrée sur la littérature scientifique anglaise et chinoise, prouvant que le cadre capture des régularités conceptuelles universelles plutôt que des motifs de surface spécifiques à la langue.

4. Résultats expérimentaux

Le cadre a été évalué sur le benchmark TaxoBench (anglais) et un jeu de données de littérature scientifique chinoise curaté (LLM + Apprentissage par renforcement).

Métriques clés :

• CEDS (Similarité de distance d'édition de catalogue) : Mesure l'isomorphisme structurel et sémantique avec la vérité terrain.
• HSR (Rétention de la structure hiérarchique) : Évalue la préservation des relations ancestrales.
• Pureté/NMI : Mesure la cohérence du clustering au niveau des articles.

Points forts de performance :

• Anglais (TaxoBench) : SC-Taxo a atteint un CEDS de 28,7 à la pointe de l'art (surpassant la meilleure base d'environ 5 points) et un HSR de 75,3. Il a également atteint la Pureté la plus élevée (64,8).
  • Note : Bien que le NMI ait été légèrement inférieur à certaines bases (50,2 contre 60,1), c'était un compromis délibéré pour éviter de fragmenter excessivement les articles en sous-clusters sans signification, privilégiant la cohérence hiérarchique.
• Évaluation chinoise : SC-Taxo a maintenu des performances robustes avec un CEDS de 29,8 et un HSR de 51,5, surpassant significativement les méthodes purement génératives (par exemple, GoalEx est tombé à un CEDS de 14,8). Cela met en évidence sa capacité à gérer les frontières de sujets implicites et l'ambiguïté terminologique en chinois.

Études d'ablation :

• Le retrait de l'architecture à double voie (BU-only) a causé une baisse significative du CEDS (23,7), prouvant la nécessité de l'orientation sémantique par LLM.
• Le retrait de la validation bidirectionnelle (s/o Bi) a réduit le CEDS à 25,1, confirmant qu'une simple injection de concepts est insuffisante sans contraintes inter-niveaux.
• Le retrait de l'expansion de niveau pair (s/o Pair) a abaissé le HSR, montrant l'importance de la cohérence horizontale.

5. Signification

• Résolution de la dérive sémantique : SC-Taxo adresse efficacement le problème de "dérive contextuelle" où les LLM perdent le contexte global, garantissant que les taxonomies générées sont logiquement cohérentes et structurellement saines.
• Interprétabilité : En imposant des contraintes strictes parent-enfant et entre frères, les taxonomies résultantes sont plus interprétables et utiles pour des tâches en aval comme l'analyse des tendances et l'ingénierie d'ontologies.
• Agnosticisme linguistique : La dépendance du cadre à un échafaudage structurel (clustering) combiné à un raffinement sémantique lui permet de se généraliser à travers les langues, en faisant une solution viable pour l'organisation de corpus scientifiques non anglais où la standardisation fait souvent défaut.
• Changement de paradigme : Le travail va au-delà de la considération des LLM comme de simples générateurs ou étiqueteurs a posteriori, les intégrant plutôt dans une boucle itérative de raffinement structurée qui respecte à la fois la topologie statistique et la logique conceptuelle.