SC-Taxo: Hierarchical Taxonomy Generation under Semantic Consistency Constraints using Large Language Models

Hier volgt een gedetailleerde technische samenvatting van het paper "SC-Taxo: Hiërarchische Taxonomiegeneratie onder Semantische Consistentie-Constraints met Grote Taalmodellen."

1. Probleemstelling

De snelle expansie van wetenschappelijke literatuur vereist een efficiënte organisatie van domeinkennis. Hoewel hiërarchische taxonomieën cruciaal zijn voor navigatie, trendanalyse en informatiewinning, lijden bestaande generatiemethoden aan twee primaire faalmodi:

• Structuurvervorming & Granulariteitsmisalignering: Traditionele methoden mengen vaak verschillende abstractieniveaus (bijvoorbeeld het plaatsen van specifieke implementatiedetails zoals "Python Code" naast hoogwaardige algoritmen zoals "Faster R-CNN" onder dezelfde ouder).
• Semantische Drift & Hallucinatie: Pure Large Language Model (LLM)-benaderingen genereren vaak "buiten-domein" knooppunten door overfitting op lokale trefwoorden in abstracts (bijvoorbeeld het genereren van een knooppunt "Wiskundige Concepten" onder "Supervised Learning" omdat een abstract "wiskundig concept" noemt, waarbij de globale algoritmische context wordt genegeerd).
• Oorzaak: Deze problemen vloeien voort uit de ontoereikende modellering van hiërarchische semantische consistentie. Bestaande methoden slagen er niet in om top-down conceptuele constraints en bottom-up semantische abstracties gelijktijdig expliciet af te dwingen, noch coördineren ze zusterknooppunten om redundantie te voorkomen.

2. Methodologie: Het SC-Taxo Kader

SC-Taxo stelt een kader voor dat structurele induktie ontkoppelt van semantische generatie, en deze integreert via een rigoureus Deep Fusion-mechanisme. De pijplijn bestaat uit drie hoofdfasen:

A. Dual-Path Initialisatie

Om ongegronde generatie te voorkomen, initialiseert het kader twee parallelle paden:

1. Structureel Pad (Clustering): Papers worden gecodeerd in dichte embeddings, gereduceerd via UMAP, en gepartitioneerd in een structurele Clusterboom ($T_{cluster}$) met behulp van een recursieve Breadth-First Search (BFS). Dit biedt een stabiel, taal-onafhankelijk topologisch steiger.
2. Semantisch Pad (Conceptconstructie): Een LLM haalt belangrijke technische concepten uit abstracts, voegt synoniemen samen en induceert een voorlopige Conceptboom ($T_{concept}$). Dit biedt rijke semantische betekenis maar mist structurele stabiliteit.

B. Deep Fusion (Vier-rondes Validatie)

De kerninnovatie is een wederzijdse validatieprocedure van vier rondes die $T_{cluster}$ en $T_{concept}$ aligneert:

1. Ronde 1 (Concepten $\to$ Clusters): Valideert of door de LLM gegenereerde concepten zijn geworteld in werkelijke paper-distributies. Concepten met verspreide paper-toewijzingen worden gefilterd als hallucinaties.
2. Ronde 2 (Clusters $\to$ Concepten): Wijs het meest representatieve gevalideerde concept toe als kop voor elke structurele cluster. Clusters zonder duidelijke ondersteuning worden gemarkeerd voor her-clustering.
3. Ronde 3 (Ouder-Kind Alignering): Dwingt Verticale Consistentie af. Bij het genereren van de titel van een kindknooppunt wordt de LLM geconditioneerd op: (1) de globale root-titel, (2) de titel van het ouderknooppunt, en (3) de specifieke subset van papers van het kind. Dit voorkomt semantische drift.
4. Ronde 4 (Zuster-uitbreiding): Dwingt Horizontale Consistentie af. De LLM evalueert bestaande zusterknooppunten om ontbrekende technische concepten te identificeren, terwijl ervoor wordt gezorgd dat er geen conceptuele overlap of granulariteitsmisalignering is, waardoor redundantie wordt verminderd.

C. Kwaliteitscontrole

Voordat de uiteindelijke output wordt gegenereerd, ondergaat de taxonomie:

• Conceptscoring: LLM's scoren knooppunten (1-10) op basis van specificiteit en dekking; laag-scorende knooppunten worden verwijderd.
• Redundantiedetectie: Embedding-achtigheid en LLM-verificatie verwijderen synoniemen of ondergeschikte concepten.
• Structuurcontrole: Valideert diepte en vertakkingsfactoren om een gebalanceerde hiërarchie te garanderen.

3. Belangrijkste Bijdragen

1. SC-Taxo Kader: Een nieuwe architectuur die structurele vervorming en contextdrift expliciet mitigeert door topologische clustering te ontkoppelen van door LLM-aangedreven semantische induktie.
2. Deep Fusion Mechanisme: Introduceert een bidirectioneel kopgeneratiemechanisme voor rigoureuze verticale alignering en peer-level semantische associatie voor horizontale reductie van redundantie.
3. Robuuste Cross-linguale Generalisatie: Gedemonstreerde effectiviteit op zowel Engelse als Chinese wetenschappelijke literatuur, wat bewijst dat het kader universele conceptuele regelmatigheden vastlegt in plaats van taal-specifieke oppervlaktepatronen.

4. Experimentele Resultaten

Het kader werd geëvalueerd op de TaxoBench-benchmark (Engels) en een gecureerde Chinese wetenschappelijke literatuurdataset (LLM's + Reinforcement Learning).

Belangrijkste Metrieken:

• CEDS (Catalog Edit Distance Similarity): Meet structurele en semantische isomorfie met de grondwahrheid.
• HSR (Hierarchical Structure Retention): Evalueert het behoud van voorouder-relaties.
• Puurheid/NMI: Meet clustering-consistentie op paperniveau.

Prestatiehoogtepunten:

• Engels (TaxoBench): SC-Taxo bereikte een state-of-the-art CEDS van 28,7 (de beste baseline met ~5 punten overtreffend) en een HSR van 75,3. Het behaalde ook de hoogste Puurheid (64,8).
  • Opmerking: Hoewel NMI iets lager was dan sommige baselines (50,2 vs 60,1), was dit een bewuste afweging om te voorkomen dat papers in betekenisloze sub-clusters worden gefragmenteerd, met prioriteit voor hiërarchische coherentie.
• Chinese Evaluatie: SC-Taxo behield robuuste prestaties met een CEDS van 29,8 en HSR van 51,5, aanzienlijk beter dan pure generatieve methoden (bijvoorbeeld GoalEx daalde naar CEDS 14,8). Dit benadrukt het vermogen om impliciete onderwerpsgrenzen en terminologische ambiguïteit in het Chinees te hanteren.

Ablatie Studies:

• Het verwijderen van de dual-path architectuur (alleen BU) veroorzaakte een aanzienlijke daling in CEDS (23,7), wat de noodzaak van LLM-semantische begeleiding bewijst.
• Het verwijderen van bidirectionele validatie (zonder Bi) verlaagde CEDS naar 25,1, wat bevestigt dat eenvoudige conceptinjectie onvoldoende is zonder cross-level constraints.
• Het verwijderen van peer-level uitbreiding (zonder Peer) verlaagde HSR, wat het belang van horizontale consistentie aantoont.

5. Betekenis

• Oplossen van Semantische Drift: SC-Taxo adresseert effectief het "context drift"-probleem waarbij LLM's globale context verliezen, zodat gegenereerde taxonomieën logisch coherent en structureel sound zijn.
• Interpreteerbaarheid: Door strikte ouder-kind- en zuster-constraints af te dwingen, zijn de resulterende taxonomieën beter interpreteerbaar en bruikbaar voor downstream taken zoals trendanalyse en ontologie-engineering.
• Taal-onafhankelijkheid: De afhankelijkheid van het kader van een structureel steiger (clustering) gecombineerd met semantische verfijning stelt het in staat om te generaliseren over talen, waardoor het een levensvatbare oplossing is voor het organiseren van niet-Engelse wetenschappelijke corpora waar standaardisatie vaak ontbreekt.
• Paradigmaverschuiving: Het werk gaat voorbij aan het behandelen van LLM's als louter generators of post-hoc labelers; in plaats daarvan integreert het ze in een gestructureerde, iteratieve verfijningsslus die zowel statistische topologie als conceptuele logica respecteert.