Technische Samenvatting: KG-HTC

Probleemdefinitie

Hiërarchische Tekstclassificatie (HTC) omvat het toewijzen van documenten aan labels die zijn georganiseerd binnen een meerlagige taxonomie, een taak die cruciaal is voor domeinen zoals e-commerce-categorisering en literatuurbeheer. Hoewel supervisie-methoden het vorige onderzoek hebben gedomineerd, staan ze voor aanzienlijke barrières in real-world industriële toepassingen:

1. Data-schaarste: Handmatig annoteren van data over meerdere hiërarchische niveaus is onbetaalbaar duur.
2. Grote labelruimtes: Taxonomieën bevatten vaak honderden of duizenden blader-categorieën (bijvoorbeeld bevat het Amazon-dataset meer dan 500 blader-categorieën).
3. Langstaart-distributies: Datasets zijn vaak sterk onbalans, waarbij een kleine fractie van frequente categorieën de overhand heeft terwijl de meerderheid van de klassen ondervertegenwoordigd is.

Deze factoren maken standaard supervisie-benaderingen ongeschikt voor veel industriële settings, wat een verschuiving naar strict zero-shot learning-methoden noodzakelijk maakt. Bestaande zero-shot-benaderingen, zoals die gebruikmaken van in-context learning (Halder et al.) of op embedding gebaseerde similariteitspropagatie (Z-STC, HiLA), kampen vaak met prestatiedaling naarmate de hiërarchie dieper wordt, en falen in het effectief navigeren door grote, schaarse labelruimtes.

Methodologie: KG-HTC

De auteurs stellen KG-HTC voor, een nieuw raamwerk dat Kennisgrafieken (KG's) integreert met Large Language Models (LLM's) om HTC-uitdagingen in een zero-shot setting aan te pakken. De methode behandelt de label-taxonomie als een Gerichte Acyclische Grafiek (DAG) en maakt gebruik van een Retrieval-Augmented Generation (RAG)-pijplijn om gestructureerde semantische context te bieden aan de LLM.

De systeemarchitectuur werkt via de volgende fasen:

1. Opslag en Representatie:

   • De label-taxonomie wordt opgeslagen in zowel een Grafische Database (Neo4j) om hiërarchische ouder-kind-relaties te behouden, als in een Vector Database (ChromaDB) met embeddings van alle labels.
   • Deze dubbele opslag stelt het systeem in staat topologische beperkingen te benutten voor semantische ontmaskering.

2. Subgraf Retrieval (RAG):

   • Gegeven een inputtekst $x$, berekent het systeem de embedding $\Psi(x)$.
   • Voor elk hiërarchisch niveau $l$ berekent het systeem de cosinus-similariteit tussen de input en alle labels op dat niveau.
   • Kandidaat-labels $Q_l$ worden opgehaald op basis van een similariteitsdrempel $\tau_l$.
   • Algoritme 1 valideert kruisniveau-afhankelijkheden: een kandidaat-label op niveau $l$ wordt alleen behouden als het ouder-label bestaat in de kandidaatset van niveau $l-1$. Dit proces construeert een relevante subgraf (of sub-boom) uit de volledige kennisgrafiek, waarbij irrelevante ruis wordt gefilterd.

3. Prompt Constructie:

   • De opgehaalde subgraf wordt omgezet in een gestructureerde prompt met behulp van Algoritme 2.
   • Het systeem voert een opwaartse propagatie-traversie uit, waarbij alle geldige paden van bladerknopen naar de root worden genummerd.
   • Deze paden worden gesequenced als sequenties (bijvoorbeeld Niveau 1 -> Niveau 2 -> Niveau 3) en samengevoegd tot een prompt. Deze op ketens gebaseerde representatie zorgt ervoor dat de LLM de hiërarchische beperkingen begrijpt zonder te worden overweldigd door de volledige taxonomie.

4. Lagen-voor-lagen Classificatie:

   • De LLM voert classificatie iteratief uit van Niveau 1 tot Niveau $L$.
   • Voor het eerste niveau worden alle top-level labels opgenomen in de prompt.
   • Voor daaropvolgende niveaus wordt de kandidaatset beperkt door het voorspelde label van het vorige niveau ($y_{l-1}$) gecombineerd met nieuw opgehaalde kandidaten ($Q_l$). Deze strategie vermindert foutpropagatie en behandelt grote labelruimtes efficiënt.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Nieuwe Integratie: De introductie van KG-HTC, een methode die Kennisgrafieken integreert in LLM's specifiek voor strict zero-shot Hiërarchische Tekstclassificatie.
2. Semantische Retrieval-pijplijn: De implementatie van een pijplijn die dynamisch semantisch relevante subgrafieken ophaalt op basis van cosinus-similariteit en deze omzet in gestructureerde, hiërarchische prompts, waardoor de LLM in staat wordt gesteld te redeneren over complexe taxonomieën.
3. Uitgebreide Evaluatie: Een grondige beoordeling die aantoont dat KG-HTC vorige state-of-the-art zero-shot-methoden (Z-STC en HiLA) overtreft op drie open-source datasets, met name op diepere hiërarchieniveaus.

Experimentele Resultaten

De auteurs hebben KG-HTC geëvalueerd op drie datasets: Amazon Product Reviews (3 niveaus), Web of Science (WoS) (2 niveaus) en DBpedia (3 niveaus). De primaire metriek was F1-macro, gekozen om rekening te houden met klassenonbalans.

• Prestatiewinst: KG-HTC presteerde significant beter dan zowel een zwakke baseline (directe LLM-classificatie) als sterke baselines (Z-STC en HiLA).
  • Op het Amazon-dataset bereikte KG-HTC een F1-macro van 0,445 op Niveau 3, vergeleken met 0,249 voor HiLA en 0,173 voor Z-STC.
  • Op WoS bereikte KG-HTC 0,630 op Niveau 2, en overtrof HiLA (0,371) en Z-STC (0,462).
• Vervalanalyse: Het artikel introduceert een "gemiddelde vervalrate"-metriek om prestatieverlies naarmate de taxonomie dieper wordt te meten. KG-HTC vertoonde de laagste vervalrate (bijvoorbeeld 0,15 op Amazon versus 0,43 voor HiLA), wat aangeeft dat de methode robuustheid behoudt, zelfs in diepe, schaarse hiërarchieën waar andere methoden falen.
• Ablatiestudies:
  • Subgraf Retrieval: Het vervangen van de RAG-gebaseerde subgraf-retrieval door de volledige kennisgrafiek (Full-KG) resulteerde in lagere prestaties op diepere niveaus, wat bevestigt dat het filteren van relevante context cruciaal is voor het hanteren van grote labelruimtes.
  • Modelgeneralisatie: De methode verbeterde succesvol de prestaties van een open-source LLM (Qwen2.5-8b) ten opzichte van zijn baseline, wat generaliseerbaarheid buiten propriëtaire modellen zoals GPT-3.5-turbo aantoont.

Betekenis en Claims

Het artikel beweert dat KG-HTC effectief de kernuitdagingen van HTC in industriële settings aanpakt: het gebrek aan geannoteerde data, grote labelruimtes en langstaart-distributies. Door gestructureerde kennis (via subgraf-retrieval) te integreren met de generatieve capaciteiten van LLM's, maakt de methode nauwkeurige zero-shot-classificatie mogelijk zonder fine-tuning.

De auteurs benadrukken dat hun aanpak LLM's in staat stelt "labelsemantiek op verschillende hiërarchieniveaus te begrijpen" door expliciete topologische beperkingen te bieden. De resultaten suggereren dat het integreren van gestructureerde kennis een levensvatbare weg is om de beperkingen van huidige zero-shot HTC-methoden te overwinnen, met name in scenario's waar labeldistributies sterk onbalans zijn en taxonomieën diep zijn.

Beperkingen: De auteurs merken op dat de methode uitgaat van de beschikbaarheid van een volledige en correcte label-taxonomie; onnauwkeurigheden in de onderliggende kennisgrafiek zouden de prestaties verslechteren. Voor toekomstig werk wordt voorgesteld zich te richten op het gebruik van LLM's om robuustere kennisgrafieken te construeren.