SCHK-HTC: Sibling Contrastive Learning with Hierarchical Knowledge-Aware Prompt Tuning for Hierarchical Text Classification

Hieronder volgt een gedetailleerde technische samenvatting van het paper "SCHK-HTC: Sibling Contrastive Learning with Hierarchical Knowledge-Aware Prompt Tuning for Hierarchy Text Classification", vertaald en samengevat in het Nederlands.

1. Het Probleem: Few-Shot Hiërarchische Tekstclassificatie

De paper richt zich op Few-Shot Hiërarchische Tekstclassificatie (Few-shot HTC). Dit is een uitdagende taak waarbij teksten moeten worden toegewezen aan een vooraf gedefinieerde boomstructuur van labels, maar met een zeer beperkt aantal trainingsvoorbeelden (few-shot).

De bestaande methoden hebben te kampen met een kritieke bottleneck:

• Verwarring tussen zusterklassen (Sibling Classes): Hoewel huidige benaderingen hiërarchische regels gebruiken om consistentie tussen ouder- en kindlabels te behouden, hebben ze moeite om semantisch zeer vergelijkbare zusterklassen (klassen op hetzelfde niveau in de hiërarchie) van elkaar te onderscheiden.
• Onvoldoende domeinkennis: In data-schaarste scenario's ontbreekt het modellen vaak aan de specifieke domeinkennis die nodig is om subtiele betekenisverschillen te detecteren.
• Beperkingen van bestaande SOTA-methoden:
  • Methoden die gebruikmaken van contrastief leren (zoals HierVerb) kunnen de representaties van lagere niveaus te veel laten overlappen, wat verwarring verergert.
  • Methoden die kennisgrafieken (Knowledge Graphs - KG) gebruiken (zoals K-HTC) integreren deze kennis vaak niet hiërarchisch of missen een mechanisme om labelsemantiek effectief te fuseren met domeinspecifieke kennis.
  • Methoden die op Large Language Models (LLM) en retrieval-augmented generation vertrouwen (zoals DCL) zijn vaak te zwaar in termen van parameters en vereisen veel annotatie voor in-context learning.

2. Methodologie: SCHK-HTC Framework

De auteurs introduceren SCHK-HTC (Sibling Contrastive Learning with Hierarchical Knowledge-Aware Prompt Tuning). Dit is een innovatief framework dat prompt-tuning combineert met contrastief leren en kennisgrafieken om de discriminatiekracht tussen zusterklassen te vergroten.

De architectuur bestaat uit twee kerncomponenten:

A. Hiërarchische Kennis-bewuste Encoder (HK-Encoder)

Om het gebrek aan domeinkennis te compenseren, extraheren ze gestructureerde kennis uit een Knowledge Graph (Wikidata).

• Entiteit-linking: De invoer tekst wordt gekoppeld aan entiteiten in de KG, inclusief hun directe buren (one-hop neighbors).
• Multi-modale representatie: Er worden twee soorten representaties gegenereerd:
  1. Semantische modale: De entiteiten worden geëncodeerd met BERT.
  2. Structurele modale: De structuur van de subgraph wordt geëncodeerd met Node2Vec.
• Prompt-tuning: Deze kennis wordt geïntegreerd in een "cloze-style" prompt (bijv. "de kennis van de eerste laag is [MASK]..."). Het model leert zo een kennis-bewuste representatie die hiërarchisch contextueel is.

B. Zuster-Contrastief Leren (Sibling Contrastive Learning - SCL)

Om de verwarring tussen zusterklassen op te lossen, wordt een specifiek contrastief leerdoel geïntroduceerd.

• Dual-template Prompt: Voor elke laag in de hiërarchie wordt een prompt gemaakt met een positief-masker (het juiste label) en een negatief-masker (een verwarrende zusterklasse).
• Hard Negative Mining: In plaats van willekeurige negatieve voorbeelden, worden de labels met de hoogste voorspelde waarschijnlijkheid (behalve het juiste label) geselecteerd als "harde negatieven".
• Doel: Het model wordt gedwongen om subtiele, maar cruciale semantische verschillen tussen deze zusterklassen te leren, wat de scheidbaarheid van verwarrende klassen verbetert.

C. Trainingsdoelen

Het totale verlies bestaat uit een gewogen som van vier componenten:

1. Verbalizer Classificatie Loss: Standaard classificatieverlies (BCE of Cross-Entropy) voor elke laag.
2. Kennis-bewuste Hiërarchische InfoNCE Loss: Een contrastief verlies dat ervoor zorgt dat voorbeelden met hetzelfde label op een bepaalde laag dichter bij elkaar liggen in de representatieruimte dan voorbeelden met verschillende labels.
3. SCL Loss: Het specifieke verlies om zusterklassen uit elkaar te houden.
4. MLM Loss: De standaard Masked Language Modeling loss van de onderliggende BERT-pretraining.

3. Belangrijkste Bijdragen

1. Nieuwe Framework: Een nieuwe methode voor few-shot HTC die prompt-tuning combineert met hiërarchische kennis-extractie en zuster-contrastief leren.
2. Integratie van Kennis: Het introduceren van een mechanisme om gestructureerde kennis uit een Knowledge Graph te halen en hiërarchisch toe te passen, wat het domeinkennis-probleem in data-schaarste scenario's aanpakt.
3. Oplossing voor Zuster-Verwarring: Het gebruik van een specifiek contrastief doel gericht op zusterklassen om de ambiguïteit tussen fijnkorrelige klassen op te lossen.
4. Empirische Validatie: Uitgebreide experimenten op drie standaard datasets (WOS, DBpedia, RCV1-V2) die aantonen dat de methode superieur is aan bestaande state-of-the-art (SOTA) methoden.

4. Resultaten

De auteurs hebben hun methode getest op drie benchmarks: WOS (single-path), DBpedia (single-path) en RCV1-V2 (multi-path).

• Overkoepelende Prestaties: SCHK-HTC presteert consistent beter dan concurrenten zoals Vanilla-BERT, HGCLR, HPT, HierVerb en DCL in de meeste "k-shot" scenario's (van 1 tot 16 voorbeelden per klas).
• Specifieke Verbeteringen:
  • Op WOS en DBpedia werden aanzienlijke winsten geboekt, vooral in de single-path taken. Bijvoorbeeld, op DBpedia (Layer-3) met 16 shots bereikte het model 96.26% Micro-F1, wat hoger is dan HierVerb (96.17%) en DCL (96.20%).
  • Op RCV1-V2 (multi-path) is de winst kleiner naarmate het aantal shots toeneemt, maar het blijft competitief in extreem lage-shot scenario's. De auteurs verklaren dit door het feit dat contrastief leren het beste werkt bij het vormen van scherpe clusters, wat complexer is bij multi-path labels die overlappende "trekkrachten" hebben.
• Visualisatie: t-SNE visualisaties tonen aan dat SCHK-HTC veel duidelijkere en gescheiden clusters vormt voor zusterklassen vergeleken met HierVerb, wat de verminderde semantische ambiguïteit bevestigt.
• Ablatiestudies: Het verwijderen van de HK-Encoder, de InfoNCE loss of de SCL loss leidt allemaal tot een prestatiedaling, wat aantoont dat elk component essentieel is. De SCL loss bleek het meest kritiek voor het oplossen van zuster-ambiguïteit.

5. Betekenis en Conclusie

De paper biedt een significante bijdrage aan het veld van Few-Shot Learning en Hiërarchische Classificatie. De kerninzicht is dat het simpelweg toepassen van hiërarchische regels niet genoeg is; men moet actief leren om de subtiele verschillen tussen zusterklassen te onderscheiden door gebruik te maken van externe kennis en gerichte contrastieve training.

SCHK-HTC lost het probleem op van "verwarring op diepe niveaus" in hiërarchieën, wat vaak de zwakke plek is van bestaande modellen. Door prompt-tuning te combineren met kennisgrafieken en een specifiek contrastief doel voor zusterklassen, creëren de auteurs een model dat niet alleen robuust is in data-schaarste, maar ook uitzonderlijk goed presteert bij het classificeren van de meest fijnkorrelige en moeilijke labels in een boomstructuur. De code is open-source beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap faciliteert.