Technische Zusammenfassung: KG-HTC

Problemdefinition

Die hierarchische Textklassifizierung (HTC) umfasst die Zuordnung von Dokumenten zu Labels, die innerhalb einer mehrstufigen Taxonomie organisiert sind. Dies ist eine für Bereiche wie E-Commerce-Kategorisierung und Literaturmanagement kritische Aufgabe. Während überwachte Methoden die vorherige Forschung dominiert haben, sehen sie sich in realen industriellen Anwendungen mit erheblichen Hindernissen konfrontiert:

1. Datenknappheit: Die manuelle Annotation von Daten über mehrere hierarchische Ebenen hinweg ist prohibitiv teuer.
2. Große Labelräume: Taxonomien enthalten oft Hunderte oder Tausende von Blattkategorien (z. B. verfügt der Amazon-Datensatz über mehr als 500 Blattkategorien).
3. Langschwanzverteilungen: Datensätze sind häufig stark unausgewogen, wobei ein kleiner Anteil häufiger Kategorien dominiert, während die Mehrheit der Klassen unterrepräsentiert ist.

Diese Faktoren machen Standardansätze der überwachten Lernverfahren für viele industrielle Umgebungen ungeeignet und erfordern einen Wechsel hin zu strikten Zero-Shot-Learning-Methoden. Bestehende Zero-Shot-Ansätze, wie diejenigen, die In-Context-Learning (Halder et al.) oder eine auf Embeddings basierende Ähnlichkeitspropagierung (Z-STC, HiLA) nutzen, kämpfen oft mit Leistungsverschlechterungen, sobald die Hierarchie tiefer wird, und scheitern daran, große, sparse Labelräume effektiv zu navigieren.

Methodik: KG-HTC

Die Autoren schlagen KG-HTC vor, ein neuartiges Framework, das Wissensgraphen (KGs) mit Large Language Models (LLMs) integriert, um HTC-Herausforderungen in einem Zero-Shot-Setting zu adressieren. Die Methode behandelt die Label-Taxonomie als gerichteten azyklischen Graphen (DAG) und nutzt eine Retrieval-Augmented Generation (RAG)-Pipeline, um dem LLM strukturierten semantischen Kontext bereitzustellen.

Die Systemarchitektur arbeitet durch folgende Stufen:

1. Speicherung und Repräsentation:

   • Die Label-Taxonomie wird sowohl in einer Graph-Datenbank (Neo4j) gespeichert, um hierarchische Eltern-Kind-Beziehungen zu bewahren, als auch in einer Vektor-Datenbank (ChromaDB), die Embeddings aller Labels enthält.
   • Diese duale Speicherung ermöglicht es dem System, topologische Einschränkungen zur semantischen Disambiguierung zu nutzen.

2. Subgraph-Retrieval (RAG):

   • Gegeben einen Eingabetext $x$ berechnet das System dessen Embedding $\Psi(x)$.
   • Für jede hierarchische Ebene $l$ berechnet das System die Kosinusähnlichkeit zwischen dem Eingabetext und allen Labels auf dieser Ebene.
   • Kandidaten-Labels $Q_l$ werden basierend auf einem Ähnlichkeitsschwellenwert $\tau_l$ retrieved.
   • Algorithmus 1 validiert kreuz-Ebenen-Abhängigkeiten: Ein Kandidaten-Label auf Ebene $l$ wird nur beibehalten, wenn sein Eltern-Label in der Kandidatenmenge der Ebene $l-1$ existiert. Dieser Prozess konstruiert einen relevanten Subgraphen (oder Subbaum) aus dem gesamten Wissensgraphen und filtert irrelevante Rauschen heraus.

3. Prompt-Konstruktion:

   • Der retrieved Subgraph wird unter Verwendung von Algorithmus 2 in einen strukturierten Prompt transformiert.
   • Das System führt eine Aufwärts-Propagierungs-Traversierung durch und enumeriert alle gültigen Pfade von Blattknoten zur Wurzel.
   • Diese Pfade werden als Sequenzen serialisiert (z. B. Ebene 1 -> Ebene 2 -> Ebene 3) und zu einem Prompt konkateniert. Diese kettenbasierte Darstellung stellt sicher, dass das LLM die hierarchischen Einschränkungen versteht, ohne von der gesamten Taxonomie überwältigt zu werden.

4. Schichtenweise Klassifizierung:

   • Das LLM führt die Klassifizierung iterativ von Ebene 1 bis Ebene $L$ durch.
   • Für die erste Ebene sind alle Top-Level-Labels im Prompt enthalten.
   • Für nachfolgende Ebenen wird die Kandidatenmenge durch das vorhergesagte Label der vorherigen Ebene ($y_{l-1}$) in Kombination mit neu retrieved Kandidaten ($Q_l$) eingeschränkt. Diese Strategie mildert die Fehlerfortpflanzung und bewältigt große Labelräume effizient.

Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

1. Neuartige Integration: Die Einführung von KG-HTC, einer Methode, die Wissensgraphen spezifisch für striktes Zero-Shot-Hierarchical Text Classification in LLMs integriert.
2. Semantisches Retrieval-Pipeline: Die Implementierung einer Pipeline, die dynamisch semantisch relevante Subgraphen basierend auf Kosinusähnlichkeit retrieved und diese in strukturierte, hierarchische Prompts transformiert, wodurch das LLM in der Lage ist, über komplexe Taxonomien zu reasoning.
3. Umfassende Evaluation: Eine tiefgehende Bewertung, die zeigt, dass KG-HTC frühere State-of-the-Art Zero-Shot-Methoden (Z-STC und HiLA) über drei Open-Source-Datensätze hinweg, insbesondere in tieferen Hierarchieebenen, übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten KG-HTC auf drei Datensätzen: Amazon Product Reviews (3 Ebenen), Web of Science (WoS) (2 Ebenen) und DBpedia (3 Ebenen). Die primäre Metrik war F1-macro, gewählt um Klassenungleichgewicht zu berücksichtigen.

• Leistungssteigerungen: KG-HTC übertraf sowohl eine schwache Baseline (direkte LLM-Klassifizierung) als auch starke Baselines (Z-STC und HiLA) signifikant.
  • Auf dem Amazon-Datensatz erreichte KG-HTC auf Ebene 3 ein F1-macro von 0,445, verglichen mit 0,249 für HiLA und 0,173 für Z-STC.
  • Auf WoS erreichte KG-HTC 0,630 auf Ebene 2 und übertraf damit HiLA (0,371) und Z-STC (0,462).
• Abklinganalyse: Die Arbeit führt eine Metrik namens „durchschnittliche Abklingrate" ein, um den Leistungsverlust zu messen, wenn die Taxonomie tiefer wird. KG-HTC wies die niedrigste Abklingrate auf (z. B. 0,15 bei Amazon gegenüber 0,43 für HiLA), was darauf hindeutet, dass die Methode auch in tiefen, sparse Hierarchien, in denen andere Methoden versagen, Robustheit bewahrt.
• Ablationsstudien:
  • Subgraph-Retrieval: Der Ersatz des RAG-basierten Subgraph-Retrievals durch den gesamten Wissensgraphen (Full-KG) führte zu geringerer Leistung in tieferen Ebenen, was bestätigt, dass das Filtern relevanten Kontexts für die Bewältigung großer Labelräume entscheidend ist.
  • Modellgeneralisierung: Die Methode verbesserte erfolgreich die Leistung eines Open-Source-LLMs (Qwen2.5-8b) gegenüber seiner Baseline und demonstrierte damit Generalisierbarkeit über proprietäre Modelle wie GPT-3.5-turbo hinaus.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass KG-HTC die Kernherausforderungen von HTC in industriellen Umgebungen effektiv adressiert: den Mangel an annotierten Daten, große Labelräume und Langschwanzverteilungen. Durch die Integration von strukturiertem Wissen (via Subgraph-Retrieval) mit den generativen Fähigkeiten von LLMs ermöglicht die Methode eine genaue Zero-Shot-Klassifizierung ohne Feinabstimmung.

Die Autoren betonen, dass ihr Ansatz es LLMs erlaubt, „Label-Semantik auf verschiedenen Hierarchieebenen zu verstehen", indem sie explizite topologische Einschränkungen bereitstellen. Die Ergebnisse deuten darauf hin, dass die Einbeziehung von strukturiertem Wissen ein gangbarer Weg ist, um die Grenzen aktueller Zero-Shot-HTC-Methoden zu überwinden, insbesondere in Szenarien, in denen Labelverteilungen stark unausgewogen und Taxonomien tief sind.

Einschränkungen: Die Autoren stellen fest, dass die Methode die Verfügbarkeit einer vollständigen und korrekten Label-Taxonomie voraussetzt; Ungenauigkeiten im zugrunde liegenden Wissensgraphen würden die Leistung verschlechtern. Als zukünftige Arbeit wird vorgeschlagen, sich darauf zu konzentrieren, LLMs zur Konstruktion robusterer Wissensgraphen einzusetzen.