SCHK-HTC: Sibling Contrastive Learning with Hierarchical Knowledge-Aware Prompt Tuning for Hierarchical Text Classification

1. Il Problema: Classificazione Gerarchica del Testo in Scenari Few-Shot

La Classificazione Gerarchica del Testo (HTC) è un compito specializzato che mappa testi in una gerarchia di etichette predefinita (struttura ad albero). La sfida principale affrontata in questo lavoro è la versione Few-Shot di questo compito, dove il modello deve imparare a classificare con un numero estremamente limitato di campioni per classe.

Le limitazioni degli approcci attuali (come HierVerb o DCL) includono:

• Difficoltà nel distinguere classi "sorelle" (Sibling Classes): Man mano che si scende nei livelli più profondi della gerarchia, le differenze semantiche tra le etichette diventano sottili. Gli approcci esistenti faticano a separare queste classi semanticamente simili.
• Carenza di conoscenza di dominio: I modelli pre-addestrati (PLM) mancano spesso di conoscenze specifiche del dominio necessarie per risolvere ambiguità fini.
• Sovrapposizione delle rappresentazioni: L'uso di tecniche di contrasto standard tende a sovrapporre gli embedding delle etichette a livelli inferiori, aumentando la confusione invece di ridurla.

2. Metodologia: Il Framework SCHK-HTC

Gli autori propongono SCHK-HTC, un nuovo framework basato su Prompt Tuning che integra due componenti principali per migliorare la discriminabilità tra classi sorelle:

A. Codificatore Consapevole della Conoscenza Gerarchica (HK-Encoder)

Questo modulo estrae e integra conoscenza strutturata dal Knowledge Graph (KG) (in particolare Wikidata) per arricchire la rappresentazione del testo.

• Entity Linking: Il testo di input viene collegato a entità nel KG, e vengono estratti i vicini a un passo (one-hop neighbors) e le relazioni.
• Fusione Multimodale: Vengono generate due rappresentazioni:
  1. Semantica: Embedding delle entità tramite BERT.
  2. Strutturale: Embedding strutturali del sottografo estratto usando Node2Vec e aggregazione dei vicini.
• Queste rappresentazioni vengono fuse per creare un embedding "consapevole della conoscenza" che fornisce contesto strutturato al modello.

B. Meccanismo di Apprendimento Contrastivo tra Sorelle (Sibling Contrastive Learning - SCL)

Per affrontare specificamente l'ambiguità tra classi sorelle, il modello utilizza un obiettivo di apprendimento contrastivo specializzato:

• Prompting Ibrido: Vengono costruiti prompt con template come "La prima layer è [MASK] piuttosto che [MASK]...", dove il primo [MASK] è l'etichetta vera e il secondo è un "hard negative" (una classe sorella confondibile).
• Mining Hard Negative: Il modello seleziona dinamicamente le etichette sorelle con le probabilità più alte (esclusa quella vera) come negativi difficili.
• Obiettivo: Forzare il modello a imparare le sottili differenze semantiche tra categorie simili, rendendo i confini decisionali più netti.

C. Funzioni di Perdita (Loss Functions)

Il modello è ottimizzato attraverso una combinazione di quattro obiettivi:

1. Loss di Classificazione (BCE/CE): Per la previsione standard delle etichette a ogni livello.
2. Knowledge-aware Hierarchical InfoNCE Loss: Una perdita contrastiva che rispetta la struttura gerarchica, avvicinando le rappresentazioni di campioni con la stessa etichetta a un certo livello e allontanando quelle con etichette diverse.
3. Sibling Contrastive Learning Loss: Specifica per massimizzare la distanza tra le rappresentazioni delle classi sorelle confondibili.
4. MLM Loss: La perdita di mascheramento standard di BERT per mantenere la capacità linguistica.

3. Contributi Chiave

1. Nuovo Framework di Prompt Tuning: Introduzione di un metodo che combina estrazione di conoscenza gerarchica da KG e apprendimento contrastivo specifico per le classi sorelle.
2. Integrazione di Conoscenza Esterna: Risoluzione del problema della scarsa conoscenza di dominio nei setting few-shot attraverso l'uso strutturato di Knowledge Graph.
3. Meccanismo di Discriminazione Fine: L'uso di verbalizzatori e prompt contrastivi specifici per "sorelle" migliora significativamente la separabilità delle classi a livelli profondi della gerarchia.
4. Validazione Sperimentale: Dimostrazione empirica che il metodo supera gli stati dell'arte (SOTA) su dataset multipli.

4. Risultati Sperimentali

Il modello è stato valutato su tre benchmark standard: WOS (single-path), DBpedia (single-path) e RCV1-V2 (multi-path), in scenari da 1 a 16 shot.

• Performance Generale: SCHK-HTC ha ottenuto risultati superiori (F1 Micro e Macro) rispetto agli approcci SOTA come HierVerb, DCL, HPT e HGCLR nella maggior parte dei casi, specialmente nei setting con pochi dati (1-shot e 2-shot).
• Dataset Single-Path: I guadagni sono stati particolarmente significativi su WOS e DBpedia, dove la struttura gerarchica è più lineare.
• Dataset Multi-Path: Su RCV1-V2, le prestazioni sono competitive, sebbene il vantaggio diminuisca leggermente all'aumentare degli shot a causa della complessità delle etichette co-occorrenti.
• Visualizzazione (t-SNE): Le proiezioni mostrano che SCHK-HTC crea cluster di etichette molto più distinti e separati rispetto a HierVerb, risolvendo efficacemente l'ambiguità semantica tra le classi sorelle.
• Studio di Ablazione: La rimozione di qualsiasi componente (HK-Encoder, InfoNCE loss, o SCL loss) ha portato a un calo delle prestazioni, confermando che tutti i moduli sono essenziali. In particolare, la rimozione della SCL Loss ha causato il degrado più netto nella capacità di distinguere le classi sorelle.

5. Significato e Impatto

Questo lavoro è significativo perché affronta direttamente il collo di bottiglia della classificazione gerarchica in scenari a risorse limitate: la confusione tra classi sorelle.

• Innovazione Metodologica: Sposta il focus dal semplice rispetto delle regole gerarchiche (coerenza padre-figlio) alla discriminazione attiva delle sottili differenze semantiche tra fratelli.
• Efficienza: A differenza di approcci basati su LLM massicci o retrieval-augmented generation pesanti, SCHK-HTC utilizza il prompt tuning su modelli più leggeri (BERT), offrendo un ottimo compromesso tra prestazioni e costo computazionale.
• Applicabilità: Il metodo è particolarmente utile in domini dove le categorie sono molto specifiche e i dati di addestramento sono scarsi, come la classificazione di articoli accademici o notizie tematiche.

In sintesi, SCHK-HTC rappresenta un avanzamento sostanziale nella capacità dei modelli di comprendere e classificare testi in gerarchie complesse, fornendo una soluzione robusta al problema della scarsità di dati e dell'ambiguità semantica fine.