Riepilogo Tecnico: KG-HTC

Definizione del Problema

La Classificazione Gerarchica del Testo (HTC) consiste nell'assegnare documenti a etichette organizzate all'interno di una tassonomia multilivello, un compito critico per ambiti come la categorizzazione nell'e-commerce e la gestione della letteratura. Sebbene i metodi supervisionati abbiano dominato la ricerca precedente, essi incontrano barriere significative nelle applicazioni industriali reali:

1. Scarsità di Dati: L'annotazione manuale dei dati attraverso più livelli gerarchici è proibitivamente costosa.
2. Grandi Spazi di Etichette: Le tassonomie spesso contengono centinaia o migliaia di categorie foglia (ad esempio, il dataset Amazon ha oltre 500 categorie foglia).
3. Distribuzioni a Coda Lunga: I dataset sono spesso altamente sbilanciati, dove una piccola frazione di categorie frequenti domina mentre la maggior parte delle classi è sottorappresentata.

Questi fattori rendono gli approcci supervisionati standard inadatti a molti contesti industriali, rendendo necessario un passaggio verso metodi di apprendimento zero-shot rigoroso. Gli approcci zero-shot esistenti, come quelli che sfruttano l'apprendimento in contesto (Halder et al.) o la propagazione della similarità basata su embedding (Z-STC, HiLA), spesso faticano con il degrado delle prestazioni man mano che la gerarchia si approfondisce, fallendo nel navigare efficacemente grandi spazi di etichette sparsi.

Metodologia: KG-HTC

Gli autori propongono KG-HTC, un nuovo framework che integra Grafi della Conoscenza (KG) con Modelli Linguistici di Grande Dimensione (LLM) per affrontare le sfide dell'HTC in un contesto zero-shot. Il metodo tratta la tassonomia delle etichette come un Grafo Aciclico Diretto (DAG) e impiega una pipeline di Generazione Aumentata dal Recupero (RAG) per fornire un contesto semantico strutturato all'LLM.

L'architettura del sistema opera attraverso le seguenti fasi:

1. Archiviazione e Rappresentazione:

   • La tassonomia delle etichette è archiviata sia in un Database a Grafo (Neo4j) per preservare le relazioni gerarchiche genitore-figlio, sia in un Database Vettoriale (ChromaDB) contenente gli embedding di tutte le etichette.
   • Questo doppio archivio permette al sistema di sfruttare i vincoli topologici per la disambiguazione semantica.

2. Recupero del Sottografo (RAG):

   • Dato un testo di input $x$, il sistema ne calcola l'embedding $\Psi(x)$.
   • Per ogni livello gerarchico $l$, il sistema calcola la similarità coseno tra l'input e tutte le etichette a quel livello.
   • Le etichette candidate $Q_l$ vengono recuperate in base a una soglia di similarità $\tau_l$.
   • L'Algoritmo 1 convalida le dipendenze tra livelli: un'etichetta candidata al livello $l$ viene mantenuta solo se la sua etichetta genitore esiste nell'insieme candidato del livello $l-1$. Questo processo costruisce un sottografo rilevante (o un sotto-albero) dal grafo della conoscenza completo, filtrando il rumore irrilevante.

3. Costruzione del Prompt:

   • Il sottografo recuperato viene trasformato in un prompt strutturato utilizzando l'Algoritmo 2.
   • Il sistema esegue una traversata di propagazione verso l'alto, elencando tutti i percorsi validi dai nodi foglia alla radice.
   • Questi percorsi vengono serializzati come sequenze (ad esempio, Livello 1 -> Livello 2 -> Livello 3) e concatenati in un prompt. Questa rappresentazione basata su catene garantisce che l'LLM comprenda i vincoli gerarchici senza essere sopraffatto dall'intera tassonomia.

4. Classificazione Livello per Livello:

   • L'LLM esegue la classificazione in modo iterativo dal Livello 1 al Livello $L$.
   • Per il primo livello, tutte le etichette di livello superiore sono incluse nel prompt.
   • Per i livelli successivi, l'insieme candidato è vincolato dall'etichetta prevista del livello precedente ($y_{l-1}$) combinata con i nuovi candidati recuperati ($Q_l$). Questa strategia mitiga la propagazione dell'errore e gestisce in modo efficiente grandi spazi di etichette.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Integrazione Innovativa: L'introduzione di KG-HTC, un metodo che integra i Grafi della Conoscenza negli LLM specificamente per la Classificazione Gerarchica del Testo zero-shot rigorosa.
2. Pipeline di Recupero Semantico: L'implementazione di una pipeline che recupera dinamicamente sottografi semanticamente rilevanti basati sulla similarità coseno e li trasforma in prompt strutturati e gerarchici, consentendo all'LLM di ragionare su tassonomie complesse.
3. Valutazione Completa: Una valutazione approfondita che dimostra come KG-HTC superi i precedenti metodi zero-shot all'avanguardia (Z-STC e HiLA) su tre dataset open-source, in particolare nei livelli gerarchici più profondi.

Risultati Sperimentali

Gli autori hanno valutato KG-HTC su tre dataset: Recensioni di Prodotti Amazon (3 livelli), Web of Science (WoS) (2 livelli) e DBpedia (3 livelli). La metrica principale è stata la F1-macro, scelta per tenere conto dello sbilanciamento delle classi.

• Miglioramenti delle Prestazioni: KG-HTC ha superato significativamente sia una baseline debole (classificazione diretta dell'LLM) che baseline forti (Z-STC e HiLA).
  • Sul dataset Amazon, KG-HTC ha raggiunto una F1-macro di 0.445 al Livello 3, rispetto a 0.249 per HiLA e 0.173 per Z-STC.
  • Su WoS, KG-HTC ha raggiunto 0.630 al Livello 2, superando HiLA (0.371) e Z-STC (0.462).
• Analisi del Decadimento: Il documento introduce una metrica di "tasso medio di decadimento" per misurare la perdita di prestazioni man mano che la tassonomia si approfondisce. KG-HTC ha esibito il tasso di decadimento più basso (ad esempio, 0.15 su Amazon contro 0.43 per HiLA), indicando che il metodo mantiene la robustezza anche in gerarchie profonde e sparse dove altri metodi falliscono.
• Studi di Ablazione:
  • Recupero del Sottografo: Sostituire il recupero del sottografo basato su RAG con l'intero grafo della conoscenza (Full-KG) ha portato a prestazioni inferiori nei livelli più profondi, confermando che filtrare il contesto rilevante è cruciale per gestire grandi spazi di etichette.
  • Generalizzazione del Modello: Il metodo ha migliorato con successo le prestazioni di un LLM open-source (Qwen2.5-8b) rispetto alla sua baseline, dimostrando la generalizzabilità oltre i modelli proprietari come GPT-3.5-turbo.

Significato e Affermazioni

Il documento afferma che KG-HTC affronta efficacemente le sfide fondamentali dell'HTC nei contesti industriali: la mancanza di dati annotati, i grandi spazi di etichette e le distribuzioni a coda lunga. Integrando la conoscenza strutturata (tramite il recupero del sottografo) con le capacità generative degli LLM, il metodo abilita una classificazione zero-shot accurata senza richiedere un fine-tuning.

Gli autori sottolineano che il loro approccio permette agli LLM di "comprendere la semantica delle etichette a vari livelli gerarchici" fornendo vincoli topologici espliciti. I risultati suggeriscono che incorporare conoscenza strutturata è una via percorribile per superare i limiti degli attuali metodi zero-shot per l'HTC, in particolare in scenari dove le distribuzioni delle etichette sono altamente sbilanciate e le tassonomie sono profonde.

Limitazioni: Gli autori notano che il metodo presuppone la disponibilità di una tassonomia delle etichette completa e corretta; imprecisioni nel grafo della conoscenza sottostante degraderebbero le prestazioni. È proposto un lavoro futuro focalizzato sull'utilizzo degli LLM per costruire grafi della conoscenza più robusti.