TaxoBell: Gaussian Box Embeddings for Self-Supervised Taxonomy Expansion

Sintesi Tecnica: TaxoBell

Problematica
Le tassonomie fungono da spina dorsale per la rappresentazione strutturata della conoscenza in domini che vanno dall'e-commerce alla ricerca semantica. Tuttavia, mantenere queste gerarchie manualmente è laborioso e lento, portando a lacune di copertura che degradano la qualità della ricerca e della raccomandazione. La sfida principale nell'espansione automatica delle tassonomie è collocare i nuovi entità "query" sotto i nodi "ancora" (genitore) più appropriati all'interno di una tassonomia di base esistente.

I metodi esistenti affrontano limitazioni significative:

1. Embedding Vettoriali: Gli approoli tradizionali mappano le entità in vettori di punti nello spazio euclideo. Questi modelli catturano intrinsecamente la similarità simmetrica, ma non riescono a modellare le relazioni asimmetriche "is-a" (iperonimia) fondamentali per le tassonomie.
2. Box Embedding: Sebbene i box embedding (iperrettangoli allineati agli assi) possano modellare il contenimento (asimmetria) garantendo che la regione di un figlio risieda all'interno del genitore, le formulazioni attuali soffrono di tre problemi critici:
   • Gradienti Instabili: Gli obiettivi di addestramento geometrici basati sui confini di intersezione sono a tratti, portando a gradienti evanescenti o instabili in corrispondenza dei confini disgiunti.
   • Mancanza di Incertezza: I confini rigidi dei box non forniscono un modo fondato per rappresentare l'incertezza semantica, la polisemia o l'ambiguità.
   • Degenerazione: Senza un controllo esplicito, i box possono collassare o gonfiarsi per creare un falso contenimento, mancando di una fiducia calibrata.

Metodologia: TaxoBell
TaxoBell introduce un framework di Gaussian Box Embedding che unisce il bias induttivo geometrico dei box con l'espressività probabilistica delle distribuzioni gaussiane multivariate.

1. Rappresentazione:

   • Le entità vengono prima codificate in vettori semantici utilizzando un modello linguistico pre-addestrato (BERT).
   • Questi vettori vengono proiettati in box allineati agli assi definiti da un centro ($c$) e da offset ($o$).
   • Fondamentalmente, questi box vengono tradotti in distribuzioni gaussiane multivariate $N(\mu, \Sigma)$. Il centro del box diventa la media ($\mu$), e gli offset vengono elevati al quadrato per formare la matrice di covarianza diagonale ($\Sigma = \text{diag}(o \odot o)$).
   • Questa traduzione permette al modello di mantenere il bias gerarchico dei box (contenimento) acquisendo al contempo la capacità di rappresentare la posizione semantica e l'incertezza (generalità/polisemia) tramite la covarianza.

2. Addestramento Auto-Supervisionato:

   • Il modello è addestrato utilizzando un paradigma auto-supervisionato derivato direttamente dalla tassonomia di base, senza richiedere annotazioni esterne.
   • Coppie Positive: Editi $\langle \text{figlio}, \text{genitore} \rangle$ dalla tassonomia di base.
   • Coppie Negative: Hard negatives campionati dal vicinato locale (fratelli, zii, cugini) per costringere il modello a distinguere il vero genitore da nodi semanticamente simili ma strutturalmente errati.

3. Ottimizzazione Basata sull'Energia:
   Invece degli standard loss geometrici o dot-product, TaxoBell ottimizza due funzioni di energia complementari definite sulle distribuzioni gaussiane:

   • Sovrapposizione Simmetrica (Distanza di Bhattacharyya): Incoraggia un'alta sovrapposizione probabilistica tra le coppie genitore-figlio reali per catturare la coerenza semantica.
   • Contenimento Asimmetrico (Divergenza KL): Impone una gerarchia direzionale minimizzando la divergenza KL dalla distribuzione del figlio a quella del genitore, assicurando che la massa del figlio sia contenuta all'interno del genitore.
   • Reverse KL e Regolarizzazione del Volume: Per prevenire soluzioni degenerate (ad esempio, un genitore che si restringe a un punto per minimizzare la KL), il modello include un termine di reverse KL accoppiato a un vincolo di gap del log-volume. Inoltre, i regolarizzatori di varianza minima e clipping della varianza assicurano che le covarianze rimangano ben condizionate e prevengano l'instabilità numerica.

4. Inferenza:
   Durante l'inferenza, i candidati genitori vengono classificati in base ai punteggi di sovrapposizione simmetrica (coefficiente di Bhattacharyya) e contenimento asimmetrico (divergenza KL). I risultanti embedding gaussiani possono essere tradotti nuovamente in box interpretabili fissando un livello di confidenza (ad esempio, $1\sigma, 2\sigma$) per controllare l'incertezza mantenuta.

Contributi Chiave

• Framework Gaussian Box: Una nuova traduzione tra box allineati agli assi e gaussiane multivariate, che consente di modellare l'asimmetria gerarchica con incertezza calibrata.
• Apprendimento Energetico Stabile: L'introduzione di funzioni di energia lisce e in forma chiusa (Bhattacharyya e KL) che evitano i gradienti instabili associati alle intersezioni geometriche a tratti dei box.
• Paradigma Auto-Supervisionato: Una strategia di addestramento che sfrutta direttamente la struttura della tassonomia di base, estraendo hard negatives dai vicinati locali per creare confini decisionali distintivi senza dati aggiuntivi.
• Valutazione Esaustiva: Esperimenti estesi su cinque benchmark del mondo reale (Environment, Science, Food, WordNet, MeSH) contro otto baseline allo stato dell'arte.

Risultati Sperimentali
Taxo-Bell è stato valutato su cinque dataset che spaziano da tassonomie a genitore singolo a tassonomie a più genitori. I risultati dimostrano miglioramenti significativi rispetto alle baseline basate su vettori (es. BERT+MLP), basate su percorsi (es. TaxoExpan, STEAM) e basate su hard-box (es. BoxTaxo):

• Guadagni di Performance: TaxoBell supera la migliore baseline del 19% in Mean Reciprocal Rank (MRR) e di circa il 25% in Recall@k.
• Qualità del Ranking: Ottiene il Mean Rank (MR) più basso e i punteggi Hit@k più alti in tutti i dataset.
• Studi di Ablazione: La rimozione delle perdite asimmetriche, delle perdite simmetriche o della regolarizzazione del volume degrada costantemente le prestazioni, confermando che la combinazione di contenimento direzionale, similarità semantica e controllo dell'incertezza è necessaria per un'espansione robusta.
• Significatività Statistica: I test del metodo di Fisher confermano che i guadagni di performance sono statisticamente significativi in tutti i dataset.

Significato e Rivendicazioni
L'articolo sostiene che TaxoBell offra una base pratica per un ragionamento gerarchico robusto e scalabile nei sistemi reali. Unificando il contenimento geometrico con l'incertezza probabilistica, il framework affronta i limiti sia dei point embedding (mancanza di gerarchia) che dei hard box (mancanza di incertezza e stabilità del gradiente). Gli autori sottolineano che la rappresentazione è interpretabile (tramite intervalli di confidenza e traduzione in box), probabilistica ed facilmente estendibile. Il lavoro dimosta che modellare i concetti come Gaussian Box permette la gestione "calibrata" di concetti ambigui e della polisemia, il che è critico per l'espansione accurata delle tassonomie in domini che cambiano rapidamente.