TaxoBell: Gaussian Box Embeddings for Self-Supervised Taxonomy Expansion

Resumo Técnico: TaxoBell

Definição do Problema
As taxonomias servem como a espinha dorsal para a representação estruturada de conhecimento em domínios que variam de e-commerce a busca semântica. No entanto, manter essas hierarquias manualmente é trabalhoso e lento, levando a lacunas de cobertura que degradam a qualidade da busca e da recomendação. O desafio central na expansão automatizada de taxonomias é posicionar novas entidades "consulta" sob os nós "âncora" (pai) mais apropriados dentro de uma taxonomia semente existente.

Métodos existentes enfrentam limitações significativas:

1. Embeddings Vetoriais: Abordagens tradicionais mapeiam entidades para vetores de pontos em espaço Euclidiano. Esses modelos capturam inerentemente a similaridade simétrica, mas falham em modelar as relações assimétricas de "é-um" (hiperonímia) fundamentais para as taxonomias.
2. Box Embeddings (Embeddings de Caixa): Embora os box embeddings (hiperretângulos alinhados aos eixos) possam modelar o conteúdo (assimetria) garantindo que a região de um filho esteja contida na do pai, as formulações atuais sofrem de três problemas críticos:
   • Gradientes Instáveis: Objetivos de treinamento geométricos baseados em fronteiras de interseção são por partes (piecewise), levando a gradientes evanescentes ou instáveis em fronteiras disjuntas.
   • Falta de Incerteza: Fronteiras de caixa rígidas não oferecem uma forma fundamentada de representar incerteza semântica, polissemia ou ambiguidade.
   • Degeneração: Sem controle explícito, as caixas podem colapsar ou inflar para criar um conteúdo falso, carecendo de confiança calibrada.

Metodologia: TaxoBell
O TaxoBell introduz um framework de Gaussian Box Embedding que une o viés indutivo geométrico das caixas com a expressividade probabilística das distribuições Gaussianas multivariadas.

1. Representação:

   • As entidades são primeiro codificadas em vetores semânticos usando um modelo de linguagem pré-treinado (BERT).
   • Esses vetores são projetados em caixas alinhadas aos eixos definidas por um centro ($c$) e desvios ($o$).
   • Crucialmente, essas caixas são traduzidas em distribuições Gaussianas multivariadas $N(\mu, \Sigma)$. O centro da caixa torna-se a média ($\mu$), e os desvios são elevados ao quadrado para formar a matriz de covariância diagonal ($\Sigma = \text{diag}(o \odot o)$).
   • Essa tradução permite que o modelo retenha o viés hierárquico das caixas (contenção) enquanto ganha a capacidade de representar localização semântica e incerteza (generalidade/polissemia) via covariância.

2. Treinamento Autossupervisionado:

   • O modelo é treinado usando um paradigma autossupervisionado derivado diretamente da taxonomia semente, não exigindo anotações externas.
   • Pares Positivos: Arestas $\langle \text{filho}, \text{pai} \rangle$ da taxonomia semente.
   • Pares Negativos: Negativos difíceis (hard negatives) amostrados do vizinhança local (irmãos, tios, primos) para forçar o modelo a distinguir o verdadeiro pai de nós semanticamente similares, mas estruturalmente incorretos.

3. Otimização Baseada em Energia:
   Em vez de perdas geométricas padrão ou de produto escalar, o TaxoBell otimiza duas funções de energia complementares definidas sobre as distribuições Gaussianas:

   • Sobreposição Simétrica (Distância de Bhattacharyya): Incentiva alta sobreposição probabilística entre pares pai-filho verdadeiros para capturar coerência semântica.
   • Contenção Assimétrica (Divergência KL): Impõe a hierarquia direcional ao minimizar a divergência KL da distribuição do filho para a do pai, garantindo que a massa do filho esteja contida na do pai.
   • KL Reversa e Regularização de Volume: Para evitar soluções degeneradas (ex: um pai encolhendo para um ponto para minimizar a KL), o modelo inclui um termo de KL reversa acoplado a uma restrição de lacuna de log-volume. Além disso, regularizadores de variância mínima e de corte de variância garantem que as covariâncias permaneçam bem condicionadas e evitem instabilidade numérica.

4. Inferência:
   Durante a inferência, os pais candidatos são classificados com base nos escores de sobreposição simétrica (coeficiente de Bhattacharyya) e contenção assimétrica (divergência KL). Os embeddings Gaussianos resultantes podem ser traduzidos de volta para caixas interpretáveis ao fixar um nível de confiança (ex: $1\sigma, 2\sigma$) para controlar a incerteza retida.

Principais Contribuições

• Framework de Gaussian Box: Uma tradução inovadora entre caixas alinhadas aos eixos e Gaussianas multivariadas, permitindo a modelagem de hierarquia assimétrica com incerteza calibrada.
• Aprendizado Baseado em Energia Estável: A introdução de funções de energia suaves e de forma fechada (Bhattacharyya e KL) que evitam os gradientes instáveis associados às interseções de caixas geométricas por partes.
• Paradigma Autossupervisionado: Uma estratégia de treinamento que aproveita diretamente a estrutura da taxonomia semente, minerando negativos difíceis de vizinhanças locais para criar fronteiras de decisão distintas sem dados extras.
• Avaliação Abrangente: Experimentos extensos em cinco benchmarks do mundo real (Environment, Science, Food, WordNet, MeSH) contra oito baselines de estado da arte.

Resultados Experimentais
O TaxoBell foi avaliado em cinco conjuntos de dados abrangendo taxonomias de pai único e múltiplos pais. Os resultados demonstram melhorias significativas sobre os baselines baseados em vetores (ex: BERT+MLP), baseados em caminhos (ex: TaxoExpan, STEAM) e de caixas rígidas (ex: BoxTaxo):

• Ganhos de Desempenho: O TaxoBell supera o melhor baseline em 19% em Mean Reciprocal Rank (MRR) e aproximadamente 25% em Recall@k.
• Qualidade de Ranking: Alcança o menor Mean Rank (MR) e os maiores escores de Hit@k em todos os conjuntos de dados.
• Estudos de Ablação: Remover perdas assimétricas, perdas simétricas ou regularização de volume consistentemente degrada o desempenho, confirmando que a combinação de contenção direcional, similaridade semântica e controle de incerteza é necessária para uma expansão robusta.
• Significância Estatística: Testes pelo método de Fisher confirmam que os ganhos de desempenho são estatisticamente significativos em todos os conjuntos de dados.

Significância e Alegações
O artigo afirma que o TaxoBell oferece uma base prática para o raciocínio hierárquico robusto e escalável em sistemas do mundo real. Ao unificar a contenção geométrica com a incerteza probabilística, o framework aborda as limitações tanto de embeddings de ponto (falta de hierarquia) quanto de caixas rígidas (falta de incerteza e estabilidade de gradiente). Os autores enfatizam que a representação é interpretável (via intervalos de confiança e tradução para caixas), probabilística e prontamente extensível. O trabalho demonstra que modelar conceitos como caixas Gaussianas permite o tratamento "calibrado" de conceitos ambíguos e polissemia, o que é crítico para a expansão precisa de taxonomias em domínios de rápida mudança.