TaxoBell: Gaussian Box Embeddings for Self-Supervised Taxonomy Expansion

Resumen Técnico: TaxoBell

Declaración del Problema
Las taxonomías sirven como la columna vertebral para la representación estructurada del conocimiento en dominios que van desde el comercio electrónico hasta la búsqueda semántica. Sin embargo, mantener estas jerarquías manualmente es laborioso y lento, lo que genera brechas de cobertura que degradan la calidad de la búsqueda y las recomendaciones. El desafío central en la expansión automatizada de taxonomías es ubicar nuevas entidades de "consulta" bajo los nodos "ancla" (padre) más apropiados dentro de una taxonomía semilla existente.

Los métodos existentes enfrentan limitaciones significativas:

1. Embeddings de Vectores: Los enfoques tradicionales mapean entidades a vectores de puntos en el espacio euclidiano. Estos modelos capturan inherentemente la similitud simétrica, pero no logran modelar la relación asimétrica de "es-un" (hiperonimia) que es fundamental para las taxonomías.
2. Embeddings de Cajas (Box Embeddings): Aunque los embeddings de cajas (hiperrectángulos alineados con los ejes) pueden modelar la contención (asimetría) asegurando que la región de un hijo se encuentre dentro de la de un padre, las formulaciones actuales sufren de tres problemas críticos:
   • Gradientes Inestables: Los objetivos de entrenamiento geométricos basados en fronteras de intersección son por partes, lo que provoca gradientes evanescentes o inestables en las fronteras disjuntas.
   • Falta de Incertidumbre: Las fronteras de caja rígidas no proporcionan una forma fundamentada de representar la incertidumbre semántica, la polisemia o la ambigüedad.
   • Degeneración: Sin un control explícito, las cajas pueden colapsar o inflarse para crear una contención falsa, careciendo de una confianza calibrada.

Metodología: TaxoBell
TaxoBell introduce un marco de Gaussian Box Embedding que une el sesgo inductivo geométrico de las cajas con la expresividad probabilística de las distribuciones gaussianas multivariantes.

1. Representación:

   • Primero, las entidades se codifican en vectores semánticos utilizando un modelo de lenguaje preentrenado (BERT).
   • Estos vectores se proyectan en cajas alineadas con los ejes definidas por un centro ($c$) y desplazamientos ($o$).
   • Crucialmente, estas cajas se traducen en distribuciones gaussianas multivariantes $N(\mu, \Sigma)$. El centro de la caja se convierte en la media ($\mu$), y los desplazamientos se elevan al cuadrado para formar la matriz de covarianza diagonal ($\Sigma = \text{diag}(o \odot o)$).
   • Esta traducción permite que el modelo retenga el sesgo jerárquico de las cajas (contención) mientras gana la capacidad de representar la ubicación semántica y la incertidumbre (generalidad/polisemia) a través de la covarianza.

2. Entrenamiento Autosupervisado:

   • El modelo se entrena utilizando un paradigma autosupervisado derivado directamente de la taxonomía semilla, sin requerir anotaciones externas.
   • Pares Positivos: Aristas $\langle \text{hijo}, \text{padre} \rangle$ de la taxonomía semilla.
   • Pares Negativos: Negativos difíciles (hard negatives) muestreados del vecindario local (hermanos, tíos, primos) para obligar al modelo a distinguir al padre verdadero de los nodos semánticamente similares pero estructuralmente incorrectos.

3. Optimización Basada en Energía:
   En lugar de las pérdidas estándar de geometría o de producto punto, TaxoBell optimiza dos funciones de energía complementarias definidas sobre las distribuciones gaussianas:

   • Solapamiento Simétrico (Distancia de Bhattacharyya): Fomenta un alto solapamiento probabilístico entre los pares padre-hijo reales para capturar la coherencia semántica.
   • Contención Asimétrica (Divergencia KL): Impone la jerarquía direccional minimizando la divergencia KL de la distribución del hijo hacia la del padre, asegurando que la masa del hijo esté contenida dentro de la del padre.
   • KL Inversa y Regularización de Volumen: Para evitar soluciones degeneradas (por ejemplo, que un padre se reduzca a un punto para minimizar la KL), el modelo incluye un término de KL inversa junto con una restricción de brecha de log-volumen. Además, los regularizadores de varianza mínima y recorte de varianza aseguran que las covarianzas permanezcan bien condicionadas y prevengan la inestabilidad numérica.

4. Inferencia:
   Durante la inferencia, los padres candidatos se clasifican según los puntajes de solapamiento simétrico (coeficiente de Bhattacharyya) y contención asimétrica (divergencia KL). Los embeddings gaussianos resultantes pueden traducirse de nuevo a cajas interpretables fijando un nivel de confianza (por ejemplo, $1\sigma, 2\sigma$) para controlar la incertidumbre retenida.

Contribuciones Clave

• Marco de Caja Gaussiana: Una novedosa traducción entre cajas alineadas con los ejes y gaussianas multivariantes, que permite el modelado de la jerarquía asimétrica con incertidumbre calibrada.
• Aprendizaje Estable Basado en Energía: La introducción de funciones de energía suaves y de forma cerrada (Bhattacharyya y KL) que evitan los gradientes inestables asociados con las intersecciones de cajas geométricas por partes.
• Paradigma Autosupervisado: Una estrategia de entrenamiento que aprovecha directamente la estructura de la taxonomía semilla, extrayendo negativos difíciles de los vecindarios locales para crear límites de decisión distintivos sin datos adicionales.
• Evaluación Exhaustiva: Experimentos extensos en cinco benchmarks del mundo real (Environment, Science, Food, WordNet, MeSH) frente a ocho líneas base de vanguardia.

Resultados Experimentales
TaxoBell fue evaluado en cinco conjuntos de datos que abarcan taxonomías de un solo padre y de múltiples padres. Los resultados demuestran mejoras significativas sobre las líneas base basadas en vectores (por ejemplo, BERT+MLP), basadas en rutas (por ejemplo, TaxoExpan, STEAM) y de cajas rígidas (por ejemplo, BoxTaxo):

• Ganancias de Rendimiento: TaxoBell supera a la mejor línea base por un 19% en el MRR (Mean Reciprocal Rank) y aproximadamente un 25% en el Recall@k.
• Calidad de Clasificación: Logra el menor MR (Mean Rank) y los puntajes de Hit@k más altos en todos los conjuntos de datos.
• Estudios de Ablación: Eliminar las pérdidas asimétricas, las pérdidas simétricas o la regularización de volumen degrada consistentemente el rendimiento, confirmando que la combinación de contención direccional, similitud semántica y control de incertidumbre es necesaria para una expansión robusta.
• Significancia Estadística: Las pruebas de método de Fisher confirman que las ganancias de rendimiento son estadísticamente significativas en todos los conjuntos de datos.

Significancia y Reivindicaciones
El artículo afirma que TaxoBell ofrece una base práctica para un razonamiento jerárquico robusto y escalable en sistemas del mundo real. Al unificar la contención geométrica con la incertidumbre probabilística, el marco aborda las limitaciones tanto de los embeddings de puntos (falta de jerarquía) como de las cajas rígidas (falta de incertidumbre y estabilidad de gradiente). Los autores enfatizan que la representación es interpretable (a través de intervalos de confianza y traducción de cajas), probabilística y fácilmente extensible. El trabajo demuestra que modelar conceptos como cajas gaussianas permite el manejo "calibrado" de conceptos ambiguos y la polisemia, lo cual es crítico para la expansión precisa de taxonomías en dominios que cambian rápidamente.