Improving Continual Learning of Knowledge Graph Embeddings via Informed Initialization

Resumen Técnico: Mejora del Aprendizaje Continuo de Representaciones de Grafos de Conocimiento mediante Inicialización Informada

Enunciado del Problema
Los Grafos de Conocimiento (KG) son estructuras dinámicas que evolucionan frecuentemente mediante la adición de nuevas tripletes. En escenarios como los sistemas de recomendación, estas actualizaciones suelen ser pequeñas y frecuentes, lo que exige que las Representaciones de Grafos de Conocimiento (KGE) se adapten sin requerir un reentrenamiento completo. Las técnicas de aprendizaje continuo (CL) abordan esto aprendiendo representaciones para nuevas entidades mientras actualizan las existentes. Sin embargo, un cuello de botella crítico en los métodos actuales de CL es la inicialización de nuevas representaciones.

La práctica estándar, heredada del entrenamiento estático, consiste en inicializar aleatoriamente las representaciones de nuevas entidades (por ejemplo, mediante inicialización de Xavier o He). Este enfoque presenta dos problemas significativos:

1. Eficiencia del Entrenamiento: La inicialización aleatoria sitúa las nuevas representaciones lejos de sus posiciones óptimas, requiriendo más épocas de entrenamiento y tiempo para converger.
2. Olvido Catastrófico: Cuando las nuevas tripletes incluyen entidades previamente existentes, la gran pérdida de entrenamiento causada por las nuevas representaciones mal inicializadas fuerza ajustes significativos en toda la triada durante la optimización. Esto altera las representaciones previamente aprendidas, conduciendo a la pérdida de conocimientos antiguos (olvido catastrófico).

Los métodos de inicialización específicos de CL existentes (por ejemplo, en LKGE o incDE) intentan inferir nuevas posiciones basándose en las restricciones geométricas de modelos traslacionales específicos (como TransE). Sin embargo, estos enfoques suelen ser específicos del modelo, dependiendo de funciones de puntuación invertibles que no existen para muchos modelos KGE modernos (por ejemplo, modelos de coincidencia semántica o modelos basados en redes neuronales como ConvE), lo que los hace inaplicables a una amplia gama de arquitecturas.

Metodología
Los autores proponen una estrategia de inicialización informada basada en esquemas y agnóstica al modelo para las representaciones de nuevas entidades en escenarios de aprendizaje continuo. El método aprovecha el esquema del KG (clases de entidades) y la distribución de las representaciones previamente aprendidas para generar representaciones iniciales.

El algoritmo central procede de la siguiente manera:

1. Centroides de Clase: Para cada clase de entidad $c$ definida en el esquema del KG, se calcula una representación centroidal $v_c$ como la media de las representaciones de todas las entidades existentes que pertenecen a dicha clase.
2. Variación Intraclase: Se calcula la desviación estándar $\sigma_c$ de las representaciones dentro de cada clase para capturar la diversidad intraclase.
3. Inicialización: Para una nueva entidad $e$ que pertenece a un conjunto de clases $C_e$, su representación inicial se calcula como el promedio de los centroides de sus clases, aumentado con una perturbación estocástica:
   $$\mathbf{e} = \frac{1}{|C_e|} \sum_{c \in C_e} (\mathbf{v}_c + \gamma \cdot \boldsymbol{\sigma}_c \odot \mathbf{r}_c)$$
   Donde $\gamma$ es un hiperparámetro que controla la magnitud de la perturbación, $\mathbf{r}_c$ es un vector aleatorio y $\odot$ denota la multiplicación elemento a elemento.

Este enfoque asegura que las nuevas entidades comiencen con información semántica latente derivada de sus pertenencias a clases, situándolas más cerca de sus representaciones finales probables. El componente estocástico previene casos degenerados donde entidades con pertenencias a clases idénticas reciben representaciones idénticas. Una vez inicializadas, se puede aplicar cualquier técnica estándar de aprendizaje continuo (por ejemplo, ajuste fino, EWC, ensayo) para actualizar las representaciones utilizando las nuevas tripletes.

Contribuciones Clave

1. Estrategia de Inicialización Informada: Un método novedoso para inicializar KGE en aprendizaje continuo que utiliza el esquema del KG y las representaciones existentes, aplicable a diversos modelos KGE sin requerir modificaciones arquitectónicas.
2. Validación Empírica de Eficiencia y Rendimiento: Demostración de que la estrategia propuesta reduce significativamente el tiempo de entrenamiento (épocas) mientras mejora el rendimiento predictivo en comparación con las líneas base de inicialización aleatoria y específica del modelo.
3. Nuevas Métricas de Evaluación: La introducción de métricas adaptadas ($\Omega_{base}$ y $\Omega_{new}$) para cuantificar la retención y adquisición de conocimientos en el aprendizaje continuo de KGE, derivadas del aprendizaje de tareas incrementales en redes neuronales.
4. Evaluación Exhaustiva: Experimentos extensos que evalúan el método a través de diversos algoritmos de aprendizaje continuo (Ajuste Fino, EWC, EMR, LKGE, incDE) y familias de modelos KGE (Traslacionales y de Coincidencia Semántica).

Resultados Experimentales
Los autores evaluaron su enfoque en tres conjuntos de datos (FBinc-S, FBinc-M, FBinc-L) derivados de FB15K-237, que presentan actualizaciones incrementales de tamaños variables. Los hallazgos clave incluyen:

• Ganancias de Rendimiento: La inicialización basada en esquemas superó consistentemente a la inicialización aleatoria y, en muchos casos, a la inicialización específica del modelo. Mejoró tanto la retención de conocimientos ($\Omega_{base}$) como la adquisición ($\Omega_{new}$). Por ejemplo, en métodos no regularizados como Ajuste Fino y EMR, la inicialización basada en esquemas aumentó la retención de conocimientos hasta en un 30% y la adquisición de nuevos conocimientos hasta en un 65% en conjuntos de datos más pequeños.
• Aceleración del Entrenamiento: La inicialización informada redujo significativamente el número de épocas requeridas para alcanzar la convergencia. En comparación con la inicialización aleatoria, el tiempo de convergencia se redujo en un factor entre 2.16 y 2.67 en la mayoría de los métodos.
• Agnosticismo del Modelo: El método demostró ser efectivo tanto en modelos traslacionales (TransH, RotatE, TransR) como en modelos de coincidencia semántica (DistMult, HolE, ProjE). En modelos propensos al olvido catastrófico bajo inicialización aleatoria (por ejemplo, RotatE, TransR), la inicialización basada en esquemas mitigó estos efectos.
• Costo Computacional: El proceso de inicialización en sí mismo es computacionalmente insignificante (varios órdenes de magnitud más rápido que una sola época de entrenamiento) y escala eficientemente, ya que solo requiere mantener los centroides de clase y las desviaciones estándar entre actualizaciones.

Significado y Afirmaciones
El artículo afirma que la inicialización informada es un paso fundamental, aunque a menudo pasado por alto, en el aprendizaje continuo para KGE. Al proporcionar un punto de partida fundamentado semánticamente, el método:

• Acelera la Adquisición de Conocimientos: La nueva información se aprende más rápido, reduciendo el costo computacional de las actualizaciones incrementales.
• Mitiga el Olvido Catastrófico: Al minimizar la distancia inicial a las posiciones óptimas, el método reduce los ajustes disruptivos requeridos para las representaciones existentes durante la optimización de nuevas tripletes.
• Mejora la Generalizabilidad: A diferencia de los métodos anteriores específicos de CL, este enfoque no está atado a las restricciones geométricas de modelos KGE específicos, convirtiéndolo en un complemento versátil para las pipelines de aprendizaje continuo existentes.

Los autores concluyen que esta estrategia mejora el rendimiento predictivo de las tareas aguas abajo y aumenta la eficiencia del aprendizaje continuo, convirtiéndola en una adición valiosa al conjunto de herramientas para gestionar Grafos de Conocimiento dinámicos.