Improving Continual Learning of Knowledge Graph Embeddings via Informed Initialization

Resumo Técnico: Melhoria da Aprendizagem Contínua de Incorporações de Grafos de Conhecimento via Inicialização Informada

Enunciado do Problema
Os Grafos de Conhecimento (KGs) são estruturas dinâmicas que evoluem frequentemente através da adição de novas triplas. Em cenários como sistemas de recomendação, essas atualizações são geralmente pequenas e frequentes, exigindo que as Incorporações de Grafos de Conhecimento (KGEs) se adaptem sem a necessidade de um re-treinamento completo. Técnicas de aprendizagem contínua (CL) abordam isso ao aprender incorporações para novas entidades enquanto atualizam as existentes. No entanto, um gargalo crítico nos métodos atuais de CL é a inicialização de novas incorporações.

A prática padrão, herdada do treinamento estático, envolve a inicialização aleatória de incorporações de novas entidades (por exemplo, via inicialização Xavier ou He). Essa abordagem apresenta dois problemas significativos:

1. Eficiência de Treinamento: A inicialização aleatória coloca as novas incorporações longe de suas posições ótimas, exigindo mais épocas de treinamento e tempo para convergência.
2. Esquecimento Catastrófico: Quando novas triplas incluem entidades previamente existentes, a grande perda de treinamento causada por novas incorporações mal inicializadas força ajustes significativos em toda a tripla durante a otimização. Isso perturba representações previamente aprendidas, levando à perda de conhecimento antigo (esquecimento catastrófico).

Métodos de inicialização específicos de CL existentes (por exemplo, em LKGE ou incDE) tentam inferir novas posições com base nas restrições geométricas de modelos translacionais específicos (como TransE). No entanto, essas abordagens são frequentemente específicas do modelo, dependendo de funções de pontuação invertíveis que não existem para muitos modelos modernos de KGE (por exemplo, modelos de correspondência semântica ou modelos baseados em redes neurais como ConvE), tornando-os inaplicáveis a uma ampla gama de arquiteturas.

Metodologia
Os autores propõem uma estratégia de inicialização informada, baseada em esquema e agnóstica ao modelo para novas incorporações de entidades em cenários de aprendizagem contínua. O método aproveita o esquema do KG (classes de entidades) e a distribuição de incorporações previamente aprendidas para gerar representações iniciais.

O algoritmo central procede da seguinte forma:

1. Centroides de Classe: Para cada classe de entidade $c$ definida no esquema do KG, uma incorporação de centróide $v_c$ é computada como a média das incorporações de todas as entidades existentes pertencentes àquela classe.
2. Variação Intraclasse: O desvio padrão $\sigma_c$ das incorporações dentro de cada classe é calculado para capturar a diversidade intraclasse.
3. Inicialização: Para uma nova entidade $e$ pertencente a um conjunto de classes $C_e$, sua incorporação inicial é calculada como a média dos centroides de suas classes, aumentada com uma perturbação estocástica:
   $$\mathbf{e} = \frac{1}{|C_e|} \sum_{c \in C_e} (\mathbf{v}_c + \gamma \cdot \boldsymbol{\sigma}_c \odot \mathbf{r}_c)$$
   Onde $\gamma$ é um hiperparâmetro que controla a magnitude da perturbação, $\mathbf{r}_c$ é um vetor aleatório e $\odot$ denota multiplicação elemento a elemento.

Essa abordagem garante que novas entidades comecem com informação semântica latente derivada de suas pertenças a classes, posicionando-as mais próximas de suas representações finais prováveis. O componente estocástico previne casos degenerados onde entidades com pertenças a classes idênticas recebem incorporações idênticas. Uma vez inicializadas, qualquer técnica padrão de aprendizagem contínua (por exemplo, ajuste fino, EWC, reensaio) pode ser aplicada para atualizar as incorporações usando as novas triplas.

Principais Contribuições

1. Estratégia de Inicialização Informada: Um método inovador para inicializar KGEs em aprendizagem contínua que utiliza o esquema do KG e incorporações existentes, aplicável através de diversos modelos de KGE sem exigir modificações arquiteturais.
2. Validação Empírica de Eficiência e Desempenho: Demonstração de que a estratégia proposta reduz significativamente o tempo de treinamento (épocas) enquanto melhora o desempenho preditivo em comparação com baselines de inicialização aleatória e específica do modelo.
3. Novas Métricas de Avaliação: A introdução de métricas adaptadas ($\Omega_{base}$ e $\Omega_{new}$) para quantificar a retenção e a aquisição de conhecimento na aprendizagem contínua de KGEs, derivadas da aprendizagem incremental de tarefas em redes neurais.
4. Avaliação Abrangente: Experimentos extensivos avaliando o método através de vários algoritmos de aprendizagem contínua (Ajuste Fino, EWC, EMR, LKGE, incDE) e famílias de modelos de KGE (Translacionais e de Correspondência Semântica).

Resultados Experimentais
Os autores avaliaram sua abordagem em três conjuntos de dados (FBinc-S, FBinc-M, FBinc-L) derivados do FB15K-237, apresentando atualizações incrementais de tamanhos variados. As principais descobertas incluem:

• Ganhos de Desempenho: A inicialização baseada em esquema superou consistentemente a inicialização aleatória e, em muitos casos, a inicialização específica do modelo. Ela melhorou tanto a retenção de conhecimento ($\Omega_{base}$) quanto a aquisição ($\Omega_{new}$). Por exemplo, em métodos não regularizados como Ajuste Fino e EMR, a inicialização por esquema aumentou a retenção de conhecimento em até 30% e a aquisição de novo conhecimento em até 65% em conjuntos de dados menores.
• Aceleração do Treinamento: A inicialização informada reduziu significativamente o número de épocas necessárias para atingir a convergência. Comparada à inicialização aleatória, o tempo para convergência foi reduzido por um fator entre 2,16 e 2,67 na maioria dos métodos.
• Agnosticismo ao Modelo: O método provou ser eficaz tanto em modelos translacionais (TransH, RotatE, TransR) quanto em modelos de correspondência semântica (DistMult, HolE, ProjE). Em modelos propensos ao esquecimento catastrófico sob inicialização aleatória (por exemplo, RotatE, TransR), a inicialização por esquema mitigou esses efeitos.
• Custo Computacional: O próprio processo de inicialização é computacionalmente negligenciável (ordens de magnitude mais rápido que uma única época de treinamento) e escala eficientemente, pois requer apenas a manutenção de centroides de classe e desvios padrão entre atualizações.

Significado e Alegações
O artigo alega que a inicialização informada é um passo fundamental, porém frequentemente negligenciado, na aprendizagem contínua para KGEs. Ao fornecer um ponto de partida semanticamente fundamentado, o método:

• Acelera a Aquisição de Conhecimento: Novas informações são aprendidas mais rapidamente, reduzindo o custo computacional de atualizações incrementais.
• Mitiga o Esquecimento Catastrófico: Ao minimizar a distância inicial para posições ótimas, o método reduz os ajustes disruptivos necessários para incorporações existentes durante a otimização de novas triplas.
• Aumenta a Generalizabilidade: Ao contrário de métodos anteriores específicos de CL, esta abordagem não está vinculada às restrições geométricas de modelos específicos de KGE, tornando-a um plug-in versátil para pipelines existentes de aprendizagem contínua.

Os autores concluem que essa estratégia melhora o desempenho preditivo de tarefas a jusante e aumenta a eficiência da aprendizagem contínua, tornando-se uma adição valiosa ao conjunto de ferramentas para gerenciar Grafos de Conhecimento dinâmicos.