🤖 machine learning

Link Prediction or Perdition: the Seeds of Instability in Knowledge Graph Embeddings

Este artigo revela que modelos de alto desempenho de Embedding de Grafos de Conhecimento sofrem de uma instabilidade significativa entre sementes aleatórias e configurações de hiperparâmetros, desafiando a confiabilidade das atuais métricas de avaliação baseadas em ranking e a robustez dos resultados de predição de links.

Autores originais: Guillaume Méroué, Fabien Gandon, Pierre Monnin

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Guillaume Méroué, Fabien Gandon, Pierre Monnin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: O Problema da "Bola de Cristal Mágica"

Imagine que você tem uma enciclopédia de fatos massiva e incompleta (um Grafo de Conhecimento). Ela sabe que "Paris é a capital da França", mas não sabe quem é o presidente atual de um país específico.

Para preencher as lacunas, cientistas usam Modelos de Embedding de Grafo de Conhecimento (KGEMs). Pense nesses modelos como bolas de cristal mágicas. Você pergunta à bola de cristal: "Quem é o presidente?" e ela observa todos os fatos que conhece, faz alguns cálculos complexos e prevê a resposta.

O artigo argumenta que, embora essas bolas de cristal sejam ótimas em obter a resposta certa em média, elas são incrivelmente não confiáveis quando você olha para os detalhes específicos. Se você fizer a mesma pergunta à mesma bola de cristal duas vezes, mas jogar uma moeda para decidir como iniciar o processo (uma "semente aleatória"), você pode obter duas listas de candidatos principais completamente diferentes, mesmo que a bola de cristal afirme estar igualmente confiante em ambas as vezes.

O Problema Central: A "Mesma Pontuação, Histórias Diferentes"

No mundo do aprendizado de máquina, geralmente julgamos esses modelos por uma pontuação única, como o MRR (Rank Médio Recíproco). Pense nessa pontuação como uma nota no boletim.

A Descoberta do Artigo: Se você treinar um modelo cinco vezes com sementes aleatórias diferentes, todos eles tirarão um "A" (uma pontuação MRR alta).
A Armadilha: Mesmo que todos tenham tirado "A", as respostas específicas que eles dão são totalmente diferentes.

A Analogia: A Crítica Gastronômica
Imagine três críticos gastronômicos (os modelos) avaliando um restaurante.

Os Críticos 1, 2 e 3 todos dão ao restaurante uma avaliação de 5 estrelas (MRR alto).
No entanto, quando você pergunta a eles para listar seus 3 pratos favoritos:
- O Crítico 1 diz: Bife, Salada, Sopa.
- O Crítico 2 diz: Pizza, Tacos, Sushi.
- O Crítico 3 diz: Hambúrguer, Batata Frita, Sorvete.

Se você fosse um cliente tentando decidir o que pedir baseando-se apenas na avaliação de 5 estrelas, pensaria que todos concordam. Mas, na realidade, eles estão recomendando refeições completamente diferentes. Se você for um médico tentando encontrar um tratamento para uma doença (um caso de uso real mencionado no artigo), receber uma lista de "Hambúrgueres" em vez de "Remédio" devido a um lançamento de moeda é perigoso.

A Investigação: O Que Causa o Caos?

Os autores agiram como detetives para descobrir por que esses modelos mudam de ideia. Eles isolaram os "ingredientes aleatórios" no processo de treinamento:

Inicialização: Como o modelo inicia seu cére even (como rolar dados para definir os pesos iniciais).
Ordenação de Triplas: A ordem em que o modelo lê os fatos (como ler um livro da página 1 até a 100 ou da 100 até a 1).
Amostragem Negativa (Negative Sampling): Como o modelo aprende o que está errado (como um professor dando respostas erradas para você corrigir).
Dropout: Desligar aleatoriamente partes do cérebro do modelo durante o treinamento (como um aluno fazendo uma prova com os olhos fechados por alguns segundos).
Hardware: O próprio chip de computador (GPU) usado para rodar o modelo.

A Descoberta Chocante:
O artigo descobriu que mudar apenas um desses ingredientes é suficiente para causar uma instabilidade massiva.

A Analogia: Imagine assar um bolo. Se você mudar a marca da farinha, a temperatura do forno ou a ordem em que mistura os ovos, você pode acabar com um bolo que tem exatamente o mesmo sabor (mesma pontuação MRR), mas tem uma textura ou formato completamente diferentes (previsões diferentes).
A Reviravolta do Hardware: Eles descobriram até que usar uma marca diferente de chip de computador (GPU) causava o mesmo nível de caos que mudar as sementes aleatórias. Isso significa que, se você treinar um modelo em um computador em Nova York e executá-lo em um computador em Tóquio, poderá obter resultados diferentes, mesmo que use exatamente o mesmo código.

A Correção por "Votação": Isso Funciona?

Os autores testaram uma solução comum chamada Votação. Isso é como pedir a cinco críticos diferentes para votar no melhor prato e considerar a maioria.

O Resultado: A votação ajudou um pouco. Tornou os modelos ligeiramente mais consistentes.
O Limite: Não resolveu o problema completamente. Os modelos ainda discordavam em muitos detalhes. Além disso, custa mais tempo e dinheiro treinar cinco modelos em vez de um.

A Conclusão Fundamental: Desempenho $\neq$ Estabilidade

A lição mais importante é esta: Uma pontuação alta não garante confiabilidade.

O Jeito Antigo: "Este modelo tem a maior pontuação, então ele é o melhor."
A Nova Realidade: "Este modelo tem a maior pontuação, mas é uma aposta. Ele pode te dar a resposta certa hoje e uma resposta completamente diferente (mas igualmente de 'alta pontuação') amanhã."

O artigo conclui que precisamos parar de olhar apenas para a "nota no boletim" (MRR) e começar a verificar se o modelo é estável. Se estivermos usando esses modelos para tomar decisões do mundo real (como encontrar tratamentos para doenças ou completar bases de conhecimento), precisamos saber se o modelo não está apenas adivinhando aleatoriamente toda vez que o executamos.

Resumo em Uma Sentença

Só porque um modelo de Grafo de Conhecimento tira uma nota alta em um teste não significa que ele seja confiável; pequenas mudanças aleatórias na forma como ele é treinado podem fazer com que ele dê respostas completamente diferentes, tornando-o arriscado para decisões importantes.

Resumo Técnico: Predição de Links ou Perdição: As Sementes da Instabilidade em Embeddings de Grafos de Conhecimento

1. Definição do Problema

Modelos de Embedding de Grafos de Conhecimento (KGEMs) são a abordagem dominante para a Completude de Grafos de Conhecimento (KGC) via predição de links. Os protocolos de avaliação padrão dependem fortemente de métricas agregadas baseadas em ranking, como o MRR (Mean Reciprocal Rank) e Hits@K. No entanto, essas métricas frequentemente negligenciam a influência das sementes aleatórias na estabilidade dos resultados.

O problema central identificado é que um alto desempenho agregado não garante estabilidade ao nível do triplo ou dentro do espaço de embedding. Dois modelos treinados com sementes aleatórias diferentes podem alcançar pontuações de MRR idênticas, mas produzir previsões top-K significativamente diferentes. Em configurações operacionais (ex: descoberta de fármacos ou completude automática de grafos), essa variabilidade dependente da semente leva a grafos completados divergentes, minando a confiabilidade dos KGEMs para a tomada de decisão em downstream. Além disso, a literatura existente raramente examinou a estabilidade do próprio espaço de embedding aprendido em relação à aleatoriedade, apesar de seu reuso em tarefas como similaridade de entidades e agrupamento (clustering).

2. Metodologia

Os autores conduziram uma análise sistemática de estabilidade através de múltiplos KGEMs e datasets utilizando um protocolo experimental controlado.

Configuração Experimental:

Modelos: Foram selecionados modelos representativos de três famílias: Geométricos (TransE, RotatE), Fatoração de Tensores (DistMult, ComplEx) e Redes Neurais (ConvE, RGCN, Transformer).
Datasets: Benchmarks padrão incluindo WN18RR, FB15k-237 e CoDEx-S.
Fontes de Aleatoriedade: O estudo isolou quatro fatores estocásticos independentes comuns no treinamento de ML:
1. Inicialização de Parâmetros ( $I$ )
2. Ordenação de Triplos ( $O$ )
3. Amostragem Negativa ( $N$ )
4. Dropout ( $D$ )
- Adicionalmente, o Hardware (tipo de GPU) foi identificado como uma fonte de aleatoriedade.
Busca de Hiperparâmetros: Uma busca em grade (grid search) foi realizada para identificar configurações com níveis de desempenho variados (Melhor, Mediano, Pior) para testar a correlação entre desempenho e estabilidade.

Métricas Propostas:
Para ir além dos rankings agregados, os autores introduziram métricas focadas na similaridade de predições e espaços de embedding:

Pred-Overlap@K: Mede a interseção das entidades preditas top-K para uma determinada consulta entre diferentes instâncias do modelo.
Space-Overlap@K: Mede a interseção dos $K$ vizinhos mais próximos no espaço de embedding para cada entidade, avaliando a estabilidade da estrutura latente aprendida.
Consistency@K & Homogeneity@K: Métricas agregadas que quantificam a proporção de entidades que aparecem nas listas top-K de todas as execuções simultaneamente e a dispersão dos candidatos, respectivamente.

3. Principais Contribuições

Análise Sistemática de Estabilidade: O artigo fornece a primeira quantificação abrangente de como as sementes aleatórias afetam tanto o comportamento preditivo (candidatos top-K) quanto a organização interna (espaço de embedding) dos KGEMs.
Desacoplamento de Desempenho e Estabilidade: O estudo demonstra que altos escores de MRR não garantem predições ou espaços de embedding estáveis.
Identificação de Instabilidade de Hardware: Os autores identificam o hardware (especificamente a arquitetura da GPU) como uma fonte significativa de instabilidade comparável à variação da semente aleatória, desafiando a reprodutibilidade em ambientes de nuvem.
Limitações de Remediação: O artigo avalia o "voto" (métodos de ensemble) como uma estratégia de mitigação, constatando que oferece apenas um aprimoramento limitado e falha em estabilizar o espaço de embedding.

4. Principais Resultados

Métricas Agregadas Mascaram a Instabilidade: Embora o MRR e o Hits@K mostrem baixa variância entre as sementes, as predições reais são altamente divergentes. Por exemplo, no FB15k-237, duas instâncias de RotatE com sementes diferentes compartilharam apenas ~4.3 das entidades preditas top-10 em média.
Divergência ao Nível do Triplo: Mesmo quando a entidade real (ground-truth) é classificada de forma semelhante, os candidatos não-reais diferem drasticamente. Em alguns casos, execuções com MRR idênticos produziram conjuntos de entidades top-10 inteiramente diferentes (Pred-Overlap@10 tão baixo quanto 0.17).
Instabilidade do Espaço de Embedding: A organização do espaço de embedding também é instável. Os vizinhos no espaço latente variam significativamente entre as execuções, sugerindo que os modelos aprendem estruturas latentes diferentes, apesar de desempenhos globais similares.
Fontes de Aleatoriedade: Variar qualquer fonte única de aleatoriedade (inicialização, ordenação, amostragem, dropout) de forma independente induz uma instabilidade de magnitude comparável. Nenhuma fonte única domina; a instabilidade é inerente ao processo de treinamento.
Impacto do Hardware: Treinar configurações idênticas em GPUs diferentes (ex: RTX 2080 Ti vs. A100) resultou em níveis de instabilidade comparáveis à variação de sementes aleatórias.
Correlação Desempenho vs. Estabilidade: Modelos com baixo desempenho são geralmente menos estáveis. No entanto, entre modelos de alto e médio desempenho, não há uma correlação clara; um MRR mais alto não garante maior estabilidade.
Variância de Modelo: O TransE exibiu uma estabilidade notavelmente maior em comparação com outras arquiteturas (ex: RotatE, ConvE), sugerindo que diferenças arquiteturais desempenham um papel.
Limitações do Voto: Embora o voto por ensemble tenha melhorado a sobreposição de predições, ele não eliminou a instabilidade e não foi aplicável para estabilizar o espaço de embedding.

5. Significância e Alegações

O artigo afirma que os protocolos atuais de benchmarking são insuficientes para avaliar a confiabilidade dos KGEMs em cenários operacionais. As descobertas destacam limitações críticas:

Preocupações com Confiabilidade: A instabilidade dependente da semente significa que adicionar as top-K predições a um grafo de conhecimento pode gerar grafos completados substancialmente diferentes, potencialmente levando a decisões downstream inconsistentes ou não confiáveis.
Validade do Espaço de Embedding: A instabilidade dos espaços de embedding questiona a validade de tarefas downstream que dependem desses espaços, como avaliação de similaridade de entidades, agrupamento conceitual e mineração de regras lógicas, que assumem uma estrutura latente estável.
Crise de Reprodutibilidade: A sensibilidade ao hardware e a pequenas escolhas estocásticas impõe um desafio significativo para a reprodutibilidade, particularmente em cenários de computação em nuvem.
Reforma da Avaliação: Os autores defendem uma mudança nas práticas de avaliação, tratando a estabilidade como uma dimensão distinta do desempenho. Eles sugerem que a seleção de modelos não deve depender apenas do MRR, mas deve considerar a robustez através de sementes aleatórias e configurações de hardware.

O artigo conclui que, embora os KGEMs sejam eficazes para ranking, sua atual falta de estabilidade os torna arriscados para aplicações que exigem completude de grafo consistente e determinística ou dependência das propriedades geométricas do espaço de embedding. Trabalhos futuros devem focar no design de arquiteturas ou procedimentos de treinamento conscientes da estabilidade.