Resumo Técnico: Avaliação Baseada em Ranking Generalizada para Completamento de Grafos de Conhecimento

Declaração do Problema

O Completamento de Grafos de Conhecimento (KGC) visa inferir fatos ausentes a partir de grafos de conhecimento (KGs) observados, uma tarefa crítica para aplicações que variam desde a descoberta de fármacos até a geração aumentada por recuperação. Apesar da proliferação de modelos de KGC, a avaliação desses modelos permanece subexplorada. As métricas de avaliação baseadas em ranking atuais (ex: Mean Reciprocal Rank [MRR], Hits@K) sofrem de duas limitações primárias:

1. Falta de Controle de Nitidez Preditiva (Predictive Sharpness): As métricas existentes assumem implicitamente um nível fixo de rigor ao penalizar previsões imprecisas. Elas frequentemente falham em distinguir entre modelos que se destacam em previsões no topo do ranking versus aqueles que fornecem previsões de alta qualidade de forma consistente em uma gama mais ampla de posições.
2. Sensibilidade ao Viés de Popularidade: Grafos de conhecimento do mundo real seguem distribuições de lei de potência, onde alguns entidades e relações aparecem com frequência. Métricas padrão tendem a superestimar modelos que performam bem nestes triplas de alta popularidade, enquanto subestimam modelos que generalizam melhor para entidades e relações raras de baixa popularidade, que são frequentemente cruciais para aplicações como a descoberta de novas interações medicamentosas.

Além disso, sob a Suposição de Mundo Aberto (OWA) — onde a ausência de uma tripla não implica falsidade — as métricas existentes lutam para estimar consistentemente o desempenho intrínseco de um modelo, frequentemente gerando classificações inconsistentes quando avaliadas em subconjuntos incompletos de fatos em comparação com um cenário completo (Mundo Fechado).

Metodologia: O Framework PROBE

Os autores propõem o PROBE (Predictive shaRpness and pOpularity-Bias robustness aware Evaluation), um framework de avaliação generalizado projetado para abordar essas lacunas. O PROBE decompõe o processo de avaliação em três estágios: Predição, Transformação e Agregação.

1. Transformador de Rank (RT) para Nitidez Preditiva

Para controlar o grau de rigor ao penalizar previsões, o PROBE introduz uma função de transformação de rank $f(r, \alpha)$ que converte o rank $r$ de uma entidade correta em uma pontuação.

• Mecanismo: A função é definida como $f(r, \alpha) = 1/r^\alpha$, onde $\alpha$ é um parâmetro ajustável que controla a nitidez preditiva.
• Comportamento:
  • Um $\alpha$ alto impõe penalidades pesadas em ranks baixos, enfatizando previsões no topo do ranking (alta nitidez).
  • Um $\alpha$ baixo reduz a penalidade para previsões de rank moderado, permitindo que modelos com desempenho estável em uma gama de rank mais ampla pontuem mais alto.
• Refinamento: Para garantir a distinguibilidade e um intervalo fixo $[0, 1]$, os autores aplicam uma transformação afim para reescalar as pontuações com base no tamanho do conjunto de candidatos $|E_i|$, garantindo que a pior previsão mapeie para 0 e a melhor para 1.

2. Agregador de Rank (RA) para Robustez ao Viés de Popularidade

Para mitigar o viés de popularidade, o PROBE atribui pesos às triplas de teste com base em sua popularidade.

• Popularidade ao Nível da Tripla: Diferente de trabalhos anteriores que consideram apenas a frequência da entidade, o PROBE mede a popularidade ao nível da tripla combinando:
  • Popularidade da Entidade ($\delta(e)$): A frequência da entidade alvo.
  • Popularidade da Relação Condicionada à Entidade ($\delta(r|e)$): A frequência da relação específica dada a entidade.
• Mecanismo de Ponderação: O peso $w_t$ para uma tripla é calculado como o produto de pesos derivados da popularidade da entidade e da relação, controlado por um parâmetro $\beta$.
  • $\beta > 0$: Atribui pesos maiores para triplas de baixa popularidade e pesos menores para as de alta popularidade, aumentando a robustez ao viés.
  • $\beta = 0$: Reduz-se a uma média não ponderada padrão (equivalente às métricas existentes).
• Pontuação Final: A pontuação final do PROBE é a média ponderada das pontuações transformadas: $PROBE = \sum w_i \cdot c_i$.

3. Interpretação Geométrica

O framework interpreta a avaliação como um produto interno em um espaço $n$-dimensional. O transformador de rank define a geometria do espaço de pontuação (controlado por $\alpha$), enquanto o agregador de rank define a direção da avaliação (controlado por $\beta$). Isso permite que a métrica se alinhe de forma flexível com diferentes requisitos de aplicação.

Principais Contribuições

1. Novas Perspectivas: O artigo identifica e formaliza duas perspectivas negligenciadas na avaliação de KGC: nitidez preditiva e robustez ao viés de popularidade.
2. Framework Generalizado: O PROBE é proposto como um framework unificado que absorve métricas existentes (ex: MRR, Hits@K) como casos especiais sob configurações de parâmetros específicas ($\alpha=1, \beta=0$).
3. Análise Teórica: Os autores definem seis propriedades fundamentais para uma avaliação confiável de KGC:
   • Ótimo fixo e pessimismo fixo.
   • Anti-monotonicidade.
   • Consciência do tamanho do candidato.
   • Consciência de nitidez.
   • Consciência de popularidade.
     O artigo prova que o PROBE satisfaz todas as seis propriedades, enquanto as métricas existentes satisfazem apenas um subconjunto delas.
4. Consistência de Mundo Aberto: A análise teórica demonstra que o PROBE preserva melhor o desempenho relativo dos modelos entre cenários de Mundo Fechado (CWA) e Mundo Aberto (OWA) em comparação com métricas existentes, fornecendo uma estimativa mais confiável do desempenho intrínseco do modelo.

Resultados Experimentais

Os autores conduziram experimentos extensivos utilizando seis modelos de KGC (incluindo RotatE, ComplEx, TuckER, pLogicNet, RNNLogic) através de seis KGs do mundo real (FB15k-237, WN18RR, YAGO3-10, Family, UMLS, Kinship).

• Impacto da Nitidez Preditiva ($\alpha$): Variar o $\alpha$ alterou significativamente o ranking relativo dos modelos. Modelos como o RNNLogic, que se destacam em previsões de topo de rank, foram favorecidos sob alta nitidez ($\alpha=1$), enquanto modelos como o HousE, que mantêm desempenho estável entre os ranks 3–100, foram favorecidos sob nitidez menor ($\alpha \le 0$).
• Impacto da Robustez ao Viés de Popularidade ($\beta$): O aumento de $\beta$ deslocou a preferência para modelos robustos a fatos raros. Por exemplo, o TuckER performou bem em triplas populares, mas degradou em triplas raras, enquanto o pLogicNet e o ComplEx mantiveram a estabilidade, tornando-se os principais performers sob alto $\beta$.
• Abrangência: Nenhum modelo único dominou em todos os datasets e configurações de parâmetros, destacando que o "melhor" modelo depende da perspectiva de avaliação específica exigida pela aplicação.
• Confiabilidade sob OWA: Em experimentos simulando grafos de conhecimento incompletos, o PROBE preservou consistentemente os rankings relativos dos modelos em comparação com seu desempenho em grafos completos (CWA). Em contraste, métricas como MRR e p-MRR mostraram instabilidade de rank significativa e divergência de pontuação ao transitar de CWA para OWA.

Significância e Alegações

O artigo alega que as métricas de ranking existentes são insuficientes para uma avaliação abrangente dos modelos de KGC porque assumem implicitamente perspectivas de avaliação fixas que podem não se alinhar com as necessidades de aplicações do mundo real. Ao introduzir o PROBE, os autores fornecem um framework flexível e principiado que:

• Permite que praticantes ajustem o rigor da avaliação e a robustez ao viés de acordo com requisitos específicos de domínio (ex: alta nitidez para descoberta de fármacos em contextos críticos de segurança vs. robustez para recomendação exploratória).
• Oferece uma métrica teoricamente fundamentada que estima de forma confiável o desempenho intrínseco do modelo, mesmo quando o grafo de conhecimento subjacente está incompleto.
• Revela que a superioridade de um modelo é dependente de contexto, instando a comunidade a ir além das avaliações de métrica única em direção a uma avaliação consciente de perspectiva.