Resumo Técnico: PROBEWeb

Problema

Os modelos de Completamento de Grafo de Conhecimento (KGC) são predominantemente avaliados utilizando métricas fixas baseadas em classificação, como o Índice Recíproco Médio (MRR) e Hits@K. No entanto, a definição de um "bom" modelo de KGC varia significamente dependendo do usuário e da aplicação alvo. Por exemplo, profissionais na descoberta de fármacos podem priorizar modelos com alta confiança para evitar falhas dispendiosas em ensaios clínicos, enquanto pesquisadores podem valorizar modelos capazes de descobrir novos conhecimentos sobre entidades raras em vez de fatos bem conhecidos. Os protocolos de avaliação existentes não conseguem acomodar essas diversas perspectivas, levando frequentemente os usuários a selecionar modelos subótimos que não se alinham com seus objetivos específicos.

Metodologia

O artigo apresenta o PROBEWeb, um sistema interativo baseado na web projetado para sondar os panoramas de avaliação de modelos de KGC. O sistema é construído sobre o framework PROBE, que generaliza o protocolo padrão de avaliação baseado em classificação através de três estágios: predição, transformação e agregação. O PROBEWeb permite que os usuários ajustem flexivelmente duas perspectivas críticas de avaliação:

1. Nitidez Preditiva (P1): Controlada por um fator $\alpha$, esta perspectiva determina o quão fortemente as predições imprecisas são penalizadas. O sistema emprega uma função de Transformação de Classificação (RT) que converte classificações preditas em pontuações. Valores mais altos de $\alpha$ atribuem pontuações substancialmente mais baixas a predições incorretas, impondo uma avaliação mais rigorosa, enquanto valores mais baixos resultam em uma avaliação mais generosa.
2. Robustez ao Viés de Popularidade (P2): Controlada por um fator $\beta$, esta perspectiva aborda o viés em direção a entidades de alta popularidade. O sistema utiliza uma função de Agregação de Classificação (RA) que atribui pesos às predições com base na popularidade da entidade alvo no conjunto de treinamento. Valores mais altos de $\beta$ atribuem pesos menores a entidades de alta popularidade, aumentando assim a contribuição de entidades de baixa popularidade para a pontuação final.

O PROBEWeb aceita resultados de predição carregados pelo usuário (pontuações de classificação para consultas de teste) e informações do Grafo de Conhecimento (dicionários de entidades/relações e triplas de treinamento) em um formato predefinido. Ele então computa pontuações de avaliação aplicando as funções RT e RA com os parâmetros $\alpha$ e $\beta$ especificados pelo usuário.

Principais Contribuições

O artigo apresenta o PROBEWeb como um sistema com quatro funcionalidades primárias:

1. Ferramental de Avaliação Convencional: Fornece uma visualização de benchmark padrão usando métricas amplamente adotadas (MRR, Hits@1, Hits@3) em seis modelos de KGC de estado da arte pré-computados (RotatE, ComplEx, HousE, TuckEr, pLogicNet, RNNLogic) e três grafos de conhecimento populares (FB15k-237, WN18RR, YAGO3-10). Isso permite comparação imediata sem exigir dados do usuário.
2. Avaliação Flexível Consciente de Perspectiva: Permite que os usuários interajam e ajustem $\alpha$ e $\beta$ via uma interface gráfica do usuário (GUI). O sistema recomputa as pontuações de avaliação e atualiza os rankings em tempo real, permitindo que os usuários observem como a performance relativa dos modelos muda sob diferentes perspectivas de avaliação.
3. Avaliação Explicável via Estudos de Caso: Oferece ferramentas diagnósticas para explicar mudanças de classificação.
   • Para P1, analisa a qualidade da predição através de diferentes grupos de classificação (ex: 1º, 2º–5º, 6º–20º) para determinar se um modelo se destaca em predições de topo ou mantém uma precisão moderada consistente.
   • Para P2, fornece estudos de caso em nível de consulta mostrando a popularidade de consultas específicas e as classificações atribuídas por diferentes modelos, ajudando os usuários a entender o comportamento do modelo em entidades de baixa popularidade.
4. Exploração do Panorama de Avaliação: Visualiza a performance dos modelos em um espaço 3-D onde os eixos $x$ e $y$ representam $\alpha$ e $\beta$, e o eixo $z$ representa a pontuação de avaliação normalizada. Isso cria uma "superfície de performance" para cada modelo, permitindo que os usuários identifiquem regiões onde modelos específicos dominam. O sistema também particiona este espaço em quatro quadrantes representativos para comparação detalhada.

Resultados e Características do Sistema

O artigo não apresenta novos resultados experimentais relativos à melhoria de performance dos modelos, mas sim demonstra as capacidades do sistema através de sua interface e benchmarks pré-computados. As principais características do sistema destacadas incluem:

• Acessibilidade: Uma GUI amigável que não requer esforço adicional de programação.
• Portabilidade: Independência de arquiteturas de modelos KGC subjacentes, frameworks de treinamento ou ambientes de execução, desde que os inputs sigam o formato predefinido.
• Interatividade: Atualizações em tempo real de rankings e visualizações conforme os usuários modificam os parâmetros de avaliação.

Significância e Alegações

Os autores alegam que o PROBEWeb preenche a lacuna entre as diversas perspectivas de avaliação do usuário e os protocolos de avaliação fixos existentes. Ao permitir que os usuários sondem diversos panoramas de avaliação, o sistema ajuda os usuários não apenas a identificar qual modelo de KGC performa melhor, mas também a entender por que e sob quais perspectivas de avaliação específicas um modelo deve ser selecionado. O sistema visa facilitar uma melhor seleção de modelos para aplicações de downstream, como sistemas de perguntas e respostas, sistemas de recomendação e descoberta de fármacos, ao alinhar métricas de avaliação com requisitos específicos de aplicação. O código fonte e um vídeo de demonstração foram disponibilizados publicamente para apoiar a reprodutibilidade e exploração adicional.