Resumo Técnico: Auditoria de Decodificador Controlada por Receita para Completamento de Grafos de Conhecimento Estruturais

1. Declaração do Problema

Modelos de Completamento de Grafos de Conhecimento (KGC) estruturais dependem de três componentes independentes: o decodificador (ex: ComplEx, DistMult, RotatE), o codificador (ex: passagem de mensagem do CompGCN) e a receita de treinamento (funções de perda, otimizadores, hiperparâmetros). Pesquisas anteriores auditaram extensivamente o impacto das receitas de treinamento e das arquiteturas de codificadores. No entanto, a escolha do decodificador tem sido amplamente tratada como um detalhe de implementação ou uma escolha arquitetônica fixa, em vez de uma variável controlada.

O artigo identifica uma lacuna crítica: sem uma comparação controlada de decodificadores sob uma receita fixa, é difícil determinar se os ganhos de desempenho são devidos ao codificador, à receita de treinamento ou simplesmente à escolha do decodificador. Essa ambiguidade atua como um "confundimento de relatório" (reporting confound), podendo levar a conclusões incorretas sobre a eficácia de novas arquiteturas de codificador ou estratégias de treinamento.

2. Metodologia: Auditoria de Decodificador Controlada por Receita (RCDA)

Os autores propõem a RCDA, um protocolo projetado para isolar o efeito do decodificador, mantendo a receita de treinamento e a arquitetura do codificador constantes enquanto varia o decodificador.

• Variáveis Controladas:
  • Decodificador: Comparação primária entre ComplEx e DistMult, com verificações pontuais direcionadas para RotatE e TransE.
  • Codificador: Passagem de mensagem do tipo CompGCN com profundidades variadas ($L \in \{0, 2, 3\}$), onde $L=0$ representa apenas a busca de embeddings.
  • Receita: Uma receita de treinamento rigorosa e fixa, incluindo perda de Entropia Cruzada (Cross-Entropy) 1-contra-todos, suavização de rótulos ($\epsilon=0.3$), otimizador AdamW, escalonamento MultiStepLR e tamanhos específicos de dropout/lote (batch sizes).
• Benchmarks: A auditoria cobre sete conjuntos de dados:
  • KGs Grandes Padrão: FB15k-237, WN18RR, YAGO3-10, CoDEx-M, CoDEx-L.
  • KGs Pequenos: UMLS e Kinship (selecionados por suas baixas razões de arestas por relação).
• Avaliação: MRR filtrado padrão e Hits@{1, 3, 10} com desempate de ranking médio. Os resultados são reportados com múltiplas sementes aleatórias (3 para padrões, 6 para pequenos) para garantir robustez estatística.

3. Principais Descobertas e Resultados

A. Impacto do Decodificador em KGs Padrão vs. Pequenos

• KGs Padrão: Nos cinco benchmarks padrão (FB15k-237, WN18RR, etc.), a lacuna de desempenho entre ComplEx e DistMult é modesta, mas consistente. Sob a receita fixa, o ComplEx supera o DistMult em +0.005 a +0.012 MRR.
• KGs Pequenos: Nos casos de UMLS e Kinship, a escolha do decodificador torna-se um fator decisivo.
  • Kinship: Mostra uma vantagem estável e grande para o ComplEx (+0.143 MRR).
  • UMLS: Demonstra sensibilidade à proveniência. Em uma nova execução limpa do servidor, o ComplEx lidera por +0.022 MRR, mas em um pacote de execução anterior com condições ligeiramente diferentes, o DistMult foi o vencedor. Isso indica que as conclusões de KGs pequenos são altamente sensíveis a variantes da receita e não devem ser tratadas como propriedades fixas do conjunto de dados.

B. Interação entre Profundidade do Codificador e Decodificador

O artigo desafia a suposição de que a profundidade ideal do codificador é uma propriedade estática de um conjunto de dados.

• Interação WN18RR: A profundidade ideal do codificador ($L$) depende do decodificador.
  • O ComplEx atinge o pico em $L=0$ (apenas embeddings).
  • O DistMult atinge o pico em $L=3$ (passagem de mensagem profunda).
  • Ambos os decodificadores compartilam uma queda de desempenho em $L=1$.
• Implicação: Alegações sobre a utilidade do codificador (ex: "passagem de mensagem prejudica o desempenho") estão incompletas sem especificar o decodificador. No FB15k-237, o codificador ajuda o ComplEx, mas no WN18RR, ele é neutro ou prejudicial.

C. Capacidade e Saturação (YAGO3-10)

• Varredura de Dimensão: Sob a receita RCDA, o ComplEx puro ($L=0$) no YAGO3-10 atinge a quase saturação na dimensão de embedding $d=128$, alcançando 0.6971 ± 0.0048 MRR.
• Retornos Decrescentes: Aumentar as dimensões para $d=256$ produz apenas um ganho marginal (+0.008 MRR) em uma verificação de semente única.
• Receita vs. Capacidade: O salto significativo de desempenho em relação à literatura anterior (ex: o 0.587 do NBFNet) é atribuído principalmente à receita de treinamento (especificamente a mudança da perda logística de amostra negativa para a entropia cruzada 1-contra-todos e o uso de AdamW) e não simplesmente ao aumento da capacidade do modelo.

D. Descritores para Sensibilidade do Decodificador

• Simetria: Embora a simetria seja frequentemente citada como a razão pela qual o DistMult performa bem em certos conjuntos de dados, os autores descobrem que as pontuações de simetria ao nível do conjunto de dados não explicam totalmente as lacunas de desempenho (ex: UMLS é menos simétrico que Kinship, mas Kinship mostra uma lacuna de decodificador maior).
• Arestas por Relação ($e/r$): Os autores propõem o $e/r$ como um descritor de auditoria útil. KGs pequenos com baixo $e/r$ (UMLS: 113, Kinship: 342) exibem a maior sensibilidade ao decodificador, enquanto KGs padrão com alto $e/r$ mostram lacunas consistentes e menores.

4. Contribuições

O artigo delineia cinco contribuições específicas:

1. Protocolo RCDA: Um protocolo de auditoria formalizado para KGC estrutural que isola os efeitos do decodificador sob uma receita fixa.
2. Diagnóstico de Sete Benchmarks: Uma avaliação abrangente separando evidências de grade compartilhada (KGs padrão) de sensibilidade de decodificador apenas em KGs pequenos.
3. Insights de KGs Pequenos: Evidência de que o Kinship possui uma vantagem estável para o ComplEx, enquanto o UMLS é sensível a variantes de proveniência/receita, desafiando a noção de vencedores fixos de conjuntos de dados.
4. Interação Decodificador-Codificador: Demonstração de que a profundidade ideal do codificador é dependente do decodificador (especificamente no WN18RR).
5. Grade de Referência: Fornecimento de uma referência estrutural controlada por receita, incluindo um novo resultado de estado da arte para KGC estrutural no YAGO3-10 (0.6971 MRR) e CoDEx-M (0.5379 MRR).

5. Significância e Alegações

O artigo não pretende introduzir uma nova arquitetura de KGC ou classificar universalmente os decodificadores. Em vez disso, sua significância reside na rigidez metodológica e nos padrões de relatório:

• Escolha do Decodificador é um Confundimento: Os autores argumentam que a escolha do decodificador é um "confundimento de relatório" que pode alterar a conclusão diagnóstica de um experimento.
• Recomendações Acionáveis:
  • Artigos devem reportar uma linha comparativa DistMult-vs-ComplEx para contextualizar alegações de codificador ou receita.
  • Resultados de KGs pequenos devem incluir detalhes de proveniência e receita devido à sua sensibilidade.
  • Alegações de profundidade de codificador devem ser feitas apenas após a varredura da grade decodificador $\times$ profundidade, em vez de assumir uma profundidade ótima fixa.
• Limitações: Os autores declaram explicitamente que suas conclusões são limitadas ao KGC transdutivo estrutural com as famílias específicas de decodificador/codificador testadas. Eles não estendem as alegações para configurações indutivas, modelos aumentados por texto, LLMs ou raciocínio baseado em caminhos (notando que modelos baseados em caminhos como o NBFNet ainda superam os modelos estruturais no WN18RR).

Em resumo, o artigo defende uma mudança na forma como os experimentos de KGC estrutural são reportados, instando os pesquisadores a tratar a seleção do decodificador como uma variável experimental crítica, em vez de um detalhe de implementação oculto.