Résumé technique : Audit des décodeurs contrôlés par recette pour la complétion de graphes de connaissances structurels

1. Énoncé du problème

Les modèles de complétion de graphes de connaissances structurels (KGC) reposent sur trois composants indépendants : le décodeur (ex. ComplEx, DistMult, RotatE), l'encodeur (ex. passage de messages CompGCN) et la recette d'entraînement (fonctions de perte, optimiseurs, hyperparamètres). Les recherches antérieures ont largement audité l'impact des recettes d'entraînement et des architectures d'encodeurs. Cependant, le choix du décodeur a largement été traité comme un détail d'implémentation ou un choix architectural fixe plutôt que comme une variable contrôlée.

L'article identifie une lacune critique : sans une comparaison contrôlée des décodeurs sous une recette fixe, il est difficile de déterminer si les gains de performance sont dus à l'encodeur, à la recette d'entraînement ou simplement au choix du décodeur. Cette ambiguïté agit comme un « biais de rapport » (reporting confound), pouvant conduire à des conclusions erronées sur l'efficacité des nouvelles architectures d'encodeurs ou des stratégies d'entraînement.

2. Méthodologie : Audit des décodeurs contrôlés par recette (RCDA)

Les auteurs proposent le RCDA, un protocole conçu pour isoler l'effet du décodeur en maintenant la recette d'entraînement et l'architecture de l'encodeur constants tout en faisant varier le décodeur.

• Variables contrôlées :
  • Décodeur : Comparaison primaire entre ComplEx et DistMult, avec des vérifications ciblées pour RotatE et TransE.
  • Encodeur : Passage de messages de type CompGCN avec des profondeurs variables ($L \in \{0, 2, 3\}$), où $L=0$ représente une simple recherche d'embedding.
  • Recette : Une recette d'entraînement rigoureuse et fixe incluant une perte Cross-Entropy 1-vs-all, un lissage de labels ($\epsilon=0.3$), un optimiseur AdamW, un ordonnancement MultiStepLR, ainsi que des tailles de batch et de dropout spécifiques.
• Benchmarks : L'audit couvre sept jeux de données :
  • Grands KGs standards : FB15k-237, WN18RR, YAGO3-10, CoDEx-M, CoDEx-L.
  • Petits KGs : UMLS et Kinship (sélectionnés pour leurs faibles ratios d'arêtes par relation).
• Évaluation : MRR filtré standard et Hits@{1, 3, 10} avec rupture d'égalité par rang moyen. Les résultats sont rapportés avec plusieurs graines aléatoires (3 pour les standards, 6 pour les petits) afin d'assurer la robustesse statistique.

3. Principaux résultats et conclusions

A. Impact du décodeur sur les KGs standards vs petits

• KGs standards : Sur les cinq benchmarks standards (FB15k-237, WN18RR, etc.), l'écart de performance entre ComplEx et DistMult est modeste mais constant. Sous la recette fixe, ComplEx surpasse DistMult de +0,005 à +0,012 MRR.
• Petits KGs : Sur UMLS et Kinship, le choix du décodeur devient un facteur décisif.
  • Kinship : Présente un avantage stable et important pour ComplEx (+0,143 MRR).
  • UMLS : Démontre une sensibilité à la provenance. Dans un nouvel exécution propre du serveur, ComplEx mène de +0,022 MRR, mais dans un lot d'exécutions antérieures avec des conditions légèrement différentes, DistMult était le vainqueur. Cela indique que les conclusions sur les petits KGs sont hautement sensibles aux variantes de la recette et ne doivent pas être traitées comme des propriétés fixes du jeu de données.

B. Profondeur de l'encodeur et interaction avec le décodeur

L'article remet en question l'hypothèse selon laquelle la profondeur optimale de l'encodeur est une propriété statique d'un jeu de données.

• Interaction WN18RR : La profondeur optimale de l'encodeur ($L$) dépend du décodeur.
  • ComplEx culmine à $L=0$ (embeddings purs).
  • DistMult culmine à $L=3$ (passage de messages profond).
  • Les deux décodeurs partagent une baisse de performance à $L=1$.
• Implication : Les affirmations sur l'utilité de l'encodeur (ex. « le passage de messages nuit à la performance ») sont incomplètes sans spécifier le décodeur. Sur FB15k-237, l'encodeur aide ComplEx, mais sur WN18RR, il est neutre ou nuisible.

C. Capacité et saturation (YAGO3-10)

• Scan de dimension : Sous la recette RCDA, le ComplEx pur ($L=0$) sur YAGO3-10 atteint une quasi-saturation à une dimension d'embedding $d=128$, atteignant 0,6971 ± 0,0048 MRR.
• Rendements décroissants : Augmenter les dimensions à $d=256$ ne produit qu'un gain marginal (+0,008 MRR) lors d'une vérification sur une seule graine.
• Recette vs Capacité : Le saut de performance significatif par rapport à la littérature précédente (ex. le 0,587 de NBFNet) est attribué principalement à la recette d'entraînement (spécifiquement le passage de la perte logistique échantillonnée à la CE 1-vs-all et l'utilisation d'AdamW) plutôt qu'à une simple augmentation de la capacité du modèle.

D. Descripteurs de la sensibilité du décodeur

• Symétrie : Bien que la symétrie soit souvent citée comme la raison pour laquelle DistMult performe bien sur certains jeux de données, les auteurs constatent que les scores de symétrie au niveau du jeu de données n'expliquent pas totalement les écarts de performance (ex. UMLS est moins symétrique que Kinship, pourtant Kinship montre un écart de décodeur plus important).
• Arêtes par relation ($e/r$) : Les auteurs proposent l' $e/r$ comme un descripteur d'audit utile. Les petits KGs avec un faible $e/r$ (UMLS : 113, Kinship : 342) présentent la plus grande sensibilité au décodeur, tandis que les KGs standards avec un $e/r$ élevé montrent des écarts systématiquement plus faibles.

4. Contributions

L'article présente cinq contributions spécifiques :

1. Protocole RCDA : Un protocole d'audit formalisé pour la KGC structurelle qui isole les effets du décodeur sous une recette fixe.
2. Diagnostic sur sept benchmarks : Une évaluation complète séparant les preuves de grille partagée (KGs standards) de la sensibilité du décodeur propre aux petits KGs.
3. Insights sur les petits KGs : Preuve que Kinship possède un avantage stable pour ComplEx, tandis qu'UMLS est sensible aux variantes de provenance/recette, contestant la notion de gagnants fixes par jeu de données.
4. Interaction Décodeur-Encodeur : Démonstration que la profondeur optimale de l'encodeur dépend du décodeur (spécifiquement sur WN18RR).
5. Grille de référence : Fourniture d'une référence structurelle contrôlée par recette, incluant un nouveau résultat de l'état de l'art pour la KGC structurelle sur YAGO3-10 (0,6971 MRR) et CoDEx-M (0,5379 MRR).

5. Signification et affirmations

L'article ne prétend pas introduire une nouvelle architecture de KGC ou classer universellement les décodeurs. Sa signification réside plutôt dans la rigueur méthodologique et les normes de rapport :

• Le choix du décodeur est un biais (confound) : Les auteurs soutiennent que le choix du décodeur est un « biais de rapport » qui peut altérer la conclusion diagnostique d'une expérience.
• Recommandations exploitables :
  • Les articles devraient rapporter une ligne comparative DistMult-vs-ComplEx pour contextualiser les affirmations sur l'encodeur ou la recette.
  • Les résultats sur les petits KGs devraient inclure les détails de provenance et de recette en raison de leur sensibilité.
  • Les affirmations sur la profondeur de l'encodeur ne devraient être faites qu'après un balayage de la grille décodeur $\times$ profondeur, plutôt qu'en supposant une profondeur optimale fixe.
• Limites : Les auteurs déclarent explicitement que leurs conclusions sont limitées à la KGC structurelle transductive avec les familles de décodeurs/encodeurs testées. Ils n'étendent pas leurs affirmations aux contextes inductifs, aux modèles augmentés par le texte, aux LLM ou au raisonnement basé sur les chemins (notant que les modèles basés sur les chemins comme NBFNet surpassent toujours les modèles structurels sur WN18RR).

En résumé, l'article plaide pour un changement dans la manière dont les expériences de KGC structurelle sont rapportées, exhortant les chercheurs à traiter la sélection du décodeur comme une variable expérimentale critique plutôt que comme un détail d'implémentation caché.