Role-Aware Neural Convex Divergence Heads for Asymmetric Representation Learning

Résumé Technique : Têtes de Divergence Convexe Neuronale Sensibles aux Rôles pour l'Apprentissage de Représentations Asymétriques

1. Énoncé du Problème

De nombreuses tâches d'apprentissage de représentations impliquent des relations dirigées (asymétriques), telles que l'implication lexicale (spécifique $\to$ général), l'implication de phrases (prémisse $\to$ hypothèse), les hiérarchies d'ontologies (enfant $\to$ parent) et les liens de citation (citant $\to$ cité). Les fonctions de distance standard utilisées dans l'apprentissage métrique (euclidienne, cosinus, Mahalanobis) sont intrinsèquement symétriques, échouant ainsi à capturer la directionnalité. À l'inverse, les scoreurs neuronaux génériques (par exemple, des MLP sur des paires concaténées) peuvent modéliser la direction mais manquent de structure géométrique, produisant souvent des scores interprétables qui peuvent violer les propriétés de non-négativité ou de convexité. Les approches structurées existantes, comme les plongements d'ordre (order embeddings) ou la géométrie hyperbolique, sont efficaces pour les hiérarchies mais fonctionnent souvent comme des modèles de plongement complets plutôt que comme des têtes de distance flexibles et interchangeables (plug-in) pour des encodeurs arbitraires.

Le papier traite le fossé entre les scoreurs asymétriques non structurés et les modèles géométriques rigides en posant la question suivante : Une tête asymétrique peut-elle être à la fois neuronale et géométriquement structurée ?

2. Méthodologie

Les auteurs proposent la Tête de Divergence Convexe Neuronale Sensible aux Rôles (Role-Aware Neural Convex Divergence Head), un module interchangeable conçu pour calculer un score non négatif et structuré pour des paires ordonnées $(x, y)$.

Composants Clés :

• Projections de Rôles : Avant de calculer la divergence, les plongements d'entrée $x$ et $y$ sont projetés dans des rôles distincts de « source » et de « cible » à l'aide de projections linéaires apprenables $P_s$ et $P_t$.
  • $u = P_s x$ (Rôle de source)
  • $v = P_t y$ (Rôle de cible)
• Divergence de Bregman Neuronale : La tête évalue un potentiel de Réseau Neuronal Convexe d'Entrée (ICNN) $\phi_\theta$ pour calculer la divergence de Bregman dans l'espace projeté :
  $$D_{\theta, P_s, P_t}(x, y) = D_{\phi_\theta}(P_s x, P_t y) = \phi_\theta(u) - \phi_\theta(v) - \nabla\phi_\theta(v)^\top(u - v)$$
• Contraintes ICNN : Le potentiel $\phi_\theta$ est paramétré par un ICNN où des poids spécifiques sont contraints à être non négatifs, garantissant la convexité. Un terme quadratique fortement convexe ($\lambda \|u\|^2_2$) est ajouté pour assurer la stabilité numérique et la convexité stricte.
• Objectif d'Entraînement : Le modèle est entraîné à l'aide d'une perte de classement de type triplet ($L_{rank}$) pour s'assurer que les paires dirigées positives ont une divergence plus faible que les paires négatives corrompues. Une perte de marge directionnelle secondaire ($L_{dir}$) encourage la direction directe $D(x, y)$ à être plus petite que la direction inverse $D(y, x)$.

3. Principales Contributions

Le papier présente trois contributions majeures :

1. Proposition Architecturale : Une nouvelle tête interchangeable qui combine des projections spécifiques aux rôles avec des divergences de Bregman neuronales. Elle permet à des encodeurs arbitraires de produire des plongements qui sont scorés via une distance asymétrique structurée et non négative.
2. Caractérisation Théorique :
   • Identité de l'Espace Projeté : Les auteurs prouvent que la tête maintient la non-négativité. Crucialement, la condition de divergence nulle ($D=0$) se produit lorsque la projection source du premier élément est égale à la projection cible du second ($P_s x = P_t y$), plutôt que $x=y$. Cela s'aligne sur la distinction sémantique des rôles source et cible.
   • Décomposition de l'Écart Directionnel : Dans le cas particulier quadratique, l'écart directionnel $G(x, y) = D(x, y) - D(y, x)$ est montré comme dépendant explicitement de la différence entre les projections source-cible et cible-source. Cela démontre que la séparation des rôles est nécessaire pour la préférence directionnelle.
   • Courbure Locale : La Hessienne du potentiel fournit un mécanisme pour analyser la convexité locale, garantissant que le score appris se comporte comme une divergence structurée plutôt que comme une fonction "boîte noire".
3. Évaluation Empirique Systématique : La méthode est évaluée sur cinq benchmarks (HyperLex, WordNet, SICK, SNLI, Gene Ontology) et un test de stress de citation à grande échelle (OGBL-Citation2). L'étude compare la tête proposée aux distances symétriques, aux MLP non structurés, aux plongements d'ordre et aux bases hyperboliques et ICNN-Bregman simples (sans projections de rôles).

4. Résultats

• Précision Directionnelle : Sur les ensembles de données sémantiques et d'ontologie, la tête sensible aux rôles surpasse systématiquement la tête ICNN-Bregment simple (sans projections) en termes de précision directionnelle. Par exemple, sur HyperLex, la précision directionnelle est passée d'environ 38 % (simple) à environ 90 % (sensible aux rôles).
• Validité : La tête proposée maintient un taux de divergence négative de 0 %, alors que les scoreurs bilinéaires non structurés produisent fréquemment des valeurs négatives.
• Études d'Ablation : Le retrait des projections de rôles (en utilisant des projections partagées) fait perdre au modèle sa capacité directionnelle, revenant à une performance similaire à l'ICNN simple. Cela confirme que la séparation des rôles est le facteur critique pour l'asymétrie, et non seulement l'ajout de paramètres.
• Compromis : Augmenter le poids de la marge directionnelle améliore la précision directionnelle mais peut légèrement réduire la précision de classement (R-Acc) sur certains jeux de données, indiquant un compromis entre la distinction de la direction et le classement par rapport aux négatifs.
• Limites dans les Graphes à Grande Échelle : Sur le jeu de données OGBL-Citation2 (caractéristiques fixes, sans GNN), des bases spécialisées symétriques ou hyperboliques ont surpassé la tête proposée en termes de métriques de classement (MRR, Hits@K). Les auteurs notent que la prédiction de citations à grande échelle peut nécessiter des représentations d'entrée ou des encodeurs de graphes plus puissants.

5. Signification et Revendications

Le papier positionne la Tête de Divergence Convexe Neuronale Sensible aux Rôles non pas comme un remplacement universel pour tous les scoreurs, mais comme un module interchangeable structuré et interprétable pour les tâches où les relations directionnelles sont centrales.

• Interprétabilité : Contra-rément aux MLP génériques, cette tête fournit des diagnostics géométriques (écarts directionnels, traces de la Hessienne) qui permettent aux utilisateurs d'auditer pourquoi une direction est préférée. Le modèle apprend que des concepts spécifiques (source) sont proches de concepts généraux (cible) dans un espace projeté spécifique.
• Juste Milieu : Elle comble le fossé entre les modèles géométriques rigides (qui supposent des structures de données spécifiques) et les scoreurs neuronaux flexibles (qui manquent de garanties géométriques).
• Portée Modeste : Les auteurs déclarent explicitement que la méthode est mieux adaptée aux scénarios où la « validité géométrique et l'interprétation comptent ». Ils reconnaissent que des MLP non structurés ou des bases géométriques spécialisées peuvent encore surpasser la leur sur les métriques de classement pur, particulièrement lorsque les plongements d'entrée codent déjà bien la tâche ou lorsque l'évaluation récompense la qualité du voisinage non dirigé.

En résumé, ce travail démontre qu'en modélisant explicitement les rôles source et cible au sein d'un cadre de divergence convexe, on peut obtenir une discrimination directionnelle robuste tout en préservant les propriétés mathématiques (non-négativité, convexité) essentielles pour un apprentissage métrique fiable.