Distance-Misaligned Training in Graph Transformers and Adaptive Graph-Aware Control

Résumé Technique : Entraînement Désaligné par la Distance dans les Graph Transformers

1. Problématique (Le Problème)

Les Graph Transformers (GT) possèdent une capacité de communication globale grâce au mécanisme d'attention, mais cette flexibilité est une arme à double tranchant. Le problème central identifié est le désalignement de distance (distance misalignment) : un décalage entre la portée spatiale des informations pertinentes pour la tâche (où se trouve le signal) et la portée de la communication allouée par le modèle (où l'attention est portée).

Les auteurs distinguent deux modes de défaillance :

• Sous-extension (Under-reaching) : Le modèle reste trop local alors que la tâche nécessite des informations provenant de nœuds éloignés.
• Sur-globalisation (Over-globalizing) : Le modèle alloue trop d'attention à des nœuds distants alors que la tâche est essentiellement locale, ce qui peut mener à un lissage excessif (oversmoothing).

2. Méthodologie

Pour étudier ce phénomène de manière contrôlée, les auteurs ont mis en place un cadre expérimental rigoureux :

• Benchmark Synthétique : Utilisation de modèles de blocs stochastiques contextuels (CSBM). Les étiquettes des nœuds sont générées par une combinaison contrôlée de signaux locaux (voisinage immédiat) et de signaux lointains (coquilles de distance $r^*$), régie par un coefficient $\beta \in [0, 1]$.
• Architecture et Biais : Un Graph Transformer dense est utilisé, où un biais de distance de chemin le plus court est injecté dans les logits d'attention : $\text{logit}_{ij} = \frac{q_i^\top k_j}{\sqrt{d}} + \lambda_{\text{dist}} \cdot (- \text{spd}(i, j))$. Le paramètre $\lambda_{\text{dist}}$ sert de levier de contrôle : une valeur élevée favorise la localité, une valeur faible favorise la globalité.
• Métriques de Désalignement :
  • Profil de distance de la tâche ($\pi_{\text{task}}$) : Où l'information utile réside.
  • Profil d'attention du modèle ($\pi_A$) : Où le modèle communique réellement.
  • Écart de distance moyenne ($\mu_{\text{task}} - \mu_A$) et Distance de Wasserstein-1 ($W_1$) pour quantifier l'écart entre ces deux distributions.
• Stratégies de Contrôle : Comparaison entre un entraînement neutre ($\lambda_{\text{dist}} = 0$), un balayage de biais fixe, un contrôleur "zero-gap" (visant un écart nul) et un contrôleur "oracle target-gap" (utilisant la cible optimale connue a posteriori).

3. Contributions Clés

• Diagnostic par la distance : Introduction d'une méthode de diagnostic qui permet de comprendre pourquoi un modèle échoue en distinguant les erreurs de portée (locale vs globale).
• Caractérisation des régimes : Démonstration que le même paramètre de contrôle ($\lambda_{\text{dist}}$) peut faire passer un modèle d'un état de sur-globalisation à un état de sous-extension selon la nature de la tâche.
• Preuve de concept de contrôle adaptatif : Démonstration qu'un contrôle basé sur la cible de distance est supérieur à une simple adaptation sans cible précise.

4. Résultats Principaux

• Déplacement du biais optimal : Plus la tâche est locale ( $\beta$ élevé), plus le biais de distance optimal ($\lambda_{\text{dist}}$) doit être élevé et positif.
• Performance du contrôleur Oracle : Le contrôleur "target-gap" (qui vise l'écart optimal identifié par l'oracle) surpasse largement le modèle neutre et le contrôleur "zero-gap", se rapprochant des performances du meilleur réglage fixe.
• Limites de l'adaptation aveugle : Le contrôleur "zero-gap" (qui cherche simplement à égaler la distance de la tâche) est moins performant que l'oracle, prouvant que l'adaptation seule ne suffit pas : il faut viser le bon régime de distance, et non simplement l'équilibre.
• Analyse mécaniste : Les courbes de Wasserstein et d'écart de distance confirment que les modes de défaillance sont opposés selon la localité de la tâche, validant ainsi le diagnostic de désalignement.

5. Signification et Perspectives

Cette étude change la perspective sur l'optimisation des Graph Transformers : au lieu de chercher uniquement à améliorer l'architecture, elle suggère que l'on peut piloter l'entraînement en ajustant la structure de communication en fonction de la topologie de la tâche.

Les travaux futurs visent à remplacer l'oracle (qui nécessite une connaissance préalable de la tâche) par un estimateur de régime observable directement à partir des signaux d'entraînement du modèle, permettant ainsi un contrôle adaptatif en temps réel (online scheduling) pour éviter les régimes d'entraînement inefficaces.