🤖 machine learning

T3R: Deeper Test-Time Adaptation for Graph Neural Networks via Gradient Rotation

L'article propose T3R, une nouvelle méthode d'adaptation au moment du test pour les réseaux de neurones sur graphes qui utilise des matrices de Rotograd et la rotation de gradient pour réorienter les signaux auto-supervisés, permettant une adaptation plus profonde et sur l'ensemble de l'architecture sur des données de test non étiquetées et améliorant significativement les performances sous des changements de distribution.

Auteurs originaux : Huy Truong, Alexander Lazovik, Victoria Degeler

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Huy Truong, Alexander Lazovik, Victoria Degeler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un gestionnaire de réseau d'eau hautement qualifié (un Graphe de Réseaux de Neurones) qui a passé des années à étudier les plans d'une ville spécifique. Ce gestionnaire sait exactement comment la pression et le débit fonctionnent dans cette ville.

Cependant, un jour, le gestionnaire est envoyé dans une nouvelle ville. Les tuyaux sont de tailles différentes, le terrain est différent et les modèles de demande d'eau sont étranges. Parce que le gestionnaire a été formé sur l'ancienne ville, il commence à commettre des erreurs.

Habituellement, pour corriger cela, il faudrait renvoyer le gestionnaire à l'école avec un nouveau manuel rempli d'exemples étiquetés de la nouvelle ville. Mais dans le monde réel, obtenir ces exemples étiquetés est souvent trop coûteux ou impossible (comme essayer de simuler chaque rupture de tuyau possible dans une nouvelle ville).

C'est là qu'intervient la solution du papier, T3R. C'est une façon pour le gestionnaire d'apprendre à la volée, en utilisant uniquement les données brutes qu'il voit dans la nouvelle ville, sans avoir besoin d'un professeur pour lui dire s'il a raison ou tort.

Voici comment fonctionne T3R, décomposé en concepts simples :

1. L'entraînement en « Y » (La stratégie de la double tâche)

Imaginez que le gestionnaire est entraîné en utilisant un curriculum spécial en forme de Y.

Le bras gauche (Le travail principal) : Le gestionnaire apprend à prédire la pression de l'eau (le vrai travail).
Le bras droit (Le job d'appoint) : Le gestionnaire apprend aussi un « jeu auto-supervisé », comme essayer de deviner quelles parties d'une carte de tuyauterie ont été cachées ou masquées. Cela ne nécessite pas de professeur ; le gestionnaire essaie simplement de reconstruire les pièces manquantes.

Pendant l'entraînement, le gestionnaire pratique les deux tâches en même temps. Le but est de s'assurer que les compétences acquises dans le « Job d'appoint » aident réellement le « Travail principal ».

2. Le problème : Le gestionnaire « gelé »

Dans les méthodes standards, lorsque le gestionnaire arrive dans la nouvelle ville, on l'autorise à modifier légèrement son cerveau en fonction du « Job d'appoint » (le jeu de masquage) pour s'habituer aux nouveaux tuyaux. Cependant, la partie de son cerveau responsable du Travail principal (prédire la pression) reste gelée. C'est comme une voiture où vous pouvez ajuster les rétroviseurs et la radio, mais où le volant est verrouillé. Cela limite sa capacité à s'adapter à ce nouvel environnement étrange.

3. La solution T3R : Le « Rotateur de Gradient »

Les auteurs proposent T3R, qui introduit une astuce ingénieuse appelée Rotation de Gradient.

Considérez le « signal d'apprentissage » (le gradient) comme une aiguille de boussole indiquant au gestionnaire la direction dans laquelle il doit s'améliorer.

Dans les anciennes méthodes, la boussole du « Job d'appoint » et celle du « Travail principal » pointaient souvent dans des directions différentes, ou la boussole du Travail principal était verrouillée.
T3R installe une plateforme rotative (une matrice de rotation) pour chaque couche du cerveau du gestionnaire.

Comment cela fonctionne dans la nouvelle ville (Temps de test) :

Le gestionnaire observe les nouveaux tuyaux et joue au « Job d'appoint » (le jeu de masquage).
Le « Job d'appoint » génère un signal d'apprentissage (une poussée).
Au lieu d'utiliser simplement cette poussée pour la tâche secondaire, T3R fait pivoter cette poussée. Il tourne le signal du « Job d'appoint » de sorte qu'il pointe exactement dans la direction dont le « Travail principal » a besoin.
Cela crée un gradient de substitution — une instruction fausse mais hautement précise qui indique à l'ensemble du cerveau du gestionnaire (y compris la partie précédemment gelée du Travail principal) comment s'adapter à la nouvelle ville.

4. Pourquoi c'est une adaptation « profonde »

La plupart des autres méthodes ne permettent au gestionnaire d'ajuster que la couche supérieure de son cerveau (l'encodeur). T3R permet à l'astuce de la rotation de circuler jusqu'en bas, mettant à jour presque toute l'architecture.

C'est la différence entre :

L'ancienne méthode : Le gestionnaire met de nouvelles lunettes pour mieux voir la nouvelle ville, mais sa carte interne reste la même.
La méthode T3R : Le gestionnaire ne se contente pas de mettre de nouvelles lunettes, il réécrit sa carte interne de la ville en temps réel, en utilisant les indices du jeu du « Job d'appoint » pour comprendre où les tuyaux devraient se trouver.

5. Les résultats

Le papier a testé cela sur deux types de problèmes réels :

Réseaux d'eau (Régression) : Prédire la pression et le débit de l'eau. T3R a réduit les erreurs de manière significative par rapport aux gestionnaires qui ne s'adaptaient pas ou qui utilisaient d'anciennes méthodes d'adaptation.
Classification de molécules : Prédire les propriétés de molécules chimiques. T3R a montré des améliorations massives (jusqu'à près de 50 % de mieux) lors du passage d'un ensemble de données de molécules à un autre.

L'essentiel

T3R est une méthode qui permet aux modèles d'IA de s'adapter profondément à de nouveaux environnements non vus sans avoir besoin de données étiquetées. Il y parvient en utilisant un « jeu secondaire » pour générer des signaux d'apprentissage et en pivotant ensuite ces signaux afin de pouvoir mettre à jour l'ensemble du modèle, et non seulement une petite partie. C'est comme donner à un gestionnaire un traducteur universel qui réécrit instantanément toute sa compréhension d'un nouveau système en se basant sur un simple puzzle qu'il peut résoudre par lui-même.

Résumé Technique : T3R - Adaptation en Temps d'Exécution Profonde pour les Réseaux de Neurones sur Graphes via la Rotation de Gradient

1. Énoncé du Problème

Les réseaux de neurones sur graphes (GNN) déployés dans des systèmes réels, tels que les réseaux de distribution d'eau, les infrastructures 5G et les réseaux informatiques, opèrent généralement avec des poids fixes après l'entraînement. Ce paradigme statique entraîne une dégradation des performances lors de la rencontre de changements de distribution (dérive de concept), un phénomène courant dans les données de capteurs où les conditions changent au fil du temps.

Bien que le Test-Time Training (TTT) offre une solution en adaptant les modèles à l'aide de données de test non étiquetées via une tâche auxiliaire d'apprentissage auto-supervisé (SSL), les approches existantes font face à des limitations significatives dans le domaine des graphes :

Adaptation superficielle : Les méthodes TTT conventionnelles (ex. Sun et al., 2020) ne mettent généralement à jour que l'encodeur partagé et le décodeur SSL pendant l'inférence, laissant le décodeur de la tâche principale fixe. Cela limite la capacité du modèle à s'adapter pleinement aux nouvelles distributions.
Désalignement des tâches : La sélection d'une tâche SSL auxiliaire qui s'aligne de manière significative avec une tâche cible spécifique basée sur les graphes est difficile. Les conflits de gradient entre les tâches peuvent entraver l'optimisation conjointe.
Rareté des données : Dans des domaines comme les systèmes d'eau, les données étiquetées sont rares, et le réentraînement ou l'ajustement fin (fine-tuning) via des simulations est souvent irréalisable en raison du manque de connaissances complètes du système.

2. Méthodologie : T3R

Les auteurs proposent T3R (Test-Time Training with layer-wise Rotograds), un nouveau cadre qui exploite la rotation de gradient pour permettre une adaptation profonde à travers presque toute l'architecture du GNN sans étiquettes de vérité terrain.

Architecture Centrale

T3R utilise une architecture en forme de Y composée de :

Un encodeur partagé ( $\theta_e$ ).
Une tête principale ( $\theta_m$ ) pour la tâche cible.
Une tête SSL auxiliaire ( $\theta_s$ ) pour un objectif sans étiquette (ex. masquage de nœuds).

Mécanismes Clés

1. Alignement des Gradients et Affinité de Tâche :
La méthode mesure l'affinité de tâche comme la similitude cosinus entre les vecteurs de gradient des têtes principale et SSL. Un alignement positif élevé indique que la minimisation d'un objectif minimise également l'autre. Les auteurs sélectionnent empiriquement des tâches SSL (spécifiquement le masquage de nœuds) qui présentent la plus forte corrélation de gradient positif avec la tâche principale.

2. Rotograd par Couche :
Pour atténuer le conflit de gradient et améliorer l'affinité de tâche, T3R intègre Rotograd (Javaloy & Valera, 2022) dans le cadre TTT.

Phase d'Entraînement : Des matrices de rotation orthogonales ( $R^{(l)}_m, R^{(l)}_s$ ) sont prépendées à chaque couche des décodeurs principal et SSL. Une perte de rotation ( $L_{rot}$ ) est optimisée de manière cyclique pour maximiser la similitude cosinus entre les gradients originaux et les gradients tournés, spécifiques à la tâche. Cela encourage les gradients des deux tâches à s'aligner dans une direction commune.
Phase de Test (Inférence) : Pendant l'inférence, la perte de la tâche principale est indisponible. T3R utilise les matrices de rotation apprises pour générer des gradients de substitution pour la tâche principale. Plus précisément, le gradient SSL est pivoté vers la direction moyenne du gradient original et redirigé pour mettre à jour les couches du décodeur principal.
- Formule : $\tilde{g}^{(l+1)}_m = R^{(l)\top}_s g^{(l)}_s R^{(l)}_m$ .
- Ce mécanisme permet de mettre à jour toute l'architecture (encodeur partagé, décodeur SSL, et presque toutes les couches du décodeur principal), plutôt que de se limiter à l'encodeur.

3. Décalages d'Hyperparamètres :
Les auteurs observent que l'ajustement des hyperparamètres durant la phase de test améliore les performances. Plus précisément, ils augmentent le coefficient de la perte auxiliaire ( $\lambda_{test}$ ) et réduisent l'intensité de l'augmentation (ex. taux de masquage de nœuds plus faible) pour amplifier les signaux SSL et éviter l'échec sur de petits lots (batches) de test.

3. Principales Contributions

L'article présente trois contributions majeures :

Méthode T3R : Une nouvelle approche d'adaptation utilisant des matrices de rotation par couche pour améliorer l'affinité de tâche pendant l'entraînement et générer des gradients de substitution pour une adaptation profonde de toute l'architecture au moment du test.
Sélection Empirique du SSL : Une investigation sur la sélection d'objectifs SSL basés sur les graphes qui s'alignent avec les tâches principales, démontrant qu'un alignement de gradient positif est corrélé à une meilleure adaptabilité.
Évaluation Approfondie : Expérimentations complètes sur des jeux de données de régression (réseaux de distribution d'eau) et de classification (graphes moléculaires) dans des contextes de distribution hors domaine (OOD) et de changement de domaine.

4. Résultats Expérimentaux

Les auteurs ont évalué T3R sur le jeu de données DiTEC-WDN (DWD) (régression) et les jeux de données Open Graph Benchmark (OGB) (classification).

Régression (Réseaux de Distribution d'Eau)

Performance : T3R a obtenu une amélioration relative de 38,38 % de la RMSE par rapport à l'Empirical Risk Minimization (ERM) standard et a surpassé les autres bases d'adaptation (Tent, TTT standard, TTT+Rotograd) sur plusieurs métriques (MAE, R2, PCC).
Observation : Le TTT standard et le TTT+Rotograd (qui ne met à jour que l'encodeur) ont montré des gains limités ou ont sous-performé l'ERM dans ce contexte, soulignant la nécessité de mettre à jour le décodeur principal.
Validation Croisée : Dans les tests de changement de domaine (entraînement sur une topologie de réseau, test sur une autre), T3R avec une seule étape d'adaptation ( $t=1$ ) a produit les meilleurs résultats. Une adaptation plus profonde (plus d'étapes) a généralement dégradé les performances dans les tâches de régression.

Classification (Graphes Moléculaires)

Adaptation de Domaine : Dans les expériences d'adaptation entre ogbg-molbace et ogbb-molbbbp, T3R a obtenu des améliorations relatives significatives de l'AUC-ROC, atteignant jusqu'à 69,56 % d'amélioration relative par rapport à l'inférence standard sans adaptation.
Comparaison : Alors que d'autres méthodes montraient de légères améliorations ou une convergence précoce, T3R a démontré des gains robustes, particulièrement lorsque les étapes d'adaptation étaient soigneusement ajustées.

Études d'Ablation

Couches de Rotation : Le retrait des couches de rotation a augmenté l'incertitude et dégradé les performances, confirmant la nécessité de l'adaptation par couche.
Coefficient de Perte : L'ajustement du coefficient de perte auxiliaire de test ( $\lambda_{test}$ ) pour qu'il soit plus élevé que le coefficient d'entraînement a amélioré la performance de la tâche principale, tandis que des valeurs excessives ont conduit à une sur-adaptation.

5. Signification et Revendications

L'article affirme que T3R répond à la limitation critique des méthodes TTT existantes en permettant une adaptation plus profonde à travers toute l'architecture du modèle, et non seulement l'encodeur. En exploitant la rotation de gradient pour créer des gradients de substitution, T3R permet aux modèles de s'adapter efficacement dans des scénarios où :

Les données étiquetées sont indisponibles ou coûteuses à collecter.
Les changements de distribution sont fréquents (ex. dérive des capteurs dans les infrastructures).
L'ajustement fin ou le réentraînement conventionnel est irréalisable.

Les auteurs positionnent T3R comme une étape vers le développement de pipelines d'adaptation robustes et sans étiquettes pour les systèmes basés sur les graphes en temps réel, particulièrement dans les domaines d'infrastructures critiques comme les réseaux d'eau. Ils reconnaissent que bien que la méthode soit prometteuse, la relation entre l'alignement des gradients et l'adaptabilité nécessite une justification théorique plus poussée, et que le coût computationnel des étapes de mise à jour de gradient supplémentaires est un compromis pour une précision accrue.