🤖 machine learning

Safe-Subspace Pseudo-Label Refinement for Source-Free Graph Domain Adaptation

Ce document propose SafeSubspace Pseudo-Label Refinement (S $^2$ PLR), un cadre d'adaptation de domaine sur graphes sans accès aux données sources qui améliore la robustesse du modèle en identifiant un sous-espace sûr cohérent avec la confiance afin d'appliquer une supervision par pseudo-étiquettes strictes uniquement aux échantillons soutenus par des preuves à la fois sémantiques et structurelles, tout en traitant les échantillons incertains par une régularisation douce tolérante au bruit.

Auteurs originaux : Yingxu Wang, Xinwang Liu, Siyang Gao, Nan Yin

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yingxu Wang, Xinwang Liu, Siyang Gao, Nan Yin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé ayant passé des années à perfectionner une recette de soupe spécifique dans votre cuisine personnelle (le Domaine Source). Vous savez exactement de quoi les ingrédients doivent avoir l'apparence, l'odeur et le goût. Ensuite, vous êtes engagé pour cuisiner pour un nouveau groupe de personnes dans une ville différente (le Domaine Cible). Vous avez le même livre de recettes, mais vous ne pouvez pas retourner dans votre ancienne cuisine pour consulter vos notes, et la nouvelle cuisine a un éclairage différent, une qualité d'eau différente, et les légumes ont l'air légèrement différents.

Le défi est le suivant : Comment enseigner à votre nouveau personnel de cuisine comment cuisiner cette soupe sans pouvoir goûter les ingrédients vous-même ou retourner dans votre ancienne cuisine ?

C'est le problème de l'Adaptation de Domaine sur Graphes sans Source (Source-Free Graph Domain Adaptation). Dans le monde de l'IA, les « Graphes » sont des réseaux de choses connectées (comme les réseaux sociaux ou les molécules). Le papier présente une nouvelle méthode appelée S2PLR (Safe-Subspace Pseudo-Label Refinement) pour résoudre cela.

Voici comment le papier explique le problème et sa solution, en utilisant des analogies simples :

Le Problème : L'erreur du « Confiantement Erroné »

Par le passé, l'IA tentait de résoudre cela en devinant les étiquettes des nouvelles données (comme deviner quel légume est une carotte) puis en apprenant d'elle-même à partir de ces suppositions. C'est ce qu'on appelle l'Auto-apprentissage (Self-Training).

Le papier soutient que cela est dangereux. Parce que la nouvelle cuisine est différente, l'IA pourrait deviner avec une confiance de 100 % qu'une pomme de terre est une carotte. Si l'IA fait confiance à cette mauvaise supposition et apprend d'elle-même, elle crée un « effet domino ». Dans un graphe (un réseau), l'information circule entre les voisins. Si l'IA étiquette mal un nœud, cette erreur se propage à ses voisins, corrompant l'ensemble du réseau. C'est comme une rumeur qui commence avec un menteur très sûr de lui ; bientôt, toute la ville croit au mensonge.

La Solution : La Stratégie de la « Zone de Sécurité »

Au lieu de faire confiance à chaque supposition de l'IA, S2PLR dit : « Ne faisons confiance qu'aux suppositions qui passent un contrôle de sécurité strict. »

Les auteurs proposent de créer un « Sous-espace Sûr » (Safe Subspace) — une petite zone sécurisée où nous sommes certains que les suppositions de l'IA sont réellement correctes. Ils font cela en agissant comme un détective doté de deux outils différents :

1. Le « Panel d'Experts » (Confiance Sémantique)

Imaginez que vous n'ayez pas seulement un chef, mais un panel de trois experts qui ont tous été formés dans votre ancienne cuisine. Lorsqu'ils regardent un nouveau légume :

Si les trois experts s'accordent pour dire que c'est une carotte, et qu'ils sont tous très confiants, c'est un bon signe.
Si un expert dit « carotte » mais que les autres ne sont pas sûrs, ou s'ils ne sont pas d'accord, l'IA marque cela comme « Suspect ».
L'Objectif : Ne conserver que les suppositions où les experts sont d'accord et sont confiants.

2. La « Veille de Quartier » (Cohérence Structurelle)

Dans un graphe, les choses sont connectées. Une carotte pousse généralement près d'autres carottes, pas à côté d'un caillou.

L'IA regarde les « voisins » du légume dans le nouveau réseau.
Si le légume est entouré d'autres choses qui ressemblent aussi à des carottes, l'IA se sent plus en sécurité.
Si le légume est isolé ou entouré de choses qui ressemblent à des cailloux, l'IA dit : « Attendez, cela ne correspond pas au modèle », même si les experts étaient confiants.
L'Objectif : S'assurer que la supposition est cohérente au sein de son voisinage local.

Le Processus : Comment fonctionne S2PLR

Le papier décrit un processus de filtrage des données en quatre étapes :

Le Contrôle du Comité : L'IA utilise une équipe d'« experts » (modèles sources) pour voter sur ce que sont les données. Elle écarte toute supposition où les experts ne sont pas d'accord ou ne sont pas confiants.
Le Contrôle de la Carte : L'IA apprend une nouvelle carte des données cibles pour voir comment elles sont connectées. Elle vérifie si les « carottes » sont réellement regroupées ensemble dans cette nouvelle carte.
La Sélection de la Zone Sûre : Seules les données qui réussissent à la fois le Contrôle des Experts et le Contrôle de la Carte sont placées dans le « Sous-espace Sûr ». Ce sont les seules que l'IA utilise pour apprendre avec des étiquettes « dures » (des réponses définitives).
La Touche Douce pour le Reste : Qu'en est-il des données qui n'ont pas réussi le test ? Le papier dit de ne pas les jeter ! Au lieu de leur imposer une étiquette erronée, l'IA utilise une « régularisation douce ». Considérez cela comme un léger coup de pouce pour inciter l'IA à garder les données organisées sans la forcer à prendre une décision spécifique ou potentiellement fausse. C'est comme dire : « Gardez ces articles dans le bac des "peut-être" et ne les laissez pas polluer le bac des "carottes" ».

Pourquoi cela importe

Le papier a testé cette méthode sur divers ensembles de données (comme des images transformées en graphes et des molécules chimiques réelles). Ils ont constaté que :

Les anciennes méthodes étaient souvent « confiantement erronées » et échouaient lorsque les données changeaient.
S2PLR était beaucoup plus robuste. En étant sélectif sur les données auxquelles il fait confiance, il évitait l'effet de « machine à rumeurs » où une seule erreur ruine tout.
Il a obtenu de meilleurs résultats que les méthodes précédentes, prouvant que la qualité de la confiance est plus importante que la quantité de suppositions.

L'Essentiel

Le papier affirme que dans un monde où nous ne pouvons pas retourner à nos données originales, nous ne devrions pas faire aveuglément confiance aux suppositions de notre IA. Au lieu de cela, nous devrions créer un « Sous-espace Sûr » où nous n'accordons notre confiance qu'aux suppositions qui sont appuyées à la fois par l'accord des experts et la cohérence du voisinage. Pour le reste, nous devrions être doux et ne pas forcer de décision. Cela empêche l'IA d'apprendre les mauvaises leçons et d'échouer dans de nouveaux environnements.

Résumé Technique : Raffinement de Pseudo-Étiquettes en Sous-Espace Sécurisé pour l'Adaptation de Domaine sur Graphes sans Accès aux Données Sources

Définition du Problème
L'adaptation de domaine sur graphes sans accès aux données sources (Source-Free Graph Domain Adaptation - SF-GDA) traite le défi de l'adaptation d'un réseau de neurones sur graphe entraîné sur un domaine source étiqueté vers un domaine cible non étiqueté, lorsque les données sources sont inaccessibles en raison de contraintes de confidentialité ou de stockage. Un obstacle central dans ce contexte est la fiabilité des pseudo-étiquettes générées par une hypothèse source fixe. Sous l'effet de décalages de domaine affectant à la fois les attributs des nœuds et la topologie du graphe, les prédictions induites par la source peuvent devenir « sûrement erronées ». L'auto-apprentissage indiscriminé sur de telles pseudo-étiquettes peut amplifier les erreurs systématiques par le biais du passage de messages sur le graphe, menant à des régimes de bruit non bornés où le modèle diverge plutôt que de s'adapter. Les méthodes existantes manquent souvent de justification théorique quant à savoir quels échantillons cibles sont sûrs à utiliser pour une supervision forte, s'appuyant plutôt sur un filtrage de confiance globale ou un alignement topologique sans caractériser explicitement la région de fiabilité.

Méthodologie : S2PLR
Les auteurs proposent le Safe-Subspace Pseudo-Label Refinement (S2PLR), un cadre fondé sur une perspective de risque sélectif. Au lieu de supposer que le bruit des pseudo-étiquettes est globalement borné, S2PLR identifie un « sous-espace sûr de consistance de confiance » où le bruit peut être contrôlé et applique une supervision forte uniquement à ce sous-ensemble. Le cadre se compose de quatre modules intégrés :

Quantification de l'Incertitude Multi-Experts : Pour estimer la fiabilité sémantique, S2PLR utilise un comité de $K_e$ hypothèses sources pré-entraînées (experts). Il calcule une prédiction de consensus d'ensemble et une variance prédictive. Les échantillons sont filtrés dans un « ensemble de candidats sémantiques » uniquement s'ils présentent un consensus élevé (faible variance) et une grande confiance, atténuant ainsi le risque d'erreurs trop confiantes provenant d'un modèle unique instable.
Apprentissage de Structure Intrinsèque à la Cible : Pour traiter les décalages structurels, S2PLR apprend une variété structurelle spécifique à la cible via une branche dédiée entraînée par apprentissage contrastif de graphes sur des données cibles non étiquetées. Cela crée un espace métrique où les voisinages locaux sont significatifs et compacts, indépendamment des biais topologiques spécifiques à la source.
Raffinement de Pseudo-Étiquette à Double Vue Imbriquée : Ce module intersecte les candidats sémantiques avec les preuves structurelles. Il construit un graphe $k$ -plus proches voisins dans l'espace d'enchâssement intrinsèque à la cible et calcule un score de consistance de confiance locale. Un échantillon entre dans le « sous-espace sûr » ( $H_{\zeta,\rho}$ ) s'il réussit à la fois les tests de confiance/variance sémantique et le test de consistance de voisinage structurel.
Régularisation Tolérante au Bruit : Pour l'« ensemble incertain » ( $U$ ) restant, qui contient des informations distributionnelles précieuses mais manque d'étiquettes vérifiées, S2PLR évite l'étiquetage fort. Au lieu de cela, il applique une régularisation douce (minimisation de l'entropie et divergence KL par rapport à l'ensemble de la source) pour contrôler le risque résiduel sans propager d'étiquettes fortes erronées.

Analyse Théorique
L'article fournit une analyse théorique revisitant le bruit des pseudo-étiquettes en SF-GDA.

Bruit Non Borné : Les auteurs reconnaissent la théorie existante montrant que sous des décalages de domaine globaux, les classificateurs sources peuvent être systématiquement et sûrement erronés sur des régions non vides du domaine cible, rendant l'auto-apprentissage sur l'ensemble du domaine dangereux.
Garantie de Sous-Espace Sûr : Les auteurs dérivent des conditions sous lesquelles le bruit des pseudo-étiquettes est borné. Ils définissent un sous-espace sûr $H_{\tau,\rho}$ où les échantillons satisfont une haute confiance de la source ( $\tau$ ) et une consistance de voisinage locale ( $\rho$ ). Sous une hypothèse de « divergence de l'a posteriori restreinte » et de lissé de la variété cible, ils prouvent que le bruit des pseudo-étiquettes sur ce sous-espace est borné et apprenable.
Décomposition du Risque : Le risque cible est décomposé en trois composantes : l'erreur d'ajustement sur le sous-espace sûr, le bruit intrinsèque du sous-espace sûr, et le risque sur l'ensemble incertain. Cette décomposition justifie théoriquement la stratégie consistant à utiliser des étiquettes fortes uniquement sur le sous-espace sûr et une régularisation douce ailleurs.

Résultats Expérimentaux
S2PLR a été évalué sur des benchmarks de graphes dérivés d'images (MNIST, CIFAR-10) et des jeux de données de graphes réels (Mutagenicity, DD, PROTEINS, COX2, BZR, ogbg-molhiv) sous des décalages de densité de nœuds, de densité d'arêtes et de domaine de caractéristiques.

Performance : S2PLR a atteint des performances de pointe ou compétitives à travers divers scénarios de transfert, surpassant les bases de référence « source-only », les méthodes générales d'adaptation de domaine sans accès aux données et les méthodes existantes de SF-GDA spécifiques aux graphes.
Diagnostics : L'analyse post-hoc a révélé un compromis précision-couverture constant. Le sous-espace sûr final a obtenu une précision de pseudo-étiquette significativement plus élevée que l'ensemble initial de candidats sémantiques, confirmant que la vérification structurelle filtre efficacement les échantillons non fiables.
Ablation : La suppression de l'un des quatre modules (quantification multi-experts, filtrage de confiance, apprentissage de structure cible ou régularisation douce) a entraîné une dégradation des performances, validant la nécessité de l'approche intégrée.
Visualisations : Les visualisations t-SNE montrent que S2PLR produit des représentations cibles plus compactes et mieux séparées par rapport aux bases de référence, qui présentent souvent un mélange de classes.

Signification et Revendications
L'article affirme que S2PLR va au-delà du simple raffinement empirique de pseudo-étiquettes ou de l'alignement de topologie en connectant l'analyse de bruit borné sélectif avec l'adaptation de graphe sensible à la structure.

Justification Théorique : Il fournit la première caractérisation théorique d'un « sous-espace sûr » en SF-GDA où le bruit des pseudo-étiquettes est prouvé borné, distinguant les limites de bruit au niveau de la population des certificats structurels propres à la cible.
Fiabilité plutôt que Quantité : Le cadre privilégie la fiabilité des pseudo-étiquettes sur la quantité, sélectionnant un sous-ensemble plus petit mais hautement digne de confiance pour la supervision forte, tout en exploitant les échantillons incertains via une régularisation tolérante au bruit.
Robustesse : Les résultats démontrent que les gains de performance proviennent du mécanisme de sélection de sous-espace sûr guidé par la fiabilité plutôt que de la simple augmentation du nombre d'hypothèses sources ou de la capacité du modèle.

Les auteurs notent une limite : sous des décalages structurels sévères, la sélection du sous-espace sûr peut devenir excessivement conservatrice ou présenter un biais de classe, suggérant des travaux futurs sur le contrôle adaptatif de la couverture et l'estimation de la fiabilité sensible à la classe.