Résumé Technique : Éviter les Modes de Défaillance Structurelle dans l'Apprentissage Semi-Supervisé Équitable sur Données Tabulaires

1. Énoncé du Problème

L'article traite d'un conflit structurel critique dans l'Apprentissage Semi-Supervisé Équitable (Fair SSL) appliqué à des domaines tabulaires à haut risque (par exemple, l'aide à la décision médicale, le scoring de crédit, la prédiction de la récidive). Dans ces contextes, les données étiquetées sont rares, rendant le SSL nécessaire, tandis que la conformité réglementaire exige des garanties statistiques d'équité entre les groupes démographiques.

Le problème central découle de l'interaction entre l'étiquetage pseudo-étiqueté par seuil de confiance (un mécanisme SSL standard où les pseudo-étiquettes sont conservées uniquement si la confiance de la prédiction dépasse un seuil $\tau$) et les régularisateurs d'équité par appariement de moments (qui imposent une parité entre les groupes). Les auteurs identifient qu'une forte pression en faveur de l'équité peut systématiquement supprimer la confiance de prédiction, provoquant deux modes de défaillance structurelle distincts :

1. Effondrement du Masquage (Type I) : Les contraintes d'équité poussent les prédictions vers la frontière de décision ($\hat{y} \approx 0.5$) pour minimiser les disparités entre les groupes. Cela érode la confiance, amenant le seuil de confiance à rejeter la plupart des pseudo-étiquettes ($q_t \to 0$). Le résultat est une famine de gradient, où le modèle ne peut pas apprendre à partir des données non étiquetées.
2. Saturation Triviale (Type II) : L'optimisation dérive vers des prédicteurs constants (par exemple, prédire la moyenne) pour satisfaire les contraintes d'équité avec une variance nulle. Cela produit une violation d'équité proche de zéro mais entraîne un effondrement de l'utilité (dégradation des performances prédictives).

Les auteurs soutiennent que le pondération statique des pénalités d'équité est fragile car le couplage entre la sélection des pseudo-étiquettes et l'évaluation des contraintes est endogènement non stationnaire.

2. Méthodologie : Allocation Primal-Duale en Ligne (OPDA)

Pour résoudre cette impasse structurelle, les auteurs proposent OPDA, un contrôleur en ligne qui planifie de manière adaptative les pénalités d'équité et de stabilité sans ajustement par jeu de données.

Architecture Principale

OPDA emploie une paramétrisation d'allocation de budget à deux niveaux :

• Budget Total ($B_t$) : Contrôle l'intensité globale de l'application des contraintes.
• Ratio d'Allocation ($\pi_t$) : Détermine la répartition entre la pénalité d'équité ($\lambda_v$) et la pénalité de stabilité basée sur l'entropie ($\lambda_h$).
  • $\lambda_v^{(t)} = B_t \cdot \pi_t$
  • $\lambda_h^{(t)} = B_t \cdot (1 - \pi_t)$

Dynamiques Pilotées par le Signal

OPDA met à jour $B_t$ et $\pi_t$ à chaque époque en utilisant un ensemble d'observables en ligne :

1. Violation d'Équité ($v_t$) : La pénalité actuelle d'appariement de moments de style DP.
2. Proxy de Risque ($r_t$) : Un scalaire borné ($1 - \text{MacroF1}_{val}$) suivant la dégradation de l'utilité.
3. Signaux de Santé des Pseudo-Étiquettes :
   • $q_t$ : Ratio de passage des pseudo-étiquettes (couverture).
   • $p_t$ : Précision proxy.
   • $ESSt$ : Taille effective de l'échantillon.
4. Alignement des Gradients : Similarité cosinus entre les gradients d'équité et les gradients SSL de base pour détecter les conflits.

Mécanismes de Contrôle

• Dynamique de Budget à la Recherche du Coude : Le budget total $B_t$ est mis à jour via une descente de gradient en ligne projetée dans le domaine logarithmique. Il n'augmente que lorsque l'équité s'améliore au-delà d'une marge de bruit sans entraîner de détérioration du risque au-delà d'une marge de bruit ($G_t - C_t > 0$). Cela empêche une application agressive excessive menant à l'effondrement.
• Allocation Consciente du Conflit : Le ratio $\pi_t$ est déterminé en minimisant un surrogate convexe de l'urgence. Il équilibre la nécessité de réduire la violation d'équité ($d_{fair}$) avec la nécessité de maintenir la santé des pseudo-étiquettes ($d_{stab}$). Crucialement, il utilise une porte sigmoïde basée sur l'alignement des gradients pour supprimer l'urgence si les contraintes sont anti-alignées avec l'objectif de base.
• Garantie Anti-Famine : Un plancher dynamique $\pi_{min}(t)$ garantit que ni la pénalité d'équité ni la pénalité de stabilité ne sont jamais complètement désactivées, empêchant le système d'entrer dans un régime dégénéré où l'apprentissage s'arrête.

3. Contributions Clés

1. Diagnostic du Mécanisme : L'article identifie formellement et prouve l'existence de deux modes de défaillance dans le Fair SSL par seuil de confiance :
   • Effondrement du Masquage : Prouvé pour créer des voisinages à gradient vanissant où $L_{unsup} = 0$ (Proposition 1).
   • Saturation Triviale : Prouvé pour résulter d'un conflit de signe dans l'espace des logits entre l'appariement de moments (poussant vers la moyenne) et la minimisation de l'entropie (poussant vers les frontières) dans le cas de groupes déséquilibrés (Proposition 2).
2. Contrôleur Conscient de la Santé des Pseudo-Étiquettes : OPDA est le premier contrôleur à surveiller explicitement les signaux de santé des pseudo-étiquettes ($q_t, p_t, ESSt$) parallèlement aux violations d'équité. Il planifie les poids duaux pour éviter la « famine » du mécanisme SSL lui-même.
3. Fonctionnement sans Calibration : OPDA fonctionne avec une configuration par défaut unique sur divers jeux de données (Adult, ACSIncome, COMPAS) et architectures de base, évitant la nécessité d'une recherche manuelle de grille des poids d'équité ($\lambda$).

4. Résultats Expérimentaux

Les auteurs ont évalué OPDA sur trois benchmarks tabulaires utilisant un cadre de test de stress diagnostique (tâches multi-étiquettes pour isoler les mécanismes de défaillance).

• Atténuation des Modes de Défaillance : Sous des poids d'équité statiques élevés ($\lambda=100$), le SSL standard présentait un Effondrement du Masquage (couverture $q_t \to 0.02$) ou une Saturation Triviale. OPDA a réussi à éviter ces régimes dégénérés.
• Compromis de Performance :
  • Adult & COMPAS : OPDA a atteint des points de fonctionnement non dégénérés compétitifs par rapport à la frontière de Pareto empirique du réglage statique de $\lambda$, équilibrant efficacement utilité et équité.
  • ACSIncome : OPDA a préservé l'utilité mieux que les bases statiques tout en présentant une dispersion plus large équité-utilité, démontrant une robustesse dans des contextes complexes et multi-groupes ($K=9$).
• Comparaison avec les Bases :
  • Comparé aux bases adaptatives à signal unique (par exemple, PI, EMA-P), OPDA a montré une robustesse supérieure. Les méthodes à signal unique ont souvent échoué à distinguer les problèmes de capacité de la famine de pseudo-étiquettes, conduisant à des oscillations ou à une saturation.
  • Comparé aux méthodes d'Optimisation Multi-Objectif (MOO) basées sur les gradients (PCGrad, CAGrad), OPDA a obtenu des violations d'équité plus faibles sur Adult et COMPAS tout en maintenant une utilité comparable. Sur COMPAS, les méthodes purement basées sur les gradients ont présenté des taux de saturation non nuls, tandis qu'OPDA a maintenu un taux de saturation de 0 %.
• Ablation : La suppression de la logique complète multi-signaux (OPDA-lite) a entraîné une préservation inférieure de l'utilité sur ACSIncome, confirmant la valeur de la dynamique de budget consciente de la santé.

5. Importance et Revendications

L'article positionne OPDA non pas comme une garantie universelle de domination uniforme sur toutes les métriques, mais comme un contrôleur sans calibration pour gérer les régimes de défaillance spécifiques inhérents au Fair SSL par seuil de confiance.

• Insight Théorique : Le travail souligne que les contraintes d'équité dans le SSL ne sont pas statiques ; elles interagissent dynamiquement avec le mécanisme de sélection des données. La pondération statique échoue car elle ne peut pas réagir à la non-stationnarité endogène du masque de pseudo-étiquettes.
• Utilité Pratique : OPDA offre une voie pour obtenir des points de fonctionnement contrôlés dans des environnements tabulaires à haut risque et à pénurie d'étiquettes, sans le coût computationnel du réglage des hyperparamètres par jeu de données.
• Limites de Portée : Les auteurs notent modestement que si les pathologies identifiées sont fondamentales au mécanisme SSL, la validation empirique est actuellement limitée aux données tabulaires. L'extension aux données d'images ou de texte de haute dimension reste une question ouverte. De plus, le contrôleur nécessite la pré-spécification de constantes internes (par exemple, la durée de préchauffage), bien qu'il démontre une robustesse face à des perturbations modérées.

En résumé, l'article soutient que l'évitement des défaillances structurelles dans le Fair SSL nécessite de dépasser la pondération statique ou l'équilibrage simple des gradients, en adoptant plutôt une stratégie de contrôle en ligne qui surveille activement la « santé » du processus d'étiquetage pseudo pour empêcher le système de s'effondrer vers des solutions triviales.