Résumé Technique : FARCLUSS

Énoncé du Problème

La segmentation sémantique semi-supervisée (SSSS) vise à atteindre des performances comparables aux modèles entièrement supervisés en exploitant un petit ensemble d'images étiquetées aux côtés de données non étiquetées abondantes. Cependant, les approches existantes font face à trois limitations persistantes :

1. Utilisation inefficace des pseudo-étiquettes : Les méthodes actuelles reposent souvent sur des seuils de confiance stricts pour générer des pseudo-étiquettes "dures". Cela rejette les régions "incertaines" (par exemple, les contours d'objets ou les zones occultées) où les probabilités de prédiction sont ambiguës, perdant ainsi des signaux de supervision précieux et renforçant le biais de confirmation.
2. Déséquilibre des classes : Dans les jeux de données à longue traîne, les pseudo-étiquettes ont tendance à être biaisées en faveur des classes dominantes (ex: route, ciel), ce qui fait que les classes minoritaires (ex: panneaux de signalisation, poteaux) sont sous-représentées et mal optimisées.
3. Inefficacité computationnelle : Les méthodes employant l'apprentissage contrastif pour améliorer la discriminabilité des caractéristiques entraînent souvent des coûts de calcul élevés en raison de comparaisons de pixels par paires étendues ou d'architectures à réseaux doubles, ce qui limite leur extensibilité.

Méthodologie

Les auteurs proposent FARCLUSS (Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning), un cadre unifié construit sur une architecture standard enseignant-étudiant (teacher-student). La méthode intègre quatre composantes principales pour répondre aux défis susmentionnés :

1. Pseudo-étiquetage Flou (Fuzzy Pseudo-Labeling)

Au lieu de rejeter les pixels qui ne respectent pas un seuil de confiance élevé, FARCLUSS conserve les probabilités des $K$ classes supérieures pour chaque pixel.

• Mécanisme : Pour une carte de probabilité générée par l'enseignant, les $K$ classes supérieures sont sélectionnées. Une distribution d'étiquettes floues douces est calculée en normalisant ces probabilités.
• Bénéfice : Cela préserve les distributions de classes douces et les relations inter-classes dans les régions ambiguës (ex: frontières entre "trottoir" et "route"), transformant l'incertitude en un signal d'apprentissage constructif plutôt qu'en un handicap.

2. Pondération Dynamique Sensible à l'Incertitude

Pour atténuer le bruit introduit par les prédictions incertaines, le cadre module l'influence de chaque pixel pendant l'entraînement.

• Mécanisme : Des poids par pixel sont assignés sur la base de l'entropie ($H$) normalisée de la prédiction de l'enseignant. Le poids est défini par $W = 1 - H$.
• Bénéfice : Les pixels présentant une incertitude élevée (entropie élevée) reçoivent des poids plus faibles, tandis que les prédictions confiantes sont amplifiées. Cela agit comme un curriculum doux, réduisant le poids des régions bruitées sans les rejeter complètement.

3. Rééquilibrage Adaptatif des Classes

Pour contrer le biais envers les classes majoritaires dans les pseudo-étiquettes, la fonction de perte est ajustée dynamiquement par lot (batch).

• Mécanisme : Les poids de classe ($w_c$) sont calculés sur la base de la fréquence des pixels pseudo-étiquetés dans le lot actuel. Les auteurs utilisent un normalisateur basé sur la médiane : $w_c = \text{médiane}(F) / (F_c + \epsilon)$, où $F_c$ est la fréquence de la classe $c$.
• Bénéfice : Cette approche statistique robuste garantit que les classes minoritaires reçoivent une attention d'optimisation adéquate sans l'instabilité causée par la pondération par inverse de fréquence ou l'inflation causée par la pondération par moyenne.

4. Régularisation Contrastive Légère

Pour améliorer la discriminabilité des caractéristiques sans la surcharge des comparaisons par paires, la méthode emploie une perte contrastive basée sur des prototypes.

• Mécanisme : Des prototypes de classe (centroïdes) sont calculés comme la moyenne des plongements (embeddings) des pixels possédant des pseudo-étiquettes floues de haute confiance. La perte pénalise la distance cosinus entre les plongements de pixels et leurs prototypes de classe correspondants.
• Bénéfice : Cela favorise la compacité intra-classe et la séparation inter-classe avec une complexité de $O(N \cdot d)$, évitant le coût $O(N^2 \cdot d)$ des méthodes par paires comme ReCo.

Contributions Clés

Le papier résume ses contributions comme suit :

• Pseudo-étiquetage Flou : Construit des distributions d'étiquettes douces à partir des probabilités des $K$ classes supérieures, préservant l'ambiguïté comme signal d'apprentissage.
• Pondération Dynamique Sensible à l'Incertitude : Utilise l'entropie normalisée pour moduler l'impact des pseudo-étiquettes par pixel, réduisant le bruit des régions ambiguës.
• Rééquilibrage Adaptatif : Ajuste dynamiquement les pertes basées sur les fréquences de pseudo-étiquettes par lot pour améliorer l'apprentissage des classes minoritaires sans heuristique manuelle.
• Régularisation Contrastive Légère : Utilise l'apprentissage contrastif basé sur des prototypes pour éviter les opérations coûteuses par paires tout en favorisant la compacité des caractéristiques.

Résultats Expérimentaux

Des expériences approfondies ont été menées sur les jeux de données Pascal VOC (Classic et Blended) et Cityscapes en utilisant des backbones ResNet-50 et ResNet-101.

• Performance : FARCLUSS surpasse systématiquement les méthodes de l'état de l'art (incluant UniMatch, CorrMatch et PS-MT) à travers divers ratios de données étiquetées (de 1/16 à 1/2).
  • Sur Pascal VOC Classic, il atteint des scores mIoU supérieurs, dépassant UniMatch de 0,4 à 1,2 mIoU sur la plupart des segments.
  • Sur Cityscapes, il obtient des résultats de premier plan (ex: 81,0 mIoU avec ResNet-101 à 1/2 de ratio), montant particulièrement des gains prononcés sur les classes sous-représentées et les régions de bordure.
• Efficacité : La méthode atteint ces résultats avec une conception à réseau unique, évitant la surcharge de correspondance de CorrMatch ou la complexité de double réseau de CPS. Elle égale l'efficacité de données des méthodes récentes comme UniMatch et CW-BASS.
• Études d'Ablation :
  • Le retrait de l'étiquetage flou a provoqué la chute de performance la plus importante (-6,2 mIoU sur Pascal), confirmant son rôle dans la conservation d'une supervision informative.
  • Le rééquilibrage des classes basé sur la médiane a surpassé les stratégies par inverse, moyenne et moyenne harmonique.
  • L'étiquetage flou Top-$K$ ($K=2$) s'est avéré supérieur au filtrage par seuil fixe, car il conserve 100 % des pixels tout en restreignant la distribution des étiquettes aux classes plausibles.
  • La perte contrastive basée sur les prototypes a atteint une précision comparable aux méthodes par paires (ReCo, U2PL) avec une utilisation de mémoire et un temps d'entraînement nettement inférieurs.

Signification et Revendications

Le papier affirme que FARCLUSS représente une solution holistique qui transforme l'incertitude d'un handicap en un atout d'apprentissage. En traitant systématiquement le bruit des pseudo-étiquettes, le déséquilibre des classes et la surcharge computationnelle au sein d'un cadre unifié, la méthode permet un apprentissage plus informatif et équilibré.

Les auteurs soulignent que leur approche est particulièrement significative pour :

1. Les Régions Ambiguës : L'étiquetage flou et la pondération par entropie permettent au modèle d'apprendre des régions de bordure qui sont typiquement rejetées par les méthodes de seuillage.
2. Les Classes Minoritaires : Le mécanisme de rééquilibrage adaptatif cible spécifiquement les problèmes de distribution à longue traîne inhérents aux jeux de données de segmentation sémantique.
3. L'Évolutivité (Scalability) : La régularisation contrastive légère et la conception à réseau unique garantissent que la méthode passe efficacement à l'échelle sur de grands jeux de données sans sacrifier la précision.

Le travail conclut que FARCLUSS définit une nouvelle direction pour l'apprentissage guidé par l'incertitude et efficace en ressources dans les scénarios de segmentation sémantique semi-supervisée.