Résumé Technique : Allocation d'Échantillons Sensible à la Difficulté pour l'Augmentation de Données Adaptative en Segmentation Sémantique

Énoncé du Problème

L'augmentation de données est une composante standard des pipelines de segmentation sémantique, pourtant la plupart des techniques existantes appliquent des transformations uniformément sur l'ensemble des échantillons d'entraînement ou s'adaptent en fonction d'un signal de difficulté unique, tel que la perte d'entraînement. Cet article soutient que la difficulté de segmentation est intrinsèquement multifactorielle. Un échantillon peut être difficile en raison de l'ambiguïté de la prédiction, d'erreurs d'optimisation persistantes, de la rareté des classes ou de la complexité des contours d'objets, et ces facteurs contribuent de différentes manières à l'informativité de l'échantillon.

Traiter tous les échantillons de manière identique suppose qu'ils bénéficient tous de la même manière du même budget d'augmentation. En pratique, les jeux de données de segmentation sont hétérogènes ; les images varient en taille d'objet, pose, fréquence de classe et densité de contours. Les politiques uniformes risquent de gaspiller des efforts sur des exemples faciles tout en sous-servant des échantillons informatifs. À l'inverse, une augmentation globale de l'intensité de l'augmentation peut dégrader les performances en surextrayant ou en perturbant excessivement les échantillons faciles ou bien représentés. Le problème central abordé est la manière d'allouer efficacement les ressources d'augmentation : décider quels échantillons doivent recevoir des transformations plus fortes et lesquels doivent rester plus proches de leur forme originale, sans nécessiter de modifications de l'architecture de segmentation sous-jacente.

Méthodologie : Allocation d'Échantillons Sensible à la Difficulté (DASA)

Le papier propose DASA, un cadre agnostique à l'architecture qui assigne une intensité d'augmentation spécifique à chaque échantillon basée sur un score de difficulté multi-factoriel normalisé. La méthode fonctionne par cycles itératifs, alternant entre l'entraînement du modèle et l'estimation de la difficulté.

1. Définition du Signal de Difficulté

DASA estime la difficulté en utilisant quatre signaux complémentaires :

• Ambiguïté de Prédiction ($A_i$) : Mesure l'incertitude du modèle via l'entropie prédictive normalisée dérivée de $K$ passages avant stochastiques (par exemple, via le dropout). Une entropie élevée indique que le modèle distribue la probabilité sur plusieurs classes, signalant une ambiguïté.
• Difficulté d'Optimisation ($L_i$) : Mesurée par la perte de segmentation par échantillon (entropie croisée catégorielle). Une perte élevée indique que le modèle commet des erreurs répétées ou affirmées sur l'échantillon.
• Rareté de Classe ($R_i$) : Augmente le score pour les échantillons contenant des étiquettes sous-représentées. Calculée comme la fréquence inverse moyenne des classes présentes dans le masque de l'échantillon, garantissant que les classes rares reçoivent de l'attention même si la perte actuelle est modérée.
• Complexité de Contour ($B_i$) : Mesure la difficulté structurelle en estimant la densité de contour dans le masque cible. Les échantillons avec des structures fines, des parties minces ou des formes non convexes reçoivent des scores plus élevés, car les petites erreurs spatiales près des contours impactent significativement l'Intersection sur Union (IoU).

2. Agrégation et Allocation

Chaque signal est normalisé par min-max sur une échelle commune. Le score de difficulté final $d_i$ est calculé comme une combinaison convexe :
$$d_i = \alpha \tilde{A}_i + \beta \tilde{L}_i + \gamma \tilde{R}_i + \delta \tilde{B}_i$$
où les poids somment à 1. Dans les expériences, les auteurs ont fixé $\alpha=0,35$, $\beta=0,35$, $\gamma=0,20$, et $\delta=0,10$, privilégiant l'incertitude et la difficulté d'optimisation tout en conservant l'information sémantique et structurelle.

Ce score est projeté sur une intensité d'augmentation $s_i \in [0, 1]$ :
$$s_i = s_{min} + d_i(s_{max} - s_{min})$$
Les échantillons ayant des scores de difficulté élevés reçoivent des transformations plus fortes ou plus fréquentes (par exemple, des rotations plus grandes, des changements de couleur plus marqués), tandis que les échantillons faciles reçoivent une augmentation minimale. Cette conception garantit que le cadre reste compatible avec les bibliothèques d'augmentation standard, ne contrôlant que l'intensité de l'application plutôt que les types de transformations eux-mêmes.

Contributions Clés

1. Estimateur de Difficulté Multi-factoriel : Une approche novatrice pour la segmentation sémantique qui combine l'ambiguïté de prédiction, la perte d'entraînement, la rareté des classes et la complexité des contours en un score unifié, allant au-delà des indicateurs à signal unique.
2. Allocation d'Augmentation au Niveau de l'Échantillon : Une règle qui projette les scores de difficulté normalisés sur des intensités d'augmentation spécifiques, traitant l'augmentation comme une ressource allocable plutôt que comme une étape de prétraitement fixe.
3. Implémentation Agnostique à l'Architecture : Un cadre validé sur diverses familles de modèles, incluant les réseaux convolutionnels (U-Net, DeepLabV3) et les modèles basés sur les Transformers (SegFormer-B0).
4. Étude Empirique Contrôlée : Une évaluation complète sur les jeux de données Oxford-IIIT Pet et une version binaire de Pascal VOC, incluant des ablations à facteur unique pour isoler les effets de la perte, de la rareté et de l'information de contour.

Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Oxford-IIIT Pet (segmentation de trimap à trois classes) et sur une version binaire premier plan-arrière-plan de Pascal VOC.

• Oxford-IIIT Pet : DASA a amélioré les performances sur les trois architectures par rapport à un entraînement standard. Le gain le plus significatif a été observé avec DeepLabV3, où l'IoU moyen (mIoU) est passé de 0,633 à 0,740. DASA a également surpassé les bases à signal unique (perte uniquement, contour uniquement) et une stratégie d'augmentation "uniforme forte", laquelle a en fait dégradé les performances sur U-Net et SegFormer-B0.
• Pascal VOC Binaire : DASA a obtenu l'IoU de premier plan le plus élevé pour les trois architectures. Cela est particulièrement notable car les tâches de segmentation binaire masquent souvent les erreurs lorsque les pixels d'arrière-plan dominent ; la capacité de DASA à améliorer la récupération du premier plan suggère que la règle d'allocation dirige efficacement la pression d'entraînement vers les régions d'objets difficiles.
• Études d'Ablation : Les méthodes à facteur unique (perte uniquement, rareté uniquement, contour uniquement) ont montré des succès variables selon le jeu de données et l'architecture, confirmant qu'aucun signal unique ne domine universellement. L'approche combinée DASA a fourni les performances les plus stables, avec une moyenne de 0,728 mIoU sur Oxford-IIIT Pet et 0,622 mIoU sur Pascal VOC binaire à travers les architectures.
• Coût Computationnel : Les méthodes adaptatives ont engendré un surcoût de temps d'exécution modéré dû à la nécessité de l'estimation de la difficulté (par exemple, les multiples passages avant pour l'ambiguïté). Cependant, les auteurs notent que ce coût est acceptable pour un entraînement hors ligne, surtout lorsque la récupération du premier plan est critique, et peut être compensé en réduisant la fréquence des mises à jour de difficulté.

Signification et Revendications

L'article affirme que DASA démontre la valeur pratique de l'estimation de la difficulté multi-factorielle pour diriger l'augmentation là où elle est la plus utile. Les résultats attestent que :

1. L'Adaptatif est Supérieur à l'Uniforme : L'augmentation adaptative est généralement préférable aux politiques uniformes fixes, particulièrement lorsque les jeux de données contiennent des difficultés d'échantillons hétérogènes.
2. La Complémentarité est la Clé : Le meilleur signal de difficulté unique varie selon le jeu de données et l'architecture ; par conséquent, un estimateur combiné est nécessaire pour capturer tout le spectre de la difficulté de segmentation.
3. Amélioration Ciblée : L'avantage le plus constant de DASA réside dans l'amélioration de la segmentation des régions de premier plan difficiles, ce qui est crucial pour les tâches où l'arrière-plan domine le nombre de pixels mais où les classes de premier plan déterminent l'utilité pratique.

Les auteurs positionnent DASA non pas comme un remplacement des architectures ou des bibliothèques d'augmentation existantes, mais comme une heuristique d'allocation transparente qui peut être intégrée dans les pipelines existants avec un coût de mise en œuvre limité. Ils reconnaissent des limites, telles que l'utilisation de poids d'agrégation fixes et le coût computationnel de l'estimation de l'ambiguïté, suggérant que les travaux futurs pourraient explorer des poids appris et des indicateurs d'incertitude moins coûteux.