Résumé technique : Un cadre variationnel unifié pour la segmentation d'images en apprentissage profond faiblement supervisé

1. Énoncé du problème

La segmentation d'images est une tâche fondamentale de la vision par ordinateur, pourtant les approches classiques d'apprentissage profond nécessitent des ensembles de données annotés au niveau du pixel à grande échelle, ce qui est coûteux à produire. Bien que les méthodes faiblement supervisées utilisant des étiquettes de pixels éparses (par exemple, des gribouillis/scribbles) offrent une solution, les approches existantes reposent souvent sur une perte d'entropie croisée partielle (PCE - Partial Cross-Entropy). Le papier identifie que la PCE est purement pilotée par les données, manque de régularisation explicite et peut être instable. De plus, les tentatives de combiner la PCE avec des termes d'énergie classiques ont montré des promesses, mais manquent d'une analyse théorique concrète, limitant ainsi leurs performances.

Le défi central abordé est la manière d'incorporer efficacement l'information d'étiquetage éparse dans un cadre de segmentation qui soit à la fois mathématiquement rigoureux (convexe et lisse) et adaptable aux paradigmes d'apprentissage profond sans nécessiter de masques de segmentation de vérité terrain (ground-truth).

2. Méthodologie

Les auteurs proposent un cadre variationnel unifié qui fait le pont entre les méthodes d'optimisation itératives et l'apprentissage profond. La méthodologie se compose de trois composantes principales :

2.1 Le modèle variationnel unifié

Le cadre est construit sur un modèle de Potts contraint par un simplexe avec un régularisateur de périmètre lisse.

• Fonctionnelle d'énergie : Le modèle formule la segmentation comme la minimisation d'une fonctionnelle d'énergie comprenant un terme de fidélité aux données et un terme de régularisation de périmètre.
• Approximation lisse : Au lieu de la variation totale (TV) non lisse, les auteurs emploient une approximation lisse du périmètre à l'aide d'une convolution de noyau gaussien ($G_\sigma * v_k$). Cela produit une fonctionnelle d'énergie convexe et lisse, adaptée aux solveurs basés sur le gradient et à la transformation en fonction de perte.
• Contrainte de simplexe : Les phases de segmentation sont représentées par des fonctions indicatrices contraintes à un simplexe ($\sum v_k(x) = 1$), permettant une formulation relaxée où $v_k(x) \in [0, 1]$.

2.2 Gestion des étiquettes éparses via les RKHS

Pour incorporer les étiquettes éparses (gribouillis) sans imposer de contraintes strictes (ce qui rendrait le problème non lisse), les auteurs introduisent une fonction d'appartenance floue $u(x)$.

• Extension de fonction : La fonction d'étiquetage éparse $\psi$ définie sur un sous-ensemble de pixels $D$ est étendue à l'ensemble du domaine $\Omega$ en résolvant un problème de moindres carrés régularisé dans un Espace de Hilbert à Noyau Reproduisant (RKHS).
• Apprentissage de noyau : Le choix du noyau reproduisant permet l'apprentissage de distributions d'intensité inhomogènes. Le noyau combine la similitude d'intensité de patch et la proximité spatiale.
• Projection : La fonction $\Psi$ étendue dans l'RKHS est projetée sur le simplexe pour obtenir la fonction d'appartenance floue $u$. Cette projection est effectuée via une méthode de seuillage (Algorithme 1), qui est efficace en termes de calcul ($O(K \log K)$) et évite le recours aux calculs de l'inverse de Moore-Penrose requis par les méthodes précédentes.

2.3 Perte d'apprentissage faiblement supervisé

Le modèle variationnel continu est discrétisé pour dériver une perte d'entraînement pour les réseaux de neurones profonds (DNN).

• Formulation de la perte : Le terme de fidélité aux données utilise la fonction d'appartenance floue $u$ pré-calculée (dérivée des étiquettes éparses) comme cible, remplaçant l'entropie croisée standard. La fonction de perte inclut le terme de fidélité aux données et le terme de régularisation de périmètre lisse.
• Processus d'entraînement : Un réseau de neurones (par exemple, UNet) est entraîné pour minimiser cette perte. Le cadre traite la sortie du réseau comme une relaxation du problème variationnel, permettant au réseau d'apprendre la correspondance entre l'image et le masque de segmentation tout en étant guidé par les contraintes variationnelles.

3. Principales contributions

1. Cadre unifié : Le papier présente un cadre variationnel unique applicable à la fois à la segmentation d'image unique par méthodes itératives et à l'apprentissage profond faiblement supervisé.
2. Énergie convexe et lisse : En utilisant un régularisateur de périmètre lisse et une contrainte de simplexe relaxée, les auteurs dérivent une fonctionnelle d'énergie convexe qui évite la projection alternée et est propice aux algorithmes de premier ordre rapides.
3. Extension d'étiquette efficace : La méthode introduit une nouvelle approche pour étendre les étiquettes éparses en utilisant les RKHS et une projection par seuillage. Cette approche est plus efficace ($O(Km^3 + K \log K)$) que les méthodes antérieures nécessitant des inverses de Moore-Penrose et capture efficacement les statistiques d'intensité inhomogènes.
4. Dérivation de perte discrète : Les auteurs dérivent une fonction de perte discrète spécifique pour entraîner des réseaux standards, démontrant que la formulation variationnelle peut être directement intégrée dans les pipelines d'apprentissage profond.

4. Résultats expérimentaux

Les auteurs valident le cadre à travers deux ensembles d'expériences : la segmentation d'image unique et l'entraînement de réseaux.

4.1 Segmentation d'image unique

• Robustesse : Le modèle démontre une robustesse dans des scénarios difficiles, incluant des images avec éclaboussures d'eau, des biais d'illumination, du bruit et des distributions d'intensité homogènes où l'objet et l'arrière-plan se chevauchent.
• Pré-segmentation vs Sortie finale : La fonction d'appartenance floue $u$ (pré-segmentation) fournit une bonne initialisation mais peut contenir du bruit ou des ruptures de contours. La sortie finale $v$, obtenue en résolvant la pleine minimisation de l'énergie avec le terme de périmètre, élimine efficacement le bruit de type sel et poivre et affine les contours.
• Sensibilité aux paramètres : L'inclusion du terme de régularisation de périmètre rend la segmentation finale robuste aux choix de paramètres du noyau, alors que la pré-segmentation seule est plus sensible.

4.2 Apprentissage faiblement supervisé

• Gains de performance : Sur les jeux de données ECSSD et PASCAL VOC 2012, la méthode proposée obtient des améliorations constantes par rapport aux bases non-entraînées (seuillage de l'appartenance floue) et aux bases de l'entropie croisée partielle (PCE).
• Effets de l'entraînement : Les auteurs identifient trois effets spécifiques de l'entraînement avec leur perte proposée par rapport aux modèles standards :
  1. Débruitage : Le réseau apprend à supprimer le bruit et à produire des contours plus nets, apprenant ainsi un niveau de seuillage optimal.
  2. Affinement des bords d'objets : Le réseau récupère des bords flous ou érodés que la pré-segmentation initiale avait manqués.
  3. Élimination des artefacts de bordure : Le réseau supprime les artefacts de lignes droites artificielles souvent causés par les conditions aux limites nulles dans l'extension du noyau.
• Stabilisation : Le terme de régularisation de variation totale (TD) supplémentaire dans la perte stabilise le processus d'entraînement, empêchant la sur-segmentation et pénalisant les faux positifs, ce qui conduit à des scores d'évaluation plus élevés (mIoU, mDice, mAcc).

5. Signification et affirmations

Le papier affirme que ce cadre unifié fournit une alternative mathématiquement rigoureuse aux approches standard d'apprentissage faiblement supervisé. En dérivant la perte à partir d'un principe variationnel convexe, la méthode offre :

• Stabilité : Elle évite l'instabilité associée à la perte PCE en incorporant une régularisation explicite.
• Efficacité : L'extension RKHS avec projection par seuillage réduit la complexité de calcul par rapport aux travaux antérieurs.
• Performance : Elle atteint des performances comparables ou supérieures aux bases existantes sans nécessiter d'images de segmentation de vérité terrain, démontant que les étiquettes éparses, lorsqu'elles sont traitées à travers ce prisme variationnel, contiennent suffisamment d'informations pour une segmentation de haute qualité.

Les auteurs soulignent que leur approche explique le processus d'entraînement du réseau à travers un problème d'apprentissage continu, fournissant une base théorique pour les améliorations observées en matière de débruitage, d'affinement des bords et d'élimination des artefacts.