Conformal Prediction Sets for Instance Segmentation

Résumé Technique : Ensembles de Prédiction Conforme pour la Segmentation d'Instances

Énoncé du Problème
Les modèles actuels de segmentation d'instances atteignent des performances moyennes élevées mais manquent d'une quantification principled de l'incertitude. Leurs sorties, telles que les logits ou les scores de confiance, sont souvent mal calibrées et n'offrent aucune garantie qu'un masque prédit soit proche de la vérité terrain. Les métriques d'incertitude existantes (par exemple, les probabilités de bordure) sont fréquemment mal calibrées et difficiles à interpréter. De plus, les approches récentes de prédiction conforme pour la segmentation sont contraintes à la modification d'un seul masque prédit par le modèle (par exemple, via une dilatation ou une expansion de bordure). Ces méthodes capturent l'incertitude locale des bordures mais échouent à traiter l'incertitude structurelle — l'ambiguïté concernant si des régions adjacentes doivent être traitées comme un seul objet ou divisées en plusieurs objets. Cette limitation est critique dans les applications réelles où un seul paramètre optimal peut ne pas exister pour toutes les requêtes.

Méthodologie
Les auteurs proposent un algorithme de prédiction conforme qui génère des ensembles de confiance adaptatifs de prédictions d'instances pour une image donnée et une requête de coordonnée de pixel. La méthode opère sous le cadre suivant :

1. Configuration : L'entrée consiste en une image $I$ et un point de requête $(z_1, z_2)$. L'objectif est de prédire un masque binaire $Y$ pour l'instance d'objet contenant la requête. La méthode utilise un modèle de segmentation d'instances $f$ qui accepte un paramètre ajustable $T$ (par exemple, seuils de watershed, seuils de logits ou indices de masques) pour produire des prédictions diverses $\hat{Y} = f(X, T)$.
2. Calibration : En utilisant un ensemble de données de calibration de $n$ paires image-requête avec des masques de vérité terrain, l'algorithme évalue l'Intersection-over-Union (IoU) des prédictions générées par une grille de $k$ valeurs de paramètres $\{t_1, \dots, t_k\}$.
3. Construction de l'Ensemble (Couverture d'Ensemble) : Pour un seuil d'IoU cible $\tau$ et un taux d'erreur $\alpha$, l'algorithme identifie un sous-ensemble minimal d'indices de paramètres $J_{\alpha, \tau}$ tel que l'union des prédictions réussies (celles ayant un IoU $> \tau$) couvre au moins $(1-\alpha)n$ exemples de calibration. Cette étape est formulée comme un problème de Couverture d'Ensemble (Set Cover), résolu via un algorithme glouton suivi d'un raffinement par force brute pour minimiser la taille de l'ensemble.
4. Prédiction : Pour une nouvelle entrée de test, l'algorithme génère des prédictions en utilisant le sous-ensemble de paramètres sélectionné $J_{\alpha, \tau}$, formant l'ensemble de confiance initial $C_{\alpha, \tau}(X_{test})$.
5. Raffinement Adaptatif (Suppression des Doublons) : Pour éviter la redondance, l'algorithme supprime les masques quasi-doublons (définis par un seuil d'IoU secondaire $\eta$) en utilisant une approche de Ensemble Dominant (Dominating Set). Cela produit un ensemble de taille adaptative qui varie selon la difficulté de la requête.
6. Garanties : La méthode fournit des garanties asymptotiques selon lesquelles, avec une probabilité $\ge 1-\alpha$, l'ensemble de confiance final contient au moins un masque ayant un IoU supérieur à un seuil $\tilde{\theta}$ recalibré. Une version en échantillon fini est également fournie en utilisant la division d'échantillons (sample splitting) et le Contrôle de Risque Conforme (CRC).

Contributions Clés

1. Formulation Novatrice : L'article introduit la première formulation de prédiction conforme pour la segmentation d'instances qui capture l'incertitude structurelle. Contrairement aux méthodes précédentes qui perturbent un seul masque, cette approche construit des prédictions sous forme d'ensembles de diverses configurations de modèles.
2. Faisabilité dans des Contextes Non-Monotones : La méthode ne nécessite pas de fonction de perte monotone (une exigence pour le Contrôle de Risque Conforme standard et les cadres "Learn Then Test"). Cela permet l'utilisation de fonctions de perte basées sur l'IoU, qui sont intrinsèquement non-monotones par rapport aux paramètres de segmentation.
3. Ensembles de Confiance Adaptatifs : L'algorithme produit des ensembles de prédiction dont la taille varie selon la difficulté de la requête, supprimant les doublons pour fournir une représentation de l'incertitude plus informative sans submerger l'utilisateur.
4. Garanties Théoriques : Le travail fournit des garanties théoriques tant asymptotiques qu'en échantillon fini pour la couverture, assurant qu'au moins une prédiction dans l'ensemble atteint un IoU élevé avec la vérité terrain.

Résultats Expérimentaux
L'algorithme a été évalué sur trois tâches distinctes : la délimitation de champs agricoles, la segmentation de cellules et la détection de véhicules.

• Couverture : La méthode a atteint une couverture empirique proche de la cible $(1-\alpha)$, surpassant de manière significative les bases de référence. Par exemple, dans la détection de véhicules, la couverture est passée de 66,1 % (la base de référence du meilleur paramètre naïf) à 84,3 %.
• Comparaison avec les Bases de Référence : La base de référence du "meilleur paramètre naïf" (sélectionnant un paramètre global unique) et la base de référence de "dilatation morphologique" (étendant un seul masque) ont échoué à capturer l'ambiguïté structurelle. La méthode proposée a réussi à récupérer les cas où la base de référence avait soit sur-segmenté, soit sous-segmenté les objets.
• Adaptativité : La taille des ensembles de prédiction s'est adaptée à la difficulté de la requête. Dans les scénarios ambigus (ex: limites de champs), les ensembles se sont élargis pour inclure plusieurs masques plausibles (jusqu'à 5), tandis que dans les cas clairs (ex: cellules distinctes), les ensembles se sont réduits à une taille de un ou deux.
• Seuils : Le seuil d'IoU recalibré $\tilde{\theta}$ est resté proche ou supérieur au $\tau$ original, indiquant que la suppression des doublons n'a pas significativement dégradé la garantie de couverture.

Signification et Revendications
Les auteurs affirment que ce travail est le premier à capturer l'incertitude structurelle dans la segmentation d'instances en construisant des ensembles de confiance de diverses prédictions de segmentation. La signification réside dans le passage du paradigme d'une prédiction unique (qui peut être structurellement incorrecte) à la fourniture d'un ensemble prouvable d'hypothèses diverses. Cette approche reconnaît que dans l'imagerie ambiguë (ex: champs à faible contraste, cellules chevauchantes), un seul masque est souvent insuffisant. La méthode formalise la fiabilité des modèles de segmentation en quantifiant explicitement la probabilité que le véritable objet soit représenté dans l'ensemble.

Le papier note modestement que la prédiction conforme ne peut surmonter les limitations inhérentes du modèle de segmentation sous-jacent ; si le modèle de base ne peut atteindre un certain IoU, l'ensemble de confiance ne peut le garantir. De plus, la méthode repose sur l'existence d'un paramètre ajustable induisant une diversité significative. Les auteurs identifient comme travaux futurs le développement de stratégies d'entraînement qui encouragent explicitement la diversité des masques et la création d'approximations scalables pour les étapes d'optimisation combinatoire (couverture d'ensemble et suppression de doublons) afin de gérer des espaces de paramètres plus larges.