Understanding Model Behavior in Monocular Polyp Sizing

Résumé Technique : Comprendre le Comportement des Modèles dans la Mesure Monoculaire des Polypes

Formulation du Problème
Une stratification précise de la taille des polypes colorectaux est cruciale pour les décisions de surveillance clinique, en particulier pour distinguer les polypes diminuts (≤5 mm) de ceux nécessitant un suivi plus rapproché (>5 mm). Cependant, la coloscopie monoculaire souffre d'une ambiguïté d'échelle géométrique inhérente : selon un modèle de caméra à sténopé, le diamètre apparent ($A$) d'un polype est une fonction de son diamètre réel ($S$) et de la distance de la caméra ($Z$) ($A = fS/Z$). Sans référence métrique, un petit polype vu de près est visuellement indiscernable d'un grand polype vu de loin.

Cette ambiguïté est exacerbée par le comportement d'examen clinique. Les endoscopistes rapprochent naturellement la caméra des polypes diminuts pour confirmer leur statut, tout en observant les lésions plus larges depuis un champ de vision plus étendu. Ce comportement crée une corrélation fallacieuse entre l'échelle apparente et l'étiquette de taille dans les données d'entraînement naturalistes. Par conséquent, les modèles automatisés peuvent s'appuyer sur des « raccourcis » — des indices corrélés au comportement d'examen plutôt qu'à un raisonnement géométrique véritable — entraînant des erreurs systématiques lorsque les conditions de déploiement diffèrent des distributions d'entraînement.

Méthodologie et Configuration Expérimentale
Les auteurs présentent un audit diagnostique de la classification binaire de la taille des polypes (≤5 mm vs >5 mm) sur deux ensembles de données publics et multicentriques : Real-Colon et SUN-SEG. L'ensemble de données combiné contient 232 polypes uniques (147 ≤5 mm, 85 >5 mm) provenant de 159 patients. Pour éviter les fuites de données, les expériences utilisent une validation croisée à 5 plis stratifiée par patient.

L'étude évalue trois modalités d'entrée et familles de modèles distinctes pour isoler les contributions de l'architecture par rapport aux données :

1. Apparence : Un ResNet18 et un ViT-B opérant sur des images RVB masquées.
2. Profondeur Relative : Un CNN à trois blocs (CNN3) opérant sur des cartes de profondeur relative générées par PPSNet.
3. Photométrie/Géométrie : Un MLP à deux couches utilisant 51 caractéristiques géométriques et photométriques conçues à la main.

Pour diagnostiquer les limites des modèles actuels, les auteurs introduisent trois interventions ciblées :

• Audit des Biais Données-Modèle : Comparaison des performances à travers les modalités et les architectures pour identifier les points de convergence.
• Échelle Métrique de Référence : Application de corrections d'échelle « oracle » à différentes granularités (par image, par polype et globale) sur les cartes de profondeur relative. Cela quantifie le gain de performance théorique si une échelle métrique parfaite était disponible. Ils testent également des estimateurs de profondeur métrique hors de la boîte (MetricCol) et des facteurs de calibration globaux.
• Robustesse à la Qualité du Masque : Remplacement des boîtes englobantes de vérité terrain par des prédictions issues d'un modèle de segmentation (PolypPVT) et application de perturbations de boîtes englobantes (±20 %) pour évaluer comment les erreurs de segmentation se propagent aux tâches de mesure.

Résultats Clés

1. Plafond de Performance et Dépendance aux Raccourcis : À travers toutes les architectures et modalités d'entrée (RVB, profondeur relative, photométrie), les modèles convergent vers un plafond de performance similaire avec un score Macro-F1 d'environ 0,75. L'analyse diagnostique des caractéristiques du MLP révèle que les modèles s'appuient fortement sur la « taille apparente » (le rapport entre la surface de la boîte englobante et la surface de l'image), ce qui confond l'échelle réelle avec la distance. Cela suggère que le plateau est dû à l'absence d'informations métriques et à la dépendance aux indices comportementaux plutôt qu'à une capacité de modèle insuffisante.
2. Gains Limités des Estimateurs de Profondeur Actuels : La fourniture d'informations d'échelle oracle par image entraîne une augmentation significative des performances (+16,1 points de pourcentage, passant de 0,725 à 0,886), indiquant qu'un potentiel important existe si l'ambiguïté d'échelle est résolue. Cependant, les estimateurs de profondeur métrique actuels (MetricCol) et les méthodes de calibration globale échouent à récupérer ce gain dans les données cliniques, montrant une amélioration négligeable par rapport aux bases de profondeur relative. Le gain oracle est concentré dans les images « incohérentes avec les raccourcis » où la taille apparente contredit la taille physique réelle, confirmant que l'ambiguïté d'échelle est le mode de défaillance principal dans ces cas.
3. La Segmentation comme Goulot d'Étranglement Indépendant : La qualité de la segmentation agit comme un goulot d'étranglement critique et indépendant. Lorsque les masques de vérité terrain sont remplacés par des prédictions d'un modèle de segmentation entraîné sur des données différentes, la performance du modèle de mesure basé sur la profondeur chute de 15,3 points de pourcentage (de 0,725 à 0,572). Même avec une échelle oracle par image, l'utilisation de masques prédits ne permet de récupérer la performance qu'au niveau de la base non mise à l'échelle (0,736). Cela démontre que les benchmarks de segmentation dans le domaine ne prédisent pas la robustesse de la mesure en aval sous un décalage de distribution.
4. Limites de la Photométrie : Les tentatives d'utilisation d'indices photométriques (luminosité de l'arrière-plan) comme proxy de la distance ont échoué, ne récupérant que 17 % du potentiel théorique lié à l'échelle oracle. Cela est attribué au contrôle automatique de l'exposition dans les endoscopes cliniques, qui ajuste le gain du capteur pour maintenir une luminosité stable, brisant ainsi la relation de la loi de l'inverse du carré entre la luminosité et la distance.

Signification et Contributions
L'article soutient que les progrès dans la mesure monoculaire des polypes sont actuellement limités par trois facteurs indépendants : l'absence d'échelle métrique précise par image, la fragilité des masques de segmentation sous un décalage de domaine, et la rareté d'ensembles de données à grande échelle et multicentriques avec des annotations de taille fiables.

Les auteurs affirment que leur travail fournit un cadre diagnostique pour les recherches futures, offrant des outils d'évaluation réutilisables tels que :

• Échelles Métriques de Référence : Pour quantifier la limite supérieure théorique de performance avec une information d'échelle parfaite.
• Partitions des Raccourcis : Pour isoler et analyser les cas où le comportement d'examen crée des indices trompeurs.
• Substitution de Masques : Pour auditer la robustesse des pipelines de mesure aux erreurs de segmentation.

L'étude conclut que si les modèles actuels fonctionnent de manière adéquate lorsque la taille apparente correspond à la taille réelle, ils se dégradent considérablement lorsque le comportement clinique crée des contradictions. Les avancées futures dépendront probablement de références d'échelle ancrées cliniquement (par exemple, des ancres basées sur l'instrument), d'une robustesse améliorée de la segmentation et d'une plus grande diversité des données, plutôt que simplement de l'augmentation de la capacité des modèles. Le code et les outils sont rendus publics pour faciliter l'audit ultérieur des pipelines de mesure des polypes.