💻 computer science

Image Thresholding: Understanding Bias of Evaluation Metrics towards Specific Evaluation Functions

Ce papier révèle un biais inhérent à l'évaluation de la segmentation d'images, démontrant que la fonction objectif de la variance inter-classe d'Otsu présente une corrélation plus forte avec des métriques de qualité standard telles que le SSIM et le PSNR que l'entropie de Kapur, remettant ainsi en cause l'hypothèse de neutralité des métriques.

Auteurs originaux : Eslam Hegazy, Mohamed Gabr

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eslam Hegazy, Mohamed Gabr

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de découper un gâteau en parts parfaites. Dans le monde de la vision par ordinateur, ce « gâteau » est une image, et le « découper » signifie séparer différentes parties de l'image (comme le ciel du sol, ou une tumeur du tissu sain). Ce processus s'appelle le seuillage d'image.

Pour ce faire, les ordinateurs ont besoin d'un manuel de règles, ou d'une fonction objective, pour leur indiquer où couper. Deux des manuels les plus célèbres sont :

La méthode d'Otsu : Ce manuel dit : « Coupez le gâteau là où la différence entre les parties claires et sombres est la plus grande. » C'est comme essayer de maximiser le contraste entre le glaçage et la génoise.
La méthode de Kapur : Ce manuel dit : « Coupez le gâteau là où le contenu informationnel est le plus équilibré. » C'est une règle plus complexe basée sur la quantité de « surprise » ou de variété présente dans chaque part.

Une fois que l'ordinateur a fait une coupe, nous devons vérifier s'il a bien travaillé. Pour ce faire, nous utilisons des métriques d'évaluation, qui agissent comme des juges notant la coupe. Les deux juges les plus populaires dans ce domaine sont :

SSIM (Indice de similarité structurelle) : Un juge qui examine à quel point les formes et les structures de l'image coupée sont similaires à l'originale.
PSNR (Rapport signal-à-bruit de crête) : Un juge qui mesure la quantité de « bruit » ou d'erreur introduite lors de la coupe.

Le Grand Problème : Le Juge est Biaisé

Les auteurs de cet article, Eslam Hegazy et Mohamed Gabr, ont remarqué quelque chose de suspect. Dans presque toutes les études comparant ces méthodes, la méthode d'Otsu semble l'emporter lorsqu'elle est notée par le SSIM et le PSNR. Les chercheurs ont supposé que cela signifiait que la méthode d'Otsu était simplement un meilleur manuel de règles.

Mais les auteurs ont posé une question différente : « Et si les juges (SSIM et PSNR) étaient secrètement biaisés en faveur du manuel de règles d'Otsu ? »

Imaginez une compétition de cuisine.

Otsu est un chef spécialisé dans la préparation de plats à fort contraste (très salés, très sucrés).
Kapur est un chef qui prépare des plats équilibrés et complexes.
SSIM et PSNR sont les juges.

Les auteurs soupçonnaient que le SSIM et le PSNR étaient en réalité des juges « biaisés par la saveur ». Ils sont programmés pour aimer les plats à fort contraste. Ainsi, même si Kapur prépare un plat parfaitement équilibré, les juges pourraient lui attribuer une note inférieure simplement parce qu'il ne ressemble pas à ce qu'ils préfèrent.

Comment Ils L'Ont Testé

Pour le prouver, ils n'ont pas utilisé une intelligence artificielle sophistiquée pour trouver la meilleure coupe. Au lieu de cela, ils ont fait quelque chose de très minutieux : ils ont essayé chaque coupe possible sur 500 images naturelles différentes (issues d'un ensemble de données appelé BSDS500).

Pour chaque coupe, ils ont calculé :

La qualité de la coupe selon le manuel d'Otsu.
La qualité de la coupe selon le manuel de Kapur.
La note attribuée à cette coupe par les juges (SSIM et PSNR).

Ensuite, ils ont examiné la relation (corrélation) entre les manuels de règles et les juges.

Les Résultats : Le Biais est Réel

Les conclusions étaient claires et frappantes :

Otsu et les Juges sont les Meilleurs Amis : Lorsque le manuel d'Otsu déclarait qu'une coupe était « bonne », les juges (SSIM et PSNR) étaient presque toujours d'accord. En fait, pour 100 % des images, les scores d'Otsu évoluaient en parfaite synchronisation avec les scores PSNR. Pour 91 % des images, ils évoluaient en synchronisation avec le SSIM.
- Analogie : C'est comme si Otsu et les juges parlaient la même langue. Lorsque Otsu lève la main, les juges lèvent la leur immédiatement.
Kapur et les Juges sont des Inconnus : Le manuel de Kapur avait un lien beaucoup plus faible avec les juges. Parfois, ils étaient d'accord, parfois non. La relation était désordonnée et imprévisible.
- Analogie : Kapur essaie de parler un dialecte différent. Les juges le comprennent parfois, mais souvent, ils haussent les épaules et lui attribuent une note médiocre, même si la coupe était en réalité bonne.

Ce Que Cela Signifie

L'article conclut que la raison pour laquelle les méthodes basées sur Otsu gagnent souvent dans les articles de recherche n'est pas nécessairement qu'elles sont meilleures pour découper le gâteau. C'est parce que le système de notation (SSIM et PSNR) est truqué pour favoriser Otsu.

Si un chercheur invente un nouvel algorithme d'intelligence artificielle ultra-intelligent pour aider Kapur à trouver les meilleures coupes, mais qu'il utilise toujours le SSIM et le PSNR pour le noter, le nouvel algorithme pourrait sembler être un échec. Pourquoi ? Parce que les juges sont biaisés contre le style de Kapur, indépendamment de la qualité de l'IA.

L'Essentiel

Les auteurs mettent en garde la communauté scientifique : Ne faites pas confiance aux juges aveuglément.

Si vous voulez comparer équitablement différentes méthodes de découpe d'images, vous ne pouvez pas vous contenter d'utiliser le SSIM et le PSNR. Vous devez réaliser que ces outils préfèrent intrinsèquement une méthode spécifique (Otsu) aux autres. Pour obtenir une image fidèle de qui est le meilleur « chef », vous pourriez avoir besoin de nouveaux juges qui n'ont pas de saveur préférée.

Résumé Technique : Seuilage d'Image et Biais des Métriques d'Évaluation

Énoncé du Problème
Le seuillage multiniveau d'images est une technique fondamentale en segmentation d'images, largement appliquée dans des domaines allant de l'imagerie médicale à la télédétection. En raison de l'explosion combinatoire des combinaisons de seuils possibles, les chercheurs emploient généralement des algorithmes d'optimisation métaheuristiques (par exemple, algorithmes génétiques, optimisation par essaim particulaire) pour approximer des seuils optimaux. Ces algorithmes optimisent des fonctions objectif prédéfinies, notamment la variance inter-classe de Otsu et l'entropie de Kapur.

Une hypothèse critique, pourtant souvent implicite, dans les études comparatives de ce domaine est que les métriques de qualité d'image à référence complète — spécifiquement l'Indice de Similarité Structurelle (SSIM) et le Rapport Signal sur Bruit de Crête (PSNR) — fournissent une base objective et neutre pour évaluer la qualité de la segmentation. Cependant, des observations empiriques suggèrent que les méthodes basées sur le critère de Otsu surpassent fréquemment celles basées sur l'entropie de Kapur lorsqu'elles sont évaluées via le SSIM et le PSNR. Cette étude examine si ces disparités de performance découlent de véritables améliorations de la segmentation ou d'un biais inhérent où les métriques d'évaluation favorisent systématiquement certaines fonctions objectif.

Méthodologie
Pour découpler les effets des algorithmes d'optimisation des propriétés inhérentes des fonctions objectif et des métriques d'évaluation, les auteurs ont mené une analyse de corrélation systématique sur le jeu de données BSDS500, composé de 500 images naturelles.

Portée de l'Analyse : Au lieu de se fier à la sortie d'algorithmes d'optimisation spécifiques, l'étude a évalué tous les seuils possibles ( $0 < T \le L-1$ ) pour chaque image.
Métriques et Fonctions : Pour chaque seuil possible, les auteurs ont calculé :
- Fonctions Objectif : La variance inter-classe de Otsu et l'entropie de Kapur.
- Métriques de Qualité : Le SSIM et le PSNR (calculés par rapport à l'image originale).
Analyse de Corrélation : L'étude a calculé le coefficient de corrélation de Pearson entre les valeurs des fonctions objectif et les métriques de qualité à travers tout l'espace des seuils pour chaque image.
Agrégation : L'analyse a agrégé ces coefficients de corrélation sur l'ensemble des 500 images pour identifier des tendances globales et des distributions statistiques.

Résultats Clés
L'analyse révèle un alignement fort et systématique entre le critère de Otsu et les métriques de qualité standard, contrastant nettement avec l'alignement plus faible de l'entropie de Kapur.

Force de la Corrélation : La fonction de Otsu présente une corrélation positive constamment élevée avec le SSIM et le PSNR. En revanche, l'entropie de Kapur démontre des corrélations significativement plus faibles et plus variables.
Résultats Quantitatifs (BSDS500) :
- Corrélation Moyenne (Otsu vs. Métriques) : Otsu a atteint une corrélation moyenne de $0,8959$ avec le SSIM et de $0,9871$ avec le PSNR.
- Corrélation Moyenne (Kapur vs. Métriques) : Kapur a atteint une corrélation moyenne de $0,6743$ avec le SSIM et de $0,6817$ avec le PSNR.
- Dominance par Image : Pour la métrique PSNR, Otsu a montré une corrélation plus élevée que Kapur dans 100 % des 500 images testées. Pour la métrique SSIM, Otsu a montré une corrélation plus élevée dans 91,4 % des images.
Preuve Visuelle : Des graphiques représentatifs montrent que pour de nombreuses images, les courbes des valeurs de Otsu et des métriques de qualité (SSIM/PSNR) suivent des trajectoires presque identiques, tandis que les courbes de Kapur divergent souvent ou présentent des coefficients de corrélation faibles (par exemple, 0,14 dans un cas d'échantillon).

Signification et Contributions
L'article soutient que la supériorité observée des méthodes basées sur Otsu dans la littérature ne découle pas uniquement de l'efficacité de l'algorithme d'optimisation ou de la qualité intrinsèque de la segmentation, mais est partiellement un artefact du biais métrique-fonction objectif.

Réévaluation des Études Comparatives : Les résultats suggèrent que lorsqu'un algorithme d'optimisation est appliqué à une fonction objectif déjà favorisée par la métrique d'évaluation (par exemple, optimiser Otsu et évaluer avec le PSNR), la méthode apparaîtra naturellement supérieure. À l'inverse, l'optimisation d'une fonction défavorisée (par exemple, Kapur) peut être injustement perçue comme inférieure, indépendamment des performances de l'optimiseur.
Prudence Méthodologique : Les auteurs soulignent que s'en remettre au SSIM et au PSNR comme références neutres peut conduire à des conclusions trompeuses dans la recherche sur le seuillage multiniveau. La domination de Otsu dans la littérature existante peut être le reflet de cet alignement plutôt qu'une vérité universelle concernant la qualité de la segmentation.
Perspectives Futures : L'étude motive la nécessité de cadres d'évaluation plus neutres. Elle suggère d'étendre cette analyse au seuillage multiniveau véritable (au-delà du binaire), d'intégrer des métriques supplémentaires comme l'Indice de Similarité des Caractéristiques (FSIM), de tester d'autres fonctions objectif (par exemple, Seuilage à Erreur Minimale, Entropie de Masi), et de valider ces biais à travers différents domaines tels que l'imagerie médicale et infrarouge.

En conclusion, ce travail fournit des preuves empiriques que le SSIM et le PSNR ne sont pas des indicateurs non biaisés à travers différentes stratégies de seuillage. Il appelle à une interprétation plus transparente des gains de performance dans la littérature, reconnaissant que les améliorations signalées peuvent découler d'un alignement métrique plutôt que d'une avancée algorithmique véritable.