💻 computer science

Image Thresholding: Understanding Bias of Evaluation Metrics towards Specific Evaluation Functions

Diese Arbeit deckt eine inhärente Verzerrung bei der Evaluierung der Bildsegmentierung auf und zeigt, dass die Otsu'sche Zielfunktion der Varianz zwischen den Klassen konsistent stärker mit Standardqualitätsmetriken wie SSIM und PSNR korreliert als Kapurs Entropie, wodurch die Annahme der Metrikneutralität in Frage gestellt wird.

Ursprüngliche Autoren: Eslam Hegazy, Mohamed Gabr

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Eslam Hegazy, Mohamed Gabr

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen Kuchen in perfekte Stücke zu schneiden. In der Welt der Computer Vision ist dieser „Kuchen" ein Bild, und das „Schneiden" bedeutet, verschiedene Teile des Bildes zu trennen (wie den Himmel vom Boden oder einen Tumor von gesundem Gewebe). Dieser Prozess wird als Bildschwellwertbestimmung (Image Thresholding) bezeichnet.

Um dies zu tun, benötigen Computer ein Regelwerk, oder eine Zielfunktion (Objective Function), die ihnen sagt, wo sie schneiden sollen. Zwei der bekanntesten Regelwerke sind:

Otsus Methode: Dieses Regelwerk sagt: „Schneide den Kuchen dort, wo der Unterschied zwischen hellen und dunklen Teilen am größten ist." Es ist, als würde man versuchen, den Kontrast zwischen Glasur und Biskuit zu maximieren.
Kapurs Methode: Dieses Regelwerk sagt: „Schneide den Kuchen dort, wo der Informationsgehalt am ausgewogensten ist." Es ist eine komplexere Regel, die darauf basiert, wie viel „Überraschung" oder Vielfalt in jedem Stück enthalten ist.

Sobald der Computer einen Schnitt macht, müssen wir prüfen, ob er eine gute Arbeit geleistet hat. Um dies zu tun, verwenden wir Bewertungsmetriken (Evaluation Metrics), die wie Richter sind, die den Schnitt bewerten. Die beiden beliebtesten Richter in diesem Bereich sind:

SSIM (Structural Similarity Index): Ein Richter, der betrachtet, wie ähnlich die Formen und Strukturen des geschnittenen Bildes dem Original sind.
PSNR (Peak Signal-to-Noise Ratio): Ein Richter, der misst, wie viel „Rauschen" oder Fehler während des Schnitts eingeführt wurde.

Das große Problem: Der Richter ist voreingenommen

Die Autoren dieses Papers, Eslam Hegazy und Mohamed Gabr, bemerkten etwas Verdächtiges. In fast jeder Studie, die diese Methoden vergleicht, scheint Otsus Methode zu gewinnen, wenn sie von SSIM und PSNR bewertet wird. Forscher gingen davon aus, dass dies bedeutete, Otsu sei einfach ein besseres Regelwerk.

Aber die Autoren stellten eine andere Frage: „Was ist, wenn die Richter (SSIM und PSNR) heimlich zugunsten von Otsus Regelwerk voreingenommen sind?"

Stellen Sie es sich wie einen Kochwettbewerb vor.

Otsu ist ein Koch, der sich auf Gerichte mit hohem Kontrast spezialisiert hat (sehr salzig, sehr süß).
Kapur ist ein Koch, der ausgewogene, komplexe Gerichte zubereitet.
SSIM und PSNR sind die Richter.

Die Autoren vermuteten, dass SSIM und PSNR tatsächlich „geschmacksvoreingenommene" Richter sind. Sie sind so programmiert, dass sie Gerichte mit hohem Kontrast lieben. Also, selbst wenn Kapur ein perfekt ausgewogenes Gericht zubereitet, könnten die Richter ihm eine niedrigere Punktzahl geben, einfach weil es nicht nach dem schmeckt, was sie bevorzugen.

Wie sie es testeten

Um dies zu beweisen, verwendeten sie keine ausgefeilte KI, um den besten Schnitt zu finden. Stattdessen machten sie etwas sehr Gründliches: Sie probierten jeden einzelnen möglichen Schnitt an 500 verschiedenen natürlichen Bildern aus (aus einem Datensatz namens BSDS500).

Für jeden einzelnen Schnitt berechneten sie:

Wie gut der Schnitt gemäß Otsus Regel war.
Wie gut der Schnitt gemäß Kapurs Regel war.
Wie die Richter (SSIM und PSNR) diesen Schnitt bewerteten.

Dann untersuchten sie die Beziehung (Korrelation) zwischen den Regelwerken und den Richtern.

Die Ergebnisse: Die Voreingenommenheit ist real

Die Erkenntnisse waren klar und auffällig:

Otsu und die Richter sind beste Freunde: Wenn Otsus Regelwerk sagte, ein Schnitt sei „gut", stimmten die Richter (SSIM und PSNR) fast immer zu. Tatsächlich bewegten sich Otsus Punktzahlen bei 100 % der Bilder in perfektem Takt mit den PSNR-Punktzahlen. Bei 91 % der Bilder bewegten sie sich im Takt mit SSIM.
- Analogie: Es ist, als würden Otsu und die Richter dieselbe Sprache sprechen. Wenn Otsu die Hand hebt, heben die Richter sofort ihre.
Kapur und die Richter sind Fremde: Kapurs Regelwerk hatte eine viel schwächere Verbindung zu den Richtern. Manchmal stimmten sie überein, manchmal nicht. Die Beziehung war chaotisch und unvorhersehbar.
- Analogie: Kapur versucht, einen anderen Dialekt zu sprechen. Die Richter verstehen ihn manchmal, aber oft zucken sie nur mit den Schultern und geben eine mittelmäßige Punktzahl, selbst wenn der Schnitt eigentlich gut war.

Was dies bedeutet

Das Paper kommt zu dem Schluss, dass der Grund, warum Otsu-basierte Methoden in Forschungsarbeiten oft „gewinnen", nicht unbedingt darin liegt, dass sie besser darin sind, den Kuchen zu schneiden. Es liegt daran, dass das Bewertungssystem (SSIM und PSNR) so manipuliert ist, dass es Otsu begünstigt.

Wenn ein Forscher einen neuen, superintelligenten KI-Algorithmus erfindet, um Kapur zu helfen, die besten Schnitte zu finden, aber immer noch SSIM und PSNR verwendet, um ihn zu bewerten, könnte der neue Algorithmus wie ein Misserfolg aussehen. Warum? Weil die Richter gegen Kapurs Stil voreingenommen sind, unabhängig davon, wie gut die KI ist.

Das Fazit

Die Autoren warnen die wissenschaftliche Gemeinschaft: Vertrauen Sie den Richtern nicht blind.

Wenn Sie verschiedene Methoden zum Schneiden von Bildern fair vergleichen wollen, können Sie nicht einfach SSIM und PSNR verwenden. Sie müssen erkennen, dass diese Werkzeuge inhärent eine bestimmte Methode (Otsu) gegenüber anderen bevorzugen. Um ein wahres Bild davon zu bekommen, wer der beste „Koch" ist, benötigen Sie möglicherweise neue Richter, die keinen Lieblingsgeschmack haben.

Technisches Fazit: Bildschwellwertbestimmung und Verzerrung durch Evaluationsmetriken

Problemstellung
Die mehrstufige Bildschwellwertbestimmung ist eine grundlegende Technik in der Bildsegmentierung, die in Bereichen von der medizinischen Bildgebung bis zur Fernerkundung weit verbreitet ist. Aufgrund der kombinatorischen Explosion möglicher Schwellwertkombinationen setzen Forscher typischerweise metaheuristische Optimierungsalgorithmen (z. B. genetische Algorithmen, Partikelschwarmoptimierung) ein, um optimale Schwellwerte zu approximieren. Diese Algorithmen optimieren vordefinierte Zielfunktionen, wobei am prominentesten die Varianz zwischen den Klassen nach Otsu und die Entropie nach Kapur sind.

Eine kritische, jedoch oft implizite Annahme in vergleichenden Studien in diesem Bereich ist, dass Referenzmetriken zur Bildqualität – insbesondere der Structural Similarity Index (SSIM) und das Peak Signal-to-Noise Ratio (PSNR) – eine objektive und neutrale Basis für die Bewertung der Segmentierungsqualität bieten. Empirische Beobachtungen deuten jedoch darauf hin, dass Methoden, die auf dem Kriterium von Otsu basieren, bei der Bewertung mittels SSIM und PSNR häufig besser abschneiden als solche, die auf der Entropie nach Kapur basieren. Diese Studie untersucht, ob diese Leistungsunterschiede auf echte Verbesserungen der Segmentierung zurückzuführen sind oder auf eine inhärente Verzerrung, bei der Evaluationsmetriken systematisch bestimmte Zielfunktionen begünstigen.

Methodik
Um die Effekte von Optimierungsalgorithmen von den inhärenten Eigenschaften der Zielfunktionen und Evaluationsmetriken zu entkoppeln, führten die Autoren eine systematische Korrelationsanalyse auf dem BSDS500-Datensatz durch, der 500 natürliche Bilder umfasst.

Umfang der Analyse: Anstatt sich auf die Ausgabe spezifischer Optimierungsalgorithmen zu verlassen, bewertete die Studie alle möglichen einzelnen Schwellwerte ( $0 < T \le L-1$ ) für jedes Bild.
Metriken und Funktionen: Für jeden möglichen Schwellwert berechneten die Autoren:
- Zielfunktionen: Die Varianz zwischen den Klassen nach Otsu und die Entropie nach Kapur.
- Qualitätsmetriken: SSIM und PSNR (berechnet gegenüber dem Originalbild).
Korrelationsanalyse: Die Studie berechnete den Pearson-Korrelationskoeffizienten zwischen den Werten der Zielfunktionen und den Qualitätsmetriken über den gesamten Schwellwertraum für jedes Bild.
Aggregation: Die Analyse aggregierte diese Korrelationskoeffizienten über alle 500 Bilder hinweg, um globale Trends und statistische Verteilungen zu identifizieren.

Hauptergebnisse
Die Analyse zeigt eine starke, systematische Übereinstimmung zwischen dem Kriterium von Otsu und den gängigen Qualitätsmetriken, die sich deutlich von der schwächeren Übereinstimmung der Entropie nach Kapur unterscheidet.

Stärke der Korrelation: Die Funktion von Otsu weist eine konsistent hohe positive Korrelation sowohl mit SSIM als auch mit PSNR auf. Im Gegensatz dazu zeigt die Entropie nach Kapur deutlich schwächere und variablere Korrelationen.
Quantitative Befunde (BSDS500):
- Mittlere Korrelation (Otsu vs. Metriken): Otsu erreichte eine mittlere Korrelation von $0,8959$ mit SSIM und $0,9871$ mit PSNR.
- Mittlere Korrelation (Kapur vs. Metriken): Kapur erreichte eine mittlere Korrelation von $0,6743$ mit SSIM und $0,6817$ mit PSNR.
- Bildweise Dominanz: Für die PSNR-Metrik zeigte Otsu in 100 % der 500 getesteten Bilder eine höhere Korrelation als Kapur. Für die SSIM-Metrik zeigte Otsu in 91,4 % der Bilder eine höhere Korrelation.
Visuelle Evidenz: Repräsentative Diagramme zeigen, dass für viele Bilder die Kurven der Otsu-Werte und der Qualitätsmetriken (SSIM/PSNR) nahezu identische Verläufe aufweisen, während die Kurven von Kapur oft divergieren oder niedrige Korrelationskoeffizienten aufweisen (z. B. 0,14 in einem einzelnen Beispielfall).

Bedeutung und Beiträge
Die Arbeit argumentiert, dass die in der Literatur beobachtete Überlegenheit von Otsu-basierten Methoden nicht allein auf die Effektivität des Optimierungsalgorithmus oder die intrinsische Qualität der Segmentierung zurückzuführen ist, sondern teilweise ein Artefakt der Verzerrung durch Metrik-Zielfunktion darstellt.

Neubewertung vergleichender Studien: Die Ergebnisse legen nahe, dass, wenn ein Optimierungsalgorithmus auf eine Zielfunktion angewendet wird, die bereits von der Evaluationsmetrik begünstigt wird (z. B. Optimierung von Otsu und Bewertung mit PSNR), die Methode naturgemäß als überlegen erscheint. Umgekehrt kann die Optimierung einer benachteiligten Funktion (z. B. Kapur) zu Unrecht als unterlegen wahrgenommen werden, unabhängig von der Leistung des Optimierers.
Methodische Vorsicht: Die Autoren heben hervor, dass die reliance auf SSIM und PSNR als neutrale Benchmarks zu irreführenden Schlussfolgerungen in der Forschung zur mehrstufigen Schwellwertbestimmung führen kann. Die Dominanz von Otsu in der bestehenden Literatur könnte ein Spiegelbild dieser Übereinstimmung sein und nicht eine universelle Wahrheit über die Segmentierungsqualität.
Zukünftige Richtungen: Die Studie motiviert die Notwendigkeit neutralerer Evaluierungsrahmen. Sie schlägt vor, diese Analyse auf die echte mehrstufige Schwellwertbestimmung (jenseits der zweistufigen) auszudehnen, zusätzliche Metriken wie den Feature Similarity Index (FSIM) einzubeziehen, andere Zielfunktionen zu testen (z. B. Minimum Error Thresholding, Masi-Entropie) und diese Verzerrungen über verschiedene Domänen hinweg zu validieren, wie z. B. medizinische und Infrarotbildgebung.

Zusammenfassend liefert diese Arbeit empirische Belege dafür, dass SSIM und PSNR keine unverzerrten Indikatoren über verschiedene Schwellwertstrategien hinweg sind. Sie fordert eine transparentere Interpretation von Leistungssteigerungen in der Literatur, wobei anzuerkennen ist, dass berichtete Verbesserungen aus der Ausrichtung auf Metriken und nicht aus echten algorithmischen Fortschritten stammen können.