💻 computer science

Image Thresholding: Understanding Bias of Evaluation Metrics towards Specific Evaluation Functions

Este artículo revela un sesgo inherente en la evaluación de la segmentación de imágenes, demostrando que la función objetivo de la varianza interclase de Otsu se correlaciona consistentemente de manera más fuerte con métricas de calidad estándar como SSIM y PSNR que con la entropía de Kapur, desafiando así la suposición de neutralidad métrica.

Autores originales: Eslam Hegazy, Mohamed Gabr

Publicado 2026-05-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Eslam Hegazy, Mohamed Gabr

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando cortar un pastel en rebanadas perfectas. En el mundo de la visión por computadora, este "pastel" es una imagen, y "cortarlo" significa separar diferentes partes de la imagen (como el cielo del suelo, o un tumor del tejido sano). Este proceso se llama umbralización de imágenes.

Para hacer esto, las computadoras necesitan un reglamento, o una Función Objetivo, que les indique dónde cortar. Dos de los reglamentos más famosos son:

Método de Otsu: Este reglamento dice: "Corta el pastel donde la diferencia entre las partes claras y oscuras sea la mayor". Es como intentar maximizar el contraste entre el glaseado y la esponja.
Método de Kapur: Este reglamento dice: "Corta el pastel donde el contenido de información esté más equilibrado". Es una regla más compleja basada en la cantidad de "sorpresa" o variedad que hay en cada rebanada.

Una vez que la computadora hace un corte, necesitamos verificar si lo hizo bien. Para ello, utilizamos Métricas de Evaluación, que son como jueces calificando el corte. Los dos jueces más populares en este campo son:

SSIM (Índice de Similitud Estructural): Un juez que observa qué tan similares son las formas y estructuras de la imagen cortada con respecto a la original.
PSNR (Relación Pico Señal-Ruido): Un juez que mide cuánta "estática" o error se introdujo durante el corte.

El Gran Problema: El Juez está Sesgado

Los autores de este artículo, Eslam Hegazy y Mohamed Gabr, notaron algo sospechoso. En casi todos los estudios que comparan estos métodos, el Método de Otsu parece ganar cuando se califica con SSIM y PSNR. Los investigadores asumieron que esto significaba que Otsu era simplemente un reglamento mejor.

Pero los autores se hicieron una pregunta diferente: "¿Y si los jueces (SSIM y PSNR) están secretamente sesgados hacia el reglamento de Otsu?"

Piénsalo como un concurso de cocina.

Otsu es un chef que se especializa en preparar platos de alto contraste (muy salados, muy dulces).
Kapur es un chef que prepara platos equilibrados y complejos.
SSIM y PSNR son los jueces.

Los autores sospecharon que SSIM y PSNR son en realidad jueces "sesgados por el sabor". Están programados para amar los platos de alto contraste. Así que, incluso si Kapur prepara un plato perfectamente equilibrado, los jueces podrían darle una calificación más baja simplemente porque no sabe como lo que ellos prefieren.

Cómo lo Probaron

Para demostrarlo, no utilizaron una IA sofisticada para encontrar el mejor corte. En su lugar, hicieron algo muy exhaustivo: probaron cada corte posible en 500 imágenes naturales diferentes (de un conjunto de datos llamado BSDS500).

Para cada corte individual, calcularon:

Qué tan bueno era el corte según el reglamento de Otsu.
Qué tan bueno era el corte según el reglamento de Kapur.
Cómo calificaron los jueces (SSIM y PSNR) ese corte.

Luego, examinaron la relación (correlación) entre los reglamentos y los jueces.

Los Resultados: El Sesgo es Real

Los hallazgos fueron claros y sorprendentes:

Otsu y los Jueces son Mejores Amigos: Cuando el reglamento de Otsu decía que un corte era "bueno", los jueces (SSIM y PSNR) casi siempre estaban de acuerdo. De hecho, para el 100% de las imágenes, las puntuaciones de Otsu se movieron en perfecta sincronía con las puntuaciones de PSNR. Para el 91% de las imágenes, se movieron en sincronía con SSIM.
- Analogía: Es como si Otsu y los jueces hablaran el mismo idioma. Cuando Otsu levanta la mano, los jueces levantan la suya inmediatamente.
Kapur y los Jueces son Extraños: El reglamento de Kapur tenía una conexión mucho más débil con los jueces. A veces estaban de acuerdo, a veces no. La relación era desordenada e impredecible.
- Analogía: Kapur está intentando hablar un dialecto diferente. Los jueces lo entienden a veces, pero a menudo simplemente encogen los hombros y le dan una calificación mediocre, incluso si el corte era realmente bueno.

Qué Significa Esto

El artículo concluye que la razón por la que los métodos basados en Otsu a menudo "ganan" en los artículos de investigación no es necesariamente porque sean mejores cortando el pastel. Es porque el sistema de puntuación (SSIM y PSNR) está amañado para favorecer a Otsu.

Si un investigador inventa un nuevo algoritmo de IA súper inteligente para ayudar a Kapur a encontrar los mejores cortes, pero aún utiliza SSIM y PSNR para calificarlo, el nuevo algoritmo podría parecer un fracaso. ¿Por qué? Porque los jueces están sesgados contra el estilo de Kapur, independientemente de lo buena que sea la IA.

La Conclusión

Los autores están advirtiendo a la comunidad científica: No confíen ciegamente en los jueces.

Si quieres comparar de manera justa diferentes formas de cortar imágenes, no puedes usar solo SSIM y PSNR. Debes darte cuenta de que estas herramientas prefieren inherentemente un método específico (Otsu) sobre otros. Para obtener una imagen real de quién es el mejor "chef", podrías necesitar nuevos jueces que no tengan un sabor favorito.

Resumen Técnico: Umbralización de Imágenes y Sesgo en las Métricas de Evaluación

Enunciado del Problema
La umbralización multinivel de imágenes es una técnica fundamental en la segmentación de imágenes, ampliamente aplicada en campos que van desde la imagen médica hasta la teledetección. Debido a la explosión combinatoria de las posibles combinaciones de umbrales, los investigadores suelen emplear algoritmos de optimización metaheurística (por ejemplo, algoritmos genéticos, optimización por enjambre de partículas) para aproximar umbrales óptimos. Estos algoritmos optimizan funciones objetivo predefinidas, siendo las más notables la varianza interclase de Otsu y la entropía de Kapur.

Una suposición crítica, aunque a menudo implícita, en los estudios comparativos dentro de este dominio es que las métricas de calidad de imagen de referencia completa —específicamente el Índice de Similitud Estructural (SSIM) y la Relación Pico Señal-Ruido (PSNR)— proporcionan una base objetiva y neutral para evaluar la calidad de la segmentación. Sin embargo, las observaciones empíricas sugieren que los métodos basados en el criterio de Otsu superan frecuentemente a los basados en la entropía de Kapur cuando se evalúan mediante SSIM y PSNR. Este estudio investiga si estas disparidades en el rendimiento se deben a mejoras genuinas en la segmentación o a un sesgo inherente donde las métricas de evaluación favorecen sistemáticamente funciones objetivo específicas.

Metodología
Para desacoplar los efectos de los algoritmos de optimización de las propiedades inherentes de las funciones objetivo y las métricas de evaluación, los autores realizaron un análisis de correlación sistemático en el conjunto de datos BSDS500, compuesto por 500 imágenes naturales.

Alcance del Análisis: En lugar de depender de la salida de algoritmos de optimización específicos, el estudio evaluó todos los posibles umbrales individuales ( $0 < T \le L-1$ ) para cada imagen.
Métricas y Funciones: Para cada umbral posible, los autores calcularon:
- Funciones Objetivo: La varianza interclase de Otsu y la entropía de Kapur.
- Métricas de Calidad: SSIM y PSNR (calculadas en comparación con la imagen original).
Análisis de Correlación: El estudio calculó el coeficiente de correlación de Pearson entre los valores de las funciones objetivo y las métricas de calidad a través de todo el espacio de umbrales para cada imagen.
Agregación: El análisis aggregó estos coeficientes de correlación a través de las 500 imágenes para identificar tendencias globales y distribuciones estadísticas.

Resultados Clave
El análisis revela una alineación fuerte y sistemática entre el criterio de Otsu y las métricas de calidad estándar, contrastando agudamente con la alineación más débil de la entropía de Kapur.

Fuerza de la Correlación: La función de Otsu exhibe consistentemente una correlación positiva alta tanto con SSIM como con PSNR. Por el contrario, la entropía de Kapur demuestra correlaciones significativamente más débiles y variables.
Hallazgos Cuantitativos (BSDS500):
- Correlación Media (Otsu vs. Métricas): Otsu logró una correlación media de $0.8959$ con SSIM y $0.9871$ con PSNR.
- Correlación Media (Kapur vs. Métricas): Kapur logró una correlación media de $0.6743$ con SSIM y $0.6817$ con PSNR.
- Dominio por Imagen: Para la métrica PSNR, Otsu mostró una correlación mayor que Kapur en el 100% de las 500 imágenes probadas. Para la métrica SSIM, Otsu mostró una correlación mayor en el 91.4% de las imágenes.
Evidencia Visual: Gráficos representativos muestran que, para muchas imágenes, las curvas de los valores de Otsu y las métricas de calidad (SSIM/PSNR) siguen trayectorias casi idénticas, mientras que las curvas de Kapur a menudo divergen o exhiben coeficientes de correlación bajos (por ejemplo, 0.14 en un caso de muestra).

Significado y Contribuciones
El artículo argumenta que la superioridad observada de los métodos basados en Otsu en la literatura no se debe únicamente a la efectividad del algoritmo de optimización o a la calidad intrínseca de la segmentación, sino que es parcialmente un artefacto del sesgo entre métrica y función objetivo.

Reevaluación de Estudios Comparativos: Los hallazgos sugieren que, cuando un algoritmo de optimización se aplica a una función objetivo que ya está favorecida por la métrica de evaluación (por ejemplo, optimizar Otsu y evaluar con PSNR), el método parecerá naturalmente superior. Por el contrario, optimizar una función desfavorecida (por ejemplo, Kapur) puede ser percibido injustamente como inferior, independientemente del rendimiento del optimizador.
Precaución Metodológica: Los autores destacan que confiar en SSIM y PSNR como puntos de referencia neutrales puede llevar a conclusiones engañosas en la investigación de umbralización multinivel. El dominio de Otsu en la literatura existente puede ser un reflejo de esta alineación en lugar de una verdad universal sobre la calidad de la segmentación.
Futuras Direcciones: El estudio motiva la necesidad de marcos de evaluación más neutrales. Sugiere extender este análisis a la umbralización multinivel verdadera (más allá del nivel binario), incorporar métricas adicionales como el Índice de Similitud de Características (FSIM), probar otras funciones objetivo (por ejemplo, Umbralización de Error Mínimo, entropía de Masi) y validar estos sesgos en diferentes dominios, como la imagen médica y la infrarroja.

En conclusión, este trabajo proporciona evidencia empírica de que SSIM y PSNR no son indicadores imparciales a través de diferentes estrategias de umbralización. Hace un llamado a una interpretación más transparente de las ganancias de rendimiento en la literatura, reconociendo que las mejoras reportadas pueden derivar de la alineación de métricas en lugar de un avance algorítmico genuino.