💻 computer science

Image Thresholding: Understanding Bias of Evaluation Metrics towards Specific Evaluation Functions

Este artigo revela um viés inerente na avaliação de segmentação de imagens, demonstrando que a função objetivo de variância entre classes de Otsu correlaciona-se consistentemente de forma mais forte com métricas de qualidade padrão, como SSIM e PSNR, do que a entropia de Kapur, desafiando assim a suposição de neutralidade das métricas.

Autores originais: Eslam Hegazy, Mohamed Gabr

Publicado 2026-05-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Eslam Hegazy, Mohamed Gabr

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando cortar um bolo em fatias perfeitas. No mundo da visão computacional, esse "bolo" é uma imagem, e "cortá-lo" significa separar diferentes partes da imagem (como o céu do solo, ou um tumor do tecido saudável). Esse processo é chamado de limiarização de imagem.

Para fazer isso, os computadores precisam de um livro de regras, ou uma Função Objetivo, para dizer-lhes onde cortar. Dois dos livros de regras mais famosos são:

Método de Otsu: Este livro de regras diz: "Corte o bolo onde a diferença entre as partes claras e escuras é a maior". É como tentar maximizar o contraste entre o glacê e a massa.
Método de Kapur: Este livro de regras diz: "Corte o bolo onde o conteúdo de informação está mais equilibrado". É uma regra mais complexa baseada na quantidade de "surpresa" ou variedade em cada fatia.

Uma vez que o computador faz um corte, precisamos verificar se ele fez um bom trabalho. Para isso, usamos Métricas de Avaliação, que são como juízes pontuando o corte. Os dois juízes mais populares neste campo são:

SSIM (Índice de Similaridade Estrutural): Um juiz que analisa quão similares são as formas e estruturas da imagem cortada em relação à original.
PSNR (Relação Sinal-Ruído de Pico): Um juiz que mede quanto "ruído" ou erro foi introduzido durante o corte.

O Grande Problema: O Juiz é Parcial

Os autores deste artigo, Eslam Hegazy e Mohamed Gabr, notaram algo suspeito. Em quase todos os estudos comparando esses métodos, o Método de Otsu parece vencer quando pontuado pelo SSIM e PSNR. Os pesquisadores assumiram que isso significava que Otsu era simplesmente um livro de regras melhor.

Mas os autores fizeram uma pergunta diferente: "E se os juízes (SSIM e PSNR) estiverem secretamente parciais em favor do livro de regras de Otsu?"

Pense nisso como uma competição culinária.

Otsu é um chef que se especializa em fazer pratos com alto contraste (muito salgados, muito doces).
Kapur é um chef que faz pratos equilibrados e complexos.
SSIM e PSNR são os juízes.

Os autores suspeitaram que o SSIM e o PSNR são, na verdade, juízes "parciais ao sabor". Eles são programados para amar pratos de alto contraste. Então, mesmo que Kapur faça um prato perfeitamente equilibrado, os juízes podem dar uma pontuação mais baixa simplesmente porque não tem o sabor que preferem.

Como Eles Testaram Isso

Para provar isso, eles não usaram uma IA sofisticada para encontrar o melhor corte. Em vez disso, fizeram algo muito minucioso: tentaram todos os cortes possíveis em 500 imagens naturais diferentes (de um conjunto de dados chamado BSDS500).

Para cada corte individual, eles calcularam:

Quão bom era o corte de acordo com a regra de Otsu.
Quão bom era o corte de acordo com a regra de Kapur.
Como os juízes (SSIM e PSNR) pontuaram aquele corte.

Em seguida, eles analisaram a relação (correlação) entre os livros de regras e os juízes.

Os Resultados: O Viés é Real

As descobertas foram claras e impressionantes:

Otsu e os Juízes são Melhores Amigos: Quando o livro de regras de Otsu dizia que um corte era "bom", os juízes (SSIM e PSNR) quase sempre concordavam. Na verdade, para 100% das imagens, as pontuações de Otsu se moveram em perfeita sincronia com as pontuações do PSNR. Para 91% das imagens, moveram-se em sincronia com o SSIM.
- Analogia: É como se Otsu e os juízes falassem a mesma língua. Quando Otsu levanta a mão, os juízes levantam a deles imediatamente.
Kapur e os Juízes são Estranhos: O livro de regras de Kapur teve uma conexão muito mais fraca com os juízes. Às vezes eles concordavam, às vezes não. A relação era confusa e imprevisível.
- Analogia: Kapur está tentando falar um dialeto diferente. Os juízes o entendem às vezes, mas muitas vezes apenas encolhem os ombros e dão uma pontuação medíocre, mesmo que o corte fosse realmente bom.

O Que Isso Significa

O artigo conclui que a razão pela qual os métodos baseados em Otsu frequentemente "vencem" em artigos de pesquisa não é necessariamente porque eles são melhores em cortar o bolo. É porque o sistema de pontuação (SSIM e PSNR) está manipulado para favorecer Otsu.

Se um pesquisador inventar um novo algoritmo de IA superinteligente para ajudar Kapur a encontrar os melhores cortes, mas ainda usar SSIM e PSNR para avaliá-lo, o novo algoritmo pode parecer um fracasso. Por quê? Porque os juízes são parciais contra o estilo de Kapur, independentemente de quão boa seja a IA.

A Lição

Os autores estão alertando a comunidade científica: Não confie cegamente nos juízes.

Se você quiser comparar de forma justa diferentes maneiras de cortar imagens, não pode usar apenas SSIM e PSNR. Você precisa perceber que essas ferramentas preferem inerentemente um método específico (Otsu) em relação aos outros. Para obter uma imagem verdadeira de quem é o melhor "chef", você pode precisar de novos juízes que não tenham um sabor favorito.

Resumo Técnico: Limiarização de Imagens e Viés em Métricas de Avaliação

Enunciado do Problema
A limiarização multinível de imagens é uma técnica fundamental em segmentação de imagens, amplamente aplicada em áreas que vão desde a imagem médica até a sensoriamento remoto. Devido à explosão combinatória de possíveis combinações de limiares, os pesquisadores geralmente empregam algoritmos de otimização metaheurística (por exemplo, algoritmos genéticos, otimização por enxame de partículas) para aproximar limiares ótimos. Esses algoritmos otimizam funções objetivo pré-definidas, mais notavelmente a variância interclasses de Otsu e a entropia de Kapur.

Uma suposição crítica, porém frequentemente implícita, em estudos comparativos neste domínio é que as métricas de qualidade de imagem de referência completa — especificamente o Índice de Similaridade Estrutural (SSIM) e a Relação Sinal-Ruído de Pico (PSNR) — fornecem uma base objetiva e neutra para avaliar a qualidade da segmentação. No entanto, observações empíricas sugerem que métodos baseados no critério de Otsu frequentemente superam aqueles baseados na entropia de Kapur quando avaliados via SSIM e PSNR. Este estudo investiga se essas disparidades de desempenho decorrem de melhorias genuínas na segmentação ou de um viés inerente onde as métricas de avaliação favorecem sistematicamente funções objetivo específicas.

Metodologia
Para desacoplar os efeitos dos algoritmos de otimização das propriedades inerentes das funções objetivo e das métricas de avaliação, os autores conduziram uma análise de correlação sistemática no conjunto de dados BSDS500, composto por 500 imagens naturais.

Escopo da Análise: Em vez de confiar na saída de algoritmos de otimização específicos, o estudo avaliou todos os possíveis limiares únicos ( $0 < T \le L-1$ ) para cada imagem.
Métricas e Funções: Para cada limiar possível, os autores calcularam:
- Funções Objetivo: Variância interclasses de Otsu e entropia de Kapur.
- Métricas de Qualidade: SSIM e PSNR (calculados em relação à imagem original).
Análise de Correlação: O estudo calculou o coeficiente de correlação de Pearson entre os valores das funções objetivo e as métricas de qualidade em todo o espaço de limiares para cada imagem.
Agregação: A análise agregou esses coeficientes de correlação em todas as 500 imagens para identificar tendências globais e distribuições estatísticas.

Resultados Principais
A análise revela um alinhamento forte e sistemático entre o critério de Otsu e as métricas de qualidade padrão, contrastando agudamente com o alinhamento mais fraco da entropia de Kapur.

Força da Correlação: A função de Otsu exibe consistentemente alta correlação positiva tanto com SSIM quanto com PSNR. Em contraste, a entropia de Kapur demonstra correlações significativamente mais fracas e mais variáveis.
Achados Quantitativos (BSDS500):
- Correlação Média (Otsu vs. Métricas): Otsu alcançou uma correlação média de $0,8959$ com SSIM e $0,9871$ com PSNR.
- Correlação Média (Kapur vs. Métricas): Kapur alcançou uma correlação média de $0,6743$ com SSIM e $0,6817$ com PSNR.
- Dominância por Imagem: Para a métrica PSNR, Otsu mostrou correlação mais alta do que Kapur em 100% das 500 imagens testadas. Para a métrica SSIM, Otsu mostrou correlação mais alta em 91,4% das imagens.
Evidência Visual: Gráficos representativos mostram que, para muitas imagens, as curvas dos valores de Otsu e das métricas de qualidade (SSIM/PSNR) seguem trajetórias quase idênticas, enquanto as curvas de Kapur frequentemente divergem ou exibem coeficientes de correlação baixos (por exemplo, 0,14 em um caso de amostra).

Significado e Contribuições
O artigo argumenta que a superioridade observada de métodos baseados em Otsu na literatura não se deve exclusivamente à eficácia do algoritmo de otimização ou à qualidade intrínseca da segmentação, mas é parcialmente um artefato do viés métrica-função-objetivo.

Reavaliando Estudos Comparativos: Os achados sugerem que, quando um algoritmo de otimização é aplicado a uma função objetivo já favorecida pela métrica de avaliação (por exemplo, otimizar Otsu e avaliar com PSNR), o método naturalmente parecerá superior. Por outro lado, otimizar uma função desfavorecida (por exemplo, Kapur) pode ser injustamente percebida como inferior, independentemente do desempenho do otimizador.
Cautela Metodológica: Os autores destacam que confiar no SSIM e no PSNR como benchmarks neutros pode levar a conclusões enganosas na pesquisa de limiarização multinível. A dominância de Otsu na literatura existente pode ser um reflexo desse alinhamento, e não uma verdade universal sobre a qualidade da segmentação.
Direções Futuras: O estudo motiva a necessidade de frameworks de avaliação mais neutros. Sugere-se estender essa análise para a limiarização multinível verdadeira (além do bi-nível), incorporar métricas adicionais como o Índice de Similaridade de Recursos (FSIM), testar outras funções objetivo (por exemplo, Limiarização de Erro Mínimo, entropia de Masi) e validar esses vieses em diferentes domínios, como imagem médica e infravermelha.

Em conclusão, este trabalho fornece evidências empíricas de que SSIM e PSNR não são indicadores imparciais entre diferentes estratégias de limiarização. Ele apela por uma interpretação mais transparente dos ganhos de desempenho na literatura, reconhecendo que melhorias relatadas podem decorrer do alinhamento de métricas e não de avanços algorítmicos genuínos.