Evaluation Metrics for Image Classification, Segmentation and Localization
Esta revisão crítica analisa e organiza sistematicamente 72 métricas de avaliação para classificação, segmentação e localização de imagens para orientar a seleção de medidas complementares e apropriadas ao contexto que garantam avaliações científicas reprodutíveis e clinicamente significativas.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo do diagnóstico por imagem e da visão computacional, as máquinas tornaram-se extraordinariamente habilidosas em observar imagens. Elas conseguem identificar uma doença num raio-X, traçar o contorno de um tumor num exame ou localizar precisamente uma característica anatómica específica. Mas, à medida que estes sistemas se tornam mais poderosos, surgiu um problema silencioso: muitas vezes não sabemos como medi-los corretamente. Um computador pode ser excelente a encontrar a resposta certa 99 por cento das vezes, mas ainda assim perder o caso crítico que mais importa, ou pode desenhar um limite que é matematicamente próximo, mas clinicamente inútil. O desafio central é que as ferramentas que utilizamos para avaliar estes sistemas são, frequentemente, incompatíveis com as perguntas que estamos a tentar responder. Se pedir a uma máquina para encontrar uma condição rara, uma pontuação simples de "precisão" pode ser enganadoramente alta, mesmo que a máquina não encontre nada de nada. Se lhe pedir para desenhar uma forma, uma pontuação baseada na sobreposição das formas pode ocultar o facto de as bordas estarem no lugar errado.
Behnam Kiani Kalejahi, investigador da Central Asian University e da INTI International University, escreveu um guia abrangente para desvendar esta confusão. O seu trabalho não é uma nova invenção de uma máquina mais inteligente, mas sim um mapa crítico para como devemos julgar as máquinas que já temos. Ele argumenta que a forma como avaliamos os sistemas de análise de imagem depende inteiramente do que o sistema se propõe a fazer. Quer a tarefa seja simplesmente rotular uma imagem, desenhar uma máscara detalhada em torno de um objeto ou encontrar um ponto específico no espaço, as regras para o sucesso devem mudar. O artigo serve como um manual para cientistas e médicos pararem de usar um único número universal para descrever o desempenho e passarem a escolher um conjunto pequeno e específico de métricas que reflitam realmente as consequências reais dos erros do sistema.
O autor começa por apontar que a unidade de medida deve corresponder à unidade da afirmação. Numa tarefa de classificação simples, onde um computador decide se uma imagem contém uma doença ou não, a questão mais importante é frequentemente o quão bem o sistema encontra os casos positivos sem levantar demasiados alarmes falsos. No entanto, se o conjunto de dados estiver fortemente enviesado com imagens saudáveis, um sistema que simplesmente diz "não há doença" para tudo parecerá perfeito no papel, embora seja inútil. O artigo demonstra, através de exemplos construídos, que um sistema pode ter uma precisão elevada, mas uma capacidade nula de detetar a condição rara para a qual foi criado. Para corrigir isto, o autor insiste que os investigadores devem reportar não apenas uma pontuação única, mas uma combinação de métricas que contem a história completa: com que frequência o sistema encontra o alvo, com que frequência está errado quando diz que encontrou algo e quão fiáveis são os seus níveis de confiança.
Quando a tarefa passa de rotular para desenhar, as regras mudam novamente. Na segmentação, onde um computador desenha uma máscara em torno de um órgão ou de um tumor, a métrica mais comum mede o quanto o desenho do computador se sobrepõe ao desenho do especialista. Embora isto seja útil, o artigo mostra que dois desenhos podem ter a mesma quantidade de sobreposição, sendo completamente diferentes em forma ou localização. Um pode ser um círculo perfeito ligeiramente deslocado, enquanto o outro pode ser uma coleção dispersa de píxeis que, por acaso, cobrem a mesma área. O autor explica que confiar apenas em pontuações de sobreposição pode ocultar estas falhas críticas. Em vez disso, uma avaliação completa deve também medir a distância entre as bordas das formas e verificar se o sistema fundiu acidentalmente dois objetos separados num só ou se dividiu um único objeto em várias partes. Para tarefas que envolveem pequenas lesões ou estruturas complexas como vasos sanguíneos, o artigo sugere que a métrica mais importante pode ser se o sistema mantém a estrutura conectada, em vez de apenas quanta área ela cobre.
Para sistemas que localizam pontos específicos, como encontrar um ponto de referência num rosto ou um ponto específico num osso, o artigo enfatiza a importância das unidades físicas. Um computador pode estar desviado por alguns píxeis, mas se a imagem tiver sido tirada com um tipo específico de scanner, esses poucos píxeis podem representar uma distância perigosa no mundo real. O autor alerta contra o uso de pontuações normalizadas que escondem o erro físico real. Se um sistema se destina a guiar um cirurgião, a medição deve ser em milímetros, não em rácios abstratos. O artigo também destaca que a forma como um sistema lida com a incerteza é tão importante quanto a sua precisão. Um sistema que sabe quando não tem a certeza e pede ajuda a um humano é frequentemente mais valioso do que um sistema que dá uma resposta errada com total confiança. O autor fornece exemplos mostrando como um sistema pode melhorar a sua segurança ao recusar tomar uma decisão em casos difíceis, mesmo que isso signifique processar menos imagens no total.
Ao longo da revisão, o autor utiliza uma série de dez exemplos claros e passo a passo para mostrar como diferentes formas de calcular uma pontuação podem levar a conclusões completamente diferentes sobre qual sistema é melhor. Num cenário, um sistema que desempenha mal em casos grandes e fáceis, mas perfeitamente em casos pequenos e difíceis, pode parecer pior do que um sistema que é medíocre em tudo, simplesmente devido à forma como as pontuações foram calculadas pela média. Noutro, um sistema que comete um erro minúsculo numa área crítica pode ser classificado acima de um que comete um erro grande numa área inofensiva, dependendo da métrica escolhida. Estes exemplos servem como um aviso de que a escolha de uma ferramenta de medição não é uma decisão neutra; ela molda ativamente o que consideramos um sucesso ou um fracasso. O artigo argumenta que os investigadores devem decidir as suas regras de medição antes mesmo de olharem para os resultados, garantindo que as métricas se alinham com o objetivo clínico ou prático real.
A revisão também aborda a questão de como estes sistemas são testados no mundo real. Aponta que um sistema pode funcionar bem num ambiente de laboratório controlado, mas falhar quando confrontado com diferentes tipos de scanners, diferentes populações de pacientes ou diferentes condições de iluminação. O autor enfatiza que um único número não consegue capturar esta complexidade. Em vez disso, os investigadores precisam de reportar como o sistema se comporta em diferentes subgrupos e sob diferentes condições. O artigo sugere que as comparações mais valiosas não são sobre quem tem a pontuação mais alta num ranking, mas sim sobre compreender exatamente onde e por que razão um sistema falha. Este entendimento permite que os desenvolvedores corrijam problemas específicos em vez de apenas perseguirem um número mais alto.
Em última análise, o artigo conclui que não existe uma única "melhor" métrica para a análise de imagem. A forma correta de medir um sistema depende do que o sistema se propõe a fazer, de quem o irá utilizar e quais serão as consequências de um erro. Para um sistema que ajuda na triagem de pacientes, encontrar todos os casos possíveis é mais importante do que evitar alarmes falsos. Para um sistema que guia uma cirurgia, a precisão e a segurança são primordiais. O autor fornece uma lista de verificação e um conjunto de diretrizes para ajudar os investigadores a desenhar os seus estudos corretamente, garantindo que medem as coisas certas da maneira certa. Ao seguir estes princípios, o campo pode afastar-se de afirmações vagas de alto desempenho e caminhar para uma compreensão mais clara e honesta do que estas poderosas ferramentas podem e não podem fazer. O objetivo não é encontrar o sistema perfeito, mas sim construir sistemas que sejam compreendidos suficientemente bem para serem confiáveis quando mais precisamos deles.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.