When Experts Disagree: Characterizing Annotator Variability for Vessel Segmentation in DSA Images

Imagine que você está tentando desenhar o mapa de uma cidade minúscula e sinuosa dentro de uma cabeça humana, mas só consegue vê-la através de uma janela embaçada. Este é o mundo da imagem médica, especificamente uma técnica chamada Angiografia por Subtração Digital (DSA). Os médicos usam a DSA para tirar fotos dos vasos sanguíneos no cérebro, que parecem uma rede complexa de estradas. Para ajudar os computadores a aprenderem a ler esses mapas automaticamente, os humanos têm que desenhar as linhas das estradas primeiro. Isso é chamado de "segmentação". Normalmente, assumimos que, se um especialista humano desenha a linha, esse desenho é a "verdade" perfeita. Mas e se dois especialistas olharem para a mesma janela embaçada e desenharem linhas ligeiramente diferentes? E se um vir um beco minúsculo que o outro não vê? Este artigo mergulha exatamente nesse mistério. Ele faz uma pergunta simples, mas complicada: se até os especialistas não concordam sobre onde estão os vasos sanguíneos, como podemos ensinar um computador a acertar? A resposta não é apenas sobre um desenho melhor; é sobre entender que a "verdade" pode ser um pouco nebulosa, e tudo bem.

Os pesquisadores por trás deste estudo decidiram parar de fingir que existe apenas uma maneira perfeita de desenhar esses vasos cerebrais. Eles reuniram 66 imagens reais de vasos sanguíneos cerebrais de pacientes e pediram a dois especialistas que traçassem os vasos à mão. Um especialista era um médico em treinamento especializado em procedimentos vasculares, e o outro era um cientista que sabe como ensinar computadores a enxergar. Como era de se esperar, os dois especialistas não desenharam exatamente as mesmas linhas. Às vezes eles concordavam perfeitamente, mas frequentemente discordavam, especialmente nos vasos mais minúsculos e finos, que têm menos de 1 ou 2 pixels de largura. Para descobrir quem estava "certo", a equipe não apenas escolheu um vencedor. Em vez disso, trouxeram um painel de 11 outros juízes — médicos e cientistas — para olhar 100 pequenos pedaços das imagens e votar se um vaso estava lá ou não.

Os resultados foram fascinantes e um pouco surpreendentes. Quando ambos os especialistas originais concordavam que um vaso estava lá, os novos juízes concordavam com eles 90% das vezes. Mas quando os especialistas discordavam, os juízes ficavam divididos. Se o Especialista A disse "vaso" e o Especialista B disse "sem vaso", os juízes concordaram com o Especialista A 76% das vezes. No entanto, se os papéis fossem invertidos, eles concordaram com o Especialista A apenas 16% das vezes. Isso mostrou que a "verdade fundamental" não é uma linha única e sólida; é mais como uma nuvem de possibilidades. A equipe também mediu o quanto os desenhos dos especialistas se sobrepunham usando uma ferramenta matemática especial chamada "clDice", que verifica se o centro das linhas coincide. Eles descobriram que, embora os especialistas estivessem majoritariamente em sintonia, ainda havia uma lacuna perceptível, especialmente para os vasos mais finos.

Para resolver o problema de medir essas linhas minúsculas e nebulosas, os pesquisadores inventaram uma nova forma de calcular as pontuações. O método antigo era muito rigoroso; se a linha de um especialista estivesse apenas um pouco fora da outra, a pontuação despencava, mesmo que ambos estivessem olhando para o mesmo vaso fino. A equipe criou um "clDice Modificado" que atua como uma rede de segurança. Em vez de exigir que as linhas coincidam pixel por pixel, ele pergunta: "A linha está perto o suficiente?". Eles testaram isso com diferentes "limiares de distância", como uma borda difusa de 2,5 pixels ao redor da linha. Este novo método mostrou que os especialistas estavam, na verdade, em muito melhor acordo do que a matemática antiga e rigorosa sugeria.

Então, o que tudo isso significa? O artigo não afirma ter resolvido o problema do desenho perfeito de vasos. Em vez disso, sugere que precisamos mudar a forma como ensinamos os computadores. Não devemos apenas alimentá-los com o desenho de uma pessoa e dizer: "Isto é a verdade". Em vez disso, devemos ensiná-los a entender a incerteza. Ao usar a discordância entre especialistas como uma pista, podemos dizer ao computador: "Ei, esta área é complicada; talvez precisemos de mais olhos nela", ou podemos construir modelos de IA que saibam quando ser cautelosos. A equipe também compartilhou seu trabalho com o mundo: um banco de dados de cerca de 2.000 fragmentos de imagens com todos esses diferentes desenhos, e o software de código aberto que usaram para medir a incerteza. Em suma, eles provaram que, no mundo bagunçado da imagem médica, admitir que os especialistas discordam é, na verdade, o primeiro passo para construir ferramentas mais inteligentes e confiáveis.