In search of truth: Evaluating concordance of AI-based anatomy segmentation models

Este artigo apresenta um framework prático e ferramentas de visualização para avaliar e comparar a concordância de múltiplos modelos de segmentação anatômica baseada em IA em dados de TC sem ground truth, harmonizando as saídas em uma representação padrão e demonstrando sua utilidade na comparação de seis modelos de código aberto em exames de TC do NLST para sinalizar discrepâncias e priorizar casos de discordância inter-modelo para revisão por especialistas.

O essencial

Imagine que você tem uma biblioteca gigante de fotos de raios-X de pulmões (o estudo NLST), com mais de 26.000 pacientes. O problema é que, para entender essas fotos e descobrir padrões de doenças, você precisa "pintar" cada órgão (coração, pulmões, costelas, vértebras) para separá-los do resto da imagem. Fazer isso manualmente para 26.000 pessoas levaria uma vida inteira para um médico.

A solução? Usar Inteligência Artificial (IA) para fazer o trabalho de pintura automaticamente. Mas aqui surge o dilema: existem vários "pintores" (modelos de IA) diferentes no mercado. Eles todos tentam desenhar esses contornos automaticamente, mas nem sempre concordam uns com os outros.

É exatamente isso que este artigo explica. Os autores criaram um "kit de ferramentas" para julgar esses pintores, não para encontrar o "campeão", mas para descobrir onde eles discordam.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: O Concurso de Pintura sem o Modelo Original

Imagine que você tem 6 artistas diferentes tentando pintar o mesmo cenário (o corpo humano em uma tomografia).

• O Desafio: Você não tem a foto real do cenário para ver quem acertou.
• A Dificuldade: Um artista chama a costela de "Costela 3", outro chama de "R-3", e outro usa uma cor diferente. É impossível comparar direto.
• A Solução dos Autores: Eles criaram um "tradutor universal". Eles pegaram os resultados de todos os 6 modelos e transformaram tudo em um formato padrão (como se todos usassem a mesma régua e o mesmo dicionário). Agora, quando o Modelo A diz "Pulmão Direito", o Modelo B também diz "Pulmão Direito" e usa a mesma cor.

2. A Ferramenta: O "Espelho Mágico" (Visualização)

Como comparar 6 pinturas ao mesmo tempo?

• O Kit de Ferramentas: Eles criaram um software especial (chamado CrossSegmentationExplorer) que funciona como um painel de comparação lado a lado.
• Como funciona: Você clica em um paciente, e o software exibe um visor de tela dividida que mostra a mesma fatia do tórax do paciente simultaneamente nas seis janelas. Em uma, você vê o que o "Artista 1" pintou; na outra, o "Artista 2", e assim por diante.
• O Gráfico de "Acordo": Eles também criaram gráficos interativos. Imagine um mapa de calor onde, se todos os artistas concordam que o coração está num lugar, o ponto fica verde (ótimo). Se um artista pinta o coração no lugar errado, o ponto fica vermelho ou amarelo, e você pode clicar nele para ver exatamente onde ele errou.

3. O Teste: Onde a Concordância Quebra?

Eles testaram 6 modelos famosos em 18 pacientes. Aqui está o que descobriram, usando a analogia da construção de uma casa:

• Os Pulmões (O Telhado): Todos os artistas foram excelentes. Eles concordaram quase 100% sobre onde ficavam os pulmões. Foi fácil e rápido.
• O Coração (A Sala de Estar): A maioria concordou bem, mas um artista (o modelo CADS) decidiu pintar a sala de um jeito muito diferente dos outros (mais compacta, sem incluir certos vasos). Quando tiramos esse artista da comparação, os outros 5 concordaram muito bem.
• As Costelas e Vértebras (As Vigas e Colunas): Aqui foi onde a coisa ficou feia.
  • Quatro dos modelos (que usaram o mesmo "livro de receitas" para treinar) cometeram o mesmo tipo de erro: eles misturavam uma costela com a outra ou fundiam duas vértebras como se fossem uma só. Era como se um carpinteiro colasse duas vigas juntas e dissesse que era uma só peça.
  • Dois modelos (MOOSE e CADS) não usaram esse "livro de receitas" defeituoso. Eles conseguiram separar as costelas e vértebras corretamente, mostrando muito mais precisão.

⚠️ Nota Importante: É crucial entender que concordar não significa estar certo. Se todos os modelos concordam que o coração está em um lugar, isso não garante que seja o lugar correto; significa apenas que eles estão de acordo. No entanto, quando eles discordam, isso é um sinal de alerta claro de que algo pode estar errado e que um especialista humano deve olhar ali primeiro.

4. A Conclusão: Por que isso importa?

A grande lição do artigo é: Você não precisa ter a resposta certa (o "gabarito") para descobrir onde os modelos estão falhando.

Se você tem 6 pessoas tentando adivinhar a resposta e 4 delas dão uma resposta estranha e diferente das outras 2, você sabe que as 4 provavelmente estão erradas, mesmo sem saber qual é a resposta certa. O objetivo não é classificar quem é o "melhor", mas sim triar os casos onde a IA está confusa.

O que eles deixaram para a comunidade:

1. Os Dados: As pinturas de todos os modelos estão disponíveis publicamente.
2. O Software: As ferramentas para comparar os modelos (o "visor de tela dividida" e os gráficos) estão gratuitas para qualquer um usar.
3. O Método: Qualquer pessoa pode pegar um novo modelo de IA, jogar no sistema deles e ver onde ele discorda dos outros antes de usá-lo em milhares de pacientes.

Resumo final:
Os autores criaram um "sistema de triagem" automático. Em vez de gastar anos pedindo a um médico para revisar cada desenho, eles usam a discordância entre os próprios desenhos para encontrar onde os erros podem estar escondidos. Isso permite que hospitais e pesquisadores avaliem o quão bem diferentes modelos de IA concordam em seus próprios dados médicos e marquem as áreas de desacordo para uma inspeção mais próxima, economizando tempo e melhorando a precisão dos diagnósticos futuros.

O que eles deixaram de legado:
Eles construíram um kit de ferramentas para nos ajudar a identificar onde os modelos de IA discordam, para que especialistas humanos possam priorizar a revisão desses casos — garantindo que, quando automatizarmos a pesquisa médica, possamos pegar potenciais erros antes que eles se propaguem.

Resumo técnico

Título: Em busca da verdade: Avaliando a concordância de modelos de segmentação anatômica baseados em IA

1. O Problema

A crescente disponibilidade de grandes conjuntos de dados de imagem médica (como o National Lung Screening Trial - NLST) oferece oportunidades únicas para análise secundária e exploração de hipóteses. No entanto, a maioria desses conjuntos de dados carece de anotações de "verdade de terreno" (ground truth) manuais, que são caras e demoradas de produzir.

• Desafio Principal: Como avaliar a concordância entre múltiplos modelos de segmentação anatômica baseada em IA em grandes conjuntos de dados de imagem e identificar casos onde os modelos discordam, priorizando esses casos para revisão especializada?
• Complexidade Adicional: Existem múltiplos modelos de segmentação de corpo inteiro (ex: TotalSegmentator, Auto3DSeg, MOOSE, etc.) com funcionalidades semelhantes, mas que produzem saídas em formatos não padronizados, com rótulos diferentes para as mesmas estruturas e definições de limites variáveis, dificultando a comparação direta.
• Limitação de Métodos Atuais: Técnicas existentes como Reverse Classification Accuracy (RCA) ou fusão baseada em consenso (STAPLE) muitas vezes exigem re-treinamento de modelos ou assumem que os erros dos modelos são independentes, o que não é verdade quando vários modelos compartilham os mesmos dados de treinamento.

2. Metodologia

Os autores desenvolveram um framework prático e reprodutível para comparar modelos sem ground truth, utilizando uma abordagem baseada em consenso e padronização. O processo envolveu quatro etapas principais:

• A. Harmonização de Dados:

  • As saídas de seis modelos de código aberto (TotalSegmentator v1.5 e v2.6, Auto3DSeg, MOOSE, MultiTalent e CADS) foram convertidas para o formato padrão DICOM SEG.
  • Foi criado um mapeamento unificado de rótulos para termos padronizados SNOMED-CT, garantindo que estruturas anatômicas idênticas (ex: "pulmão", "vértebra") fossem identificadas consistentemente entre os modelos, independentemente dos rótulos originais de cada modelo.
  • Cores de visualização padronizadas foram atribuídas para facilitar a comparação visual.

• B. Seleção de Estruturas e Dados:

  • O estudo utilizou uma amostra de 18 séries de TC (Tomografia Computadorizada) do conjunto de dados NLST (9 estudos de 4 pacientes).
  • Das 326 estruturas segmentáveis, foram aplicados critérios de exclusão: estruturas segmentadas por apenas um modelo, estruturas com cobertura incompleta nas TCs torácicas (ex: órgãos abdominais) e estruturas segmentadas por apenas 2 ou 3 modelos.
  • A análise final focou em 24 estruturas anatômicas: vértebras torácicas (T2-T10), costelas (3-6), esterno, lobos pulmonares e coração.

• C. Métricas Quantitativas:

  • Consenso: Foi gerada uma segmentação de consenso (voxels onde todos os modelos incluídos concordaram).
  • Métricas de Desempenho: Para cada modelo e estrutura, calculou-se o Coeficiente de Similaridade de Dice (DSC) em relação ao consenso e a Razão de Volume (volume do modelo vs. volume do consenso).
  • Visualização Interativa: Os dados foram plotados em gráficos de dispersão interativos que permitem identificar outliers (baixa concordância) e clicar nos pontos para visualizar o caso específico.

• D. Ferramentas de Visualização e Análise Qualitativa:

  • OHIF Viewer: Utilizado para visualização baseada na web, permitindo acesso rápido aos dados sem instalação local.
  • CrossSegmentationExplorer: Uma nova extensão desenvolvida para o 3D Slicer. Esta ferramenta permite a visualização lado a lado sincronizada de múltiplas segmentações (2D e 3D) para a mesma estrutura anatômica, facilitando a inspeção detalhada de discrepâncias.
  • Revisão de Especialista: Casos com baixa concordância foram submetidos a revisão por um especialista em radiologia e anatomia volumétrica.

3. Principais Contribuições

• Estratégia de Avaliação Baseada em Consenso: Uma metodologia para avaliar a concordância inter-modelo na ausência de ground truth, sinalizando discordâncias para revisão humana prioritária. Nota: o consenso entre modelos não garante correção, mas indica áreas de acordo versus áreas que exigem maior escrutínio.
• Padronização de Dados: A conversão de saídas heterogêneas (NIfTI) para DICOM SEG com mapeamento SNOMED-CT, permitindo interoperabilidade e reutilização em repositórios públicos (como o Imaging Data Commons - IDC).
• Ferramentas de Software Open Source:
  • Scripts de harmonização e conversão.
  • Extensão CrossSegmentationExplorer para 3D Slicer.
  • Gráficos interativos e visualização via OHIF.
• Avaliação Comparativa Real: A primeira comparação abrangente de seis modelos modernos de segmentação de corpo inteiro em dados de TC de rastreamento de câncer de pulmão.

4. Resultados

A análise revelou níveis variados de concordância entre os modelos, dependendo da estrutura anatômica:

• Pulmões: Alta concordância. Todos os modelos apresentaram DSC > 95% e sobreposição de volume > 90%. As discrepâncias foram mínimas.
• Coração: Concordância moderada a boa. O modelo CADS apresentou definições anatômicas diferentes (estrutura compacta vs. inclusão de vasos/átrios), reduzindo a concordância global. Ao excluir o CADS, a concordância entre os outros modelos melhorou significativamente (DSC > 95%).
• Costelas e Vértebras: Baixa concordância geral.
  • Quatro modelos (TotalSegmentator 1.5, TotalSegmentator 2.6, Auto3DSeg e MultiTalent) apresentaram erros sistemáticos, como fusão de vértebras, inclusão de vértebras adjacentes ou falha em segmentar a articulação costovertebral.
  • Esses erros foram atribuídos a problemas nos dados de treinamento compartilhados (o conjunto de dados TotalSegmentator).
  • Os modelos MOOSE e CADS (que não dependem exclusivamente desse conjunto de dados de treinamento) demonstraram maior precisão e concordância entre si (DSC > 90% para vértebras).
• Esterno: Concordância moderada, com diferenças notáveis na representação do processo xifoide entre os modelos.

5. Significado e Conclusão

• Triagem e Revisão Informada: O estudo demonstra que é possível identificar e sinalizar discrepâncias entre as saídas dos modelos para revisão especializada prioritária, permitindo decisões informadas sobre a adequação do modelo. O framework sinalizou discordâncias sistemáticas em estruturas ósseas entre modelos que compartilham os mesmos dados de treinamento, revelando um artefato de treinamento compartilhado que não teria sido visível sem a comparação inter-modelo.
• Detecção de Erros Sistêmicos: O framework conseguiu expor erros de segmentação que passariam despercebidos em avaliações isoladas, revelando que modelos que compartilham dados de treinamento tendem a cometer os mesmos erros.
• Reprodutibilidade e Escalabilidade: Ao disponibilizar os dados harmonizados, os scripts e as ferramentas de visualização, os autores permitem que a comunidade científica aplique este fluxo de trabalho a outros conjuntos de dados e modalidades (MRI, PET).
• Impacto Futuro: A metodologia permitirá a geração de segmentações em larga escala para o conjunto de dados NLST (mais de 26.000 exames), habilitando novas pesquisas epidemiológicas e clínicas baseadas em volumes e formas de órgãos, sem a necessidade de anotação manual massiva.

Em resumo, o trabalho oferece uma "caixa de ferramentas" essencial para a validação e seleção de modelos de IA em cenários do mundo real onde anotações perfeitas não estão disponíveis, promovendo a transparência e a confiabilidade na aplicação de IA em medicina. A análise de concordância inter-modelo é uma estratégia viável e eficaz para controle de qualidade em imagens médicas, permitindo que pesquisadores sinalizem e priorizem casos de discordância para revisão especializada.