Multi-criterion uncertainty estimation improves skin cancer distribution shift detection and malignancy prediction

Este estudo apresenta o método SAGE, uma abordagem de estimativa de incerteza multi-critério que detecta imagens de lesões cutâneas fora da distribuição de treinamento, permitindo filtrar artefatos problemáticos e melhorar a precisão na predição de malignidade de câncer de pele em cenários clínicos diversos.

O essencial

Imagine que você tem um chef de cozinha muito talentoso (o modelo de Inteligência Artificial) que foi treinado exclusivamente na cozinha de um restaurante famoso na Austrália e na Áustria. Ele é um mestre em preparar pratos com ingredientes locais, sob uma luz específica e com panelas de um tipo muito particular.

O problema? Quando esse chef tenta cozinhar em uma casa no Brasil, na Turquia ou nos EUA, usando panelas diferentes, luzes variadas e ingredientes que ele nunca viu, ele começa a errar. Ele pode achar que um tomate é uma maçã ou que a comida está queimada quando está perfeita. Na medicina, isso é perigoso: o "chef" é o algoritmo que tenta diagnosticar câncer de pele, e os "ingredientes" são as fotos das lesões.

Este artigo apresenta uma nova ferramenta chamada SAGE (que podemos imaginar como um inspetor de qualidade superinteligente) para resolver esse problema.

Aqui está a explicação passo a passo, usando analogias simples:

1. O Problema: O Chef Confuso

Os modelos de IA atuais são treinados em bancos de dados de imagens "perfeitas" (como o conjunto de dados HAM10000). Mas, na vida real, as fotos de pele são bagunçadas:

• Às vezes tem cabelo cobrindo a lesão.
• Às vezes tem uma régua ou fita métrica na foto.
• Às vezes a luz do flash do celular cria reflexos estranhos.
• Às vezes a pele é muito escura e o modelo, treinado majoritariamente em peles claras, não consegue "enxergar" direito.

Quando o modelo vê essas fotos "estranhas", ele continua dando um diagnóstico com confiança, mas está errado. É como se o chef dissesse "Isso é um bolo de chocolate!" enquanto você está segurando uma pedra.

2. A Solução: O Inspecto SAGE

Os autores criaram o SAGE (Supervised Autoencoders for Generalization Estimates). Pense nele como um detetive que checa se a foto é "normal" antes de deixar o chef cozinhar.

O SAGE não tenta diagnosticar o câncer diretamente. Em vez disso, ele olha para a foto e faz três perguntas (baseadas em três critérios):

1. A foto parece com as que eu vi na escola? (Distância no espaço de aprendizado).
2. O modelo de diagnóstico está confiante? (Se ele está gaguejando, é ruim).
3. Consegui reconstruir a imagem mentalmente? (Se a IA tenta "desenhar" a foto de novo e sai uma bagunça, é porque a foto original é estranha).

O SAGE junta essas três respostas e dá uma nota de "estranheza".

• Nota Baixa: "Tudo normal, essa foto é parecida com o que treinamos. Pode passar para o diagnóstico."
• Nota Alta: "Ei, essa foto tem uma régua, está muito escura ou tem muito cabelo. É muito diferente do que aprendemos. Pare! Não confie no diagnóstico agora."

3. O Experimento: Testando em Todo o Mundo

Os pesquisadores pegaram fotos de pacientes de Argentina, Brasil, Áustria, Macedônia do Norte, Turquia, Austrália e EUA.

• Eles viram que fotos de lugares diferentes (como o Brasil e os EUA) tinham muitas "notas de estranheza" altas.
• Eles descobriram que coisas simples, como cabelo na foto ou fundo não sendo pele, faziam a nota subir muito.
• Curiosamente, eles notaram que fotos de pessoas com pele escura tendiam a ter notas mais altas (mais estranhas para o modelo), não porque a pele é difícil de diagnosticar, mas porque as fotos dessas pessoas muitas vezes tinham mais "ruídos" (como flash ou falta de contraste) que confundiam a IA.

4. O Resultado: Filtrando o Ruído

A grande descoberta foi: Se você usar o SAGE para filtrar as fotos "estranhas" antes de pedir o diagnóstico, o modelo de IA fica muito mais preciso.

É como se você dissesse ao chef: "Não tente cozinhar essa sopa com esses ingredientes estranhos. Só cozinhe as sopas que parecem com as nossas receitas originais."

• Ao remover as fotos de baixa qualidade ou muito diferentes, a precisão do diagnóstico de câncer de pele em peles escuras melhorou drasticamente.
• O SAGE também conseguiu identificar fotos de doenças que o modelo nunca viu (como certos tipos de linfoma) e avisou: "Isso é muito diferente do que eu sei, cuidado!".

Resumo da Ópera

Este trabalho não criou um novo "médico" de IA. Ele criou um filtro de segurança.

Imagine que a IA é um carro autônomo. O SAGE é o sistema que diz: "A estrada está muito diferente do que eu treinei (neve, lama, sinalização estranha). Vou avisar o passageiro para assumir o volante ou parar o carro, em vez de tentar dirigir cegamente e causar um acidente."

Em termos práticos:

1. A IA de diagnóstico de câncer de pele funciona bem em laboratório, mas falha na vida real.
2. O SAGE detecta quando uma foto é "fora do comum" (ruim, diferente ou com artefatos).
3. Ao filtrar essas fotos ruins, a IA se torna mais segura, mais justa para todos os tipos de pele e menos propensa a erros graves.

É uma ferramenta para garantir que a tecnologia médica não deixe ninguém para trás quando sai do laboratório e vai para o consultório real.

Resumo técnico

Título: Estimativa de Incerteza Multi-Critério Melhora a Detecção de Mudança de Distribuição e a Predição de Malignidade em Câncer de Pele

1. O Problema

O diagnóstico automatizado de câncer de pele por meio de aprendizado de máquina (ML) enfrenta um desafio crítico: a deterioração do desempenho quando modelos treinados em conjuntos de dados de referência (benchmarks) altamente curados, como o HAM10000, são aplicados a dados clínicos reais de fontes diversas.

• Causas da Falha: A variabilidade nas imagens de lesões cutâneas devido a diferenças em tecnologias de imagem (dermatoscópios vs. smartphones), condições de iluminação, ângulos de captura, artefatos (como cabelo, régua, fundo não cutâneo) e fenótipos de pacientes (especialmente tons de pele mais escuros) cria uma lacuna de generalização.
• Risco: Modelos de ponta frequentemente falham silenciosamente em cenários de "fora da distribuição" (Out-of-Distribution - OOD), levando a falsos negativos ou positivos, o que pode ser perigoso em aplicações clínicas e agravar disparidades de saúde.
• Limitação das Abordagens Atuais: Métodos existentes de quantificação de incerteza (UQ) muitas vezes são acoplados a tarefas específicas de classificação, falham sob mudanças de dados (data drift) ou não conseguem distinguir adequadamente entre novas classes diagnósticas e artefatos de imagem.

2. Metodologia

Os autores propõem e implementam uma abordagem chamada SAGE (Supervised Autoencoders for Generalization Estimates), que utiliza uma estimativa de incerteza epistêmica composta por medidas supervisionadas e não supervisionadas.

• Arquitetura SAGE:
  • Baseada em um Autoencoder Supervisionado com um encoder (ResNet-50 pré-treinado no ImageNet), um decoder e um classificador.
  • O modelo é treinado no conjunto HAM10000 para comprimir imagens em vetores latentes (256 dimensões), reconstruir as imagens e prever a classe diagnóstica.
• Métrica de Pontuação SAGE (Multi-Critério):
  A pontuação de incerteza para uma nova imagem é calculada como a média geométrica das probabilidades de excedência de três medidas distintas:
  1. Distância Latente (kNN): Distância L1 no espaço de embedding latente até os $k=20$ vizinhos mais próximos do conjunto de treinamento.
  2. Confiança do Classificador: Probabilidade softmax máxima (confiança da predição de classe).
  3. Erro de Reconstrução: Erro quadrático médio (MSE) entre a imagem original e a imagem reconstruída pelo decoder.
• Conjuntos de Dados:
  • Treinamento: HAM10000 (Austrália/A Áustria).
  • Teste/Validação: Quatro conjuntos de dados externos de cinco países: HIBA (Argentina), UFES (Brasil), DDI (EUA) e MILK10K (Austrália, Áustria, Macedônia do Norte, Turquia, EUA).
  • OOD Extremo: Caltech101 (objetos não relacionados à pele) para testar detecção de OOD semântico.
• Análise Adicional:
  • Anotação Manual: 12 características de imagem (ex: presença de régua, flash, densidade de cabelo, fundo não cutâneo) foram anotadas manualmente para correlacionar com pontuações SAGE.
  • Benchmarking: Comparação do SAGE com métodos tradicionais de UQ (MSP, Mutual Information, Entropia de Dropout) e modelos ensemble ResNet-50.

3. Contribuições Principais

• Método SAGE: Introdução de uma métrica de incerteza desacoplada que atua simultaneamente como detector de OOD e filtro para seleção de predição, sem depender exclusivamente da saída do classificador final.
• Análise de Viés e Qualidade: Demonstração de que artefatos de imagem (como régua, flash e cabelo) e diferenças de tonalidade de pele impactam significativamente a pontuação de incerteza, muitas vezes mais do que a própria fisiologia da lesão.
• Validação Global: Avaliação robusta da generalização de modelos de ML em uma coorte global diversificada, incluindo múltiplas tecnologias de imagem e populações de pele variadas.
• Ferramenta de Interação: Proposta de usar o SAGE como uma extensão de "Model Cards" (cartões de modelo), permitindo que usuários interajam com exemplos para entender como seus dados diferem da distribuição de treinamento.

4. Resultados

• Desempenho na Detecção de OOD:
  • O SAGE superou ou empatou com os melhores métodos de referência (MSP, MI, Entropia) em todos os níveis de dificuldade de mudança de distribuição.
  • Destacou-se na detecção de desvios semânticos extremos (AUROC = 1.00) e em mudanças combinadas de modalidade e classe (AUROC = 0.92).
  • O ensemble de modelos SAGE foi superior a membros individuais do ensemble.
• Correlação com Artefatos:
  • Imagens com artefatos como régua, flash de câmera, cabelo denso e fundo não cutâneo apresentaram pontuações SAGE significativamente mais altas (indicando maior incerteza/fora da distribuição).
  • A presença de régua aumentou a pontuação SAGE em 6,11% para pele clara e 9,77% para pele escura, sugerindo um viés de contraste que afeta a percepção do modelo.
• Melhoria na Predição de Malignidade:
  • Ao filtrar imagens com pontuação SAGE alta (acima de um limiar definido para 90% de recall no treinamento), o desempenho de um modelo preditor de malignidade separado melhorou.
  • Redução de Viés: O filtro SAGE melhorou o desempenho (AUROC) para pacientes com pele escura (de 0.68 para 0.78), superando o desempenho de pele clara após o filtro, embora com uma redução na cobertura de dados (apenas 16,42% das imagens foram mantidas).
• Novas Classes Malignas:
  • Lesões malignas não vistas durante o treinamento (ex: linfoma de células T, sarcoma de Kaposi) tendiam a ter baixa incerteza intrínseca no modelo preditor, tornando a seleção difícil. No entanto, o SAGE conseguiu identificar e filtrar a maioria dessas falsas negativas (captura média de 81% de exemplos de FN).

5. Significado e Conclusão

O estudo demonstra que a estimativa de incerteza multi-critério, baseada em autoencoders supervisionados, é uma ferramenta poderosa para garantir a segurança e a equidade na implementação clínica de IA para dermatologia.

• Segurança Clínica: O SAGE permite identificar imagens problemáticas (com artefatos ou de populações sub-representadas) antes que sejam processadas por modelos de diagnóstico, reduzindo o risco de erros médicos.
• Equidade: A abordagem ajuda a mitigar disparidades de desempenho em pacientes com tons de pele mais escuros, que frequentemente sofrem com modelos treinados em dados desbalanceados.
• Futuro: O trabalho sugere que a quantificação de incerteza deve ser um componente padrão em pipelines de ML clínico, funcionando como um "guardião" que avalia a adequação dos dados de entrada antes da predição, especialmente em cenários globais com diversidade de equipamentos e pacientes.

Limitações Notadas: A maioria dos dados ainda é de pacientes com pele mais clara; o tamanho do conjunto de dados de treinamento é relativamente pequeno para padrões de fundação moderna; e a análise não cobriu todos os tipos de artefatos ou localizações anatômicas específicas.