⚡ electrical engineering

Robustness of transferability estimation metrics for medical imaging

Este artigo investiga a robustez das métricas de estimativa de transferibilidade em imagens médicas, revelando que seu desempenho é altamente sensível a variações na composição do conjunto de dados alvo e nas métricas de avaliação, resultando, em última análise, em uma baixa concordância entre as classificações preditas e as reais dos modelos.

Autores originais: Niclas Claßen, Théo Sourget, Dovile Juodelyte, Rob van der Goot, Veronika Cheplygina

Publicado 2026-08-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Niclas Claßen, Théo Sourget, Dovile Juodelyte, Rob van der Goot, Veronika Cheplygina

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a reconhecer diferentes tipos de frutas. Você tem um robô superinteligente que já sabe separar maçãs, laranjas e bananas de uma enorme biblioteca de fotos. Isso é chamado de Transfer Learning (Aprendizado por Transferência): você pega um modelo treinado para um grande trabalho (a "fonte") e tenta reutilizá-lo para um novo trabalho menor (o "alvo"), como separar frutas tropicais raras e de formatos estranhos. Isso economiza tempo e energia porque você não precisa ensinar o robô do zero.

Mas aqui está a parte complicada: você tem uma prateleira inteira de robôs pré-treinados diferentes. Um foi treinado com frutas, outro com carros e um terceiro com arte abstrata. Qual deles você deve escolher para ajudar a separar suas frutas tropicais? Para responder a isso, cientistas inventaram métricas de Transferability Estimation (TE) (Estimativa de Transferibilidade). Pense nessas métricas como "bolas de cristal" ou "testadores de compatibilidade". Elas tentam prever, sem realmente fazer o trabalho duro de retreinar, qual robô pré-treinado funcionará melhor na sua nova tarefa. O objetivo é economizar tempo e dinheiro escolhendo o vencedor antes de começar a corrida.

No entanto, no mundo das imagens médicas — onde usamos IA para detectar doenças em raios-X ou exames de pele — as coisas ficam complicadas. Os dados médicos são frequentemente escassos e desequilibrados (há muito mais exames saudáveis do que doentes). Pesquisadores têm usado essas "bolas de cristal" para escolher a melhor IA médica, mas notaram algo estranho: às vezes, a bola de cristal diz que o Robô A é o melhor, e outras vezes diz que é o Robô B. Este artigo faz uma pergunta simples e persistente: essas bolas de cristal são realmente confiáveis ou estão apenas reagindo a mudanças minúsculas e aleatórias nos dados?

O Grande Teste da Bola de Cristal

Neste estudo, os autores decidiram submeter esses "testadores de compatibilidade" a um rigoroso teste de estresse. Eles trataram o problema como um jogo de dança das cadeiras, mas, em vez de cadeiras, estavam usando diferentes fatias de dados de imagens médicas.

A Configuração: Populações em Miniatura
Imagine que você tem um pote gigante de jujubas misturadas representando um conjunto de dados médicos (como uma coleção de raios-X de tórax). Normalmente, os pesquisadores poderiam pegar um punhado de jujubas para testar suas teorias. Mas e se esse punhado tivesse majoritariamente jujubas vermelhas, enquanto o próximo punhado tivesse majoritariamente azuis? Os resultados pareceriam totalmente diferentes, embora o pote seja o mesmo.

Para testar isso, os pesquisadores criaram "populações em miniatura". Eles pegaram seus conjuntos de dados médicos e os fatiaram em diferentes tamanhos (5%, 10%, 25%, até 100%). Crucialmente, eles não pegaram apenas uma fatia; eles pegaram cinco fatias diferentes do mesmo tamanho usando diferentes sementes aleatórias (como sacudir o pote de formas diferentes a cada vez). Eles então perguntaram: "Se executarmos nossos testes de bola de cristal nessas diferentes fatias, obteremos o mesmo vencedor?"

Os Resultados: As Bolas de Cristal são Instáveis
Os resultados foram reveladores. Os autores descobriram que as classificações produzidas por essas métricas de TE são incrivelmente sensíveis a pequenas mudanças.

O Efeito da "Semente": Se eles mudassem a semente aleatória apenas um pouco, a ordem dos melhores modelos mudaria. Um modelo que era classificado como nº 1 em uma fatia poderia cair para o nº 5 em outra fatia do mesmo tamanho.
O Tamanho Importa: Quanto menor a fatia de dados (menos jujubas no punhado), mais caóticas se tornavam as classificações. Para conjuntos de dados muito pequenos, as "bolas de cristal" não conseguiam concordar em nada.
A Armadilha da Métrica: Os pesquisadores também testaram o que acontece se você julgar o "vencedor" usando regras diferentes. Na imagem médica, muitas vezes nos preocupamos com a AUROC (uma pontuação que lida bem com classes desiguais) em vez de apenas a Acurácia (acertar o maior número de respostas). Eles descobriram que, se você mudar o julgamento de Acurácia para AUROC, toda a classificação dos modelos muda. Um modelo que era o nº 2 sob uma regra pode ser o nº 11 sob a outra.

O Veredito: Sem um Vencedor Claro
Quando os pesquisadores compararam as previsões das métricas de TE com o desempenho real dos modelos (a "classificação de referência"), a concordância foi surpreendentemente baixa. Mesmo quando usaram o conjunto de dados completo (100% dos dados), as métricas de TE não escolheram consistentemente os modelos corretos.

O artigo sugere que o problema não é apenas que os dados médicos são difíceis; é que as ferramentas que usamos para prever o sucesso são frágeis. Elas mudam de ideia baseadas em:

Quanto dado você fornece a elas.
Qual fatia aleatória de dados você escolhe.
Qual regra de pontuação (Acurácia vs. AUROC) você usa para decidir quem venceu.

O Que Isso Significa para o Futuro
Os autores não estão dizendo que essas métricas são inúteis, mas estão alertando que não podemos confiar nelas cegamente. Se um pesquisador escolher uma única fatia aleatória de dados e uma única regra de pontuação para declarar um "melhor" modelo, ele pode estar vendo um acaso, e não uma verdade. O estudo conclui que, para a imagem médica, precisamos ser muito mais cuidadosos. Não podemos apenas olhar para uma única execução de teste; precisamos entender que essas "bolas de cristal" são sensíveis aos detalhes minúsculos de como configuramos nossos experimentos. Até que corrijamos essa sensibilidade, escolher o modelo pré-treinado certo para a IA médica continua sendo um pouco de sorte ou azar.

Resumo Técnico: Robustez de Métricas de Estimativa de Transferibilidade para Imagens Médicas

Definição do Problema
O aprendizado por transferência (TL) é um paradigma padrão na classificação de imagens médicas devido à escassez de dados, mas selecionar o modelo pré-treinado ideal para uma tarefa alvo específica continua sendo um desafio significativo. Embora as métricas de Estimativa de Transferibilidade (TE) visem prever o melhor modelo de origem sem o custo computacional de ajustar todos os candidatos, sua confiabilidade é questionável. Pesquisas anteriores relataram desempenhos conflitantes de métricas de TE, frequentemente atribuídos a variações nos setups experimentais. Além disso, a maioria das métricas de TE é projetada e avaliada em imagens naturais (ex: ImageNet) usando a acurácia como métrica primária. Em contraste, a imagem médica frequentemente requer robustez ao desequilíbrio de classes, tipicamente medido pela Área Sob a Curva Característica de Operação do Receptor (AUROC). A literatura atual carece de uma investigação sistemática sobre como as métricas de TE se comportam quando a representação do conjunto de dados alvo varia (ex: tamanho da amostra, semente aleatória) e como a escolha da métrica de avaliação para o ranking de referência influencia a avaliação da métrica de TE.

Metodologia
Os autores conduziram um estudo sistemático utilizando a coleção de conjuntos de dados MedMNIST v2 (composta por conjuntos de dados de imagens biomédicas 2D) e ImageNet como um pool de origem. O estudo é dividido em dois experimentos primários:

Impacto da Representação do Conjunto de Dados Alvo (Ex1):
- Populações em Miniatura: Os autores construíram "populações em miniatura" a partir de oito conjuntos de dados alvo, amostrando 5%, 10%, 25%, 50% e 75% dos dados de treinamento. Esses subconjuntos foram estratificados por rótulo de classe para manter a distribuição e gerados usando cinco sementes aleatórias diferentes para testar a estabilidade.
- Métricas Avaliadas: Sete métricas de TE existentes foram testadas: H-score, LEEP, NLEEP, LogME, NCTI, PARC e SFDA.
- Medidas de Estabilidade: O estudo mediu a estabilidade intra-métrica (concordância de rankings entre diferentes sementes aleatórias para o mesmo tamanho de subconjunto), a estabilidade de referência (concordância entre o ranking do subconjunto e o ranking do conjunto de dados completo) e a estabilidade inter-métrica (concordância entre diferentes métricas de TE).
- Coeficientes de Correlação: Para evitar o viés de uma única métrica, os autores utilizaram o coeficiente de correlação de postos de Spearman ( $\rho$ ), o Tau de Kendall ( $\tau$ ) e o Tau de Kendall ponderado ( $\tau_w$ ).
Influência da Métrica de Avaliação para o Ranking de Referência (Ex2):
- Rankings de Referência: Modelos de origem foram ajustados nos conjuntos de treinamento alvo completos. O desempenho resultante foi classificado duas vezes: uma otimizando para Acurácia e outra para AUROC.
- Comparação: Os rankings gerados pelas métricas de TE foram comparados contra esses dois rankings de referência distintos para determinar se as métricas de TE são robustas à escolha da métrica de desempenho de verdade fundamental (ground-truth).

Principais Contribuições
O artigo apresenta três contribuições principais:

Sensibilidade a Variações de Conjunto de Dados: O estudo demonstra que as métricas de TE são altamente sensíveis a pequenas variações no conjunto de dados alvo, incluindo mudanças no tamanho da amostra e nas sementes aleatórias. Os rankings dos modelos de origem flutuam significativamente mesmo dentro do mesmo conjunto de dados ao usar diferentes sementes aleatórias.
Impacto da Métrica de Avaliação: Os autores mostram que a escolha da métrica de avaliação (Acurácia vs. AUROC) altera fundamentalmente o ranking de referência dos modelos de origem. Consequentemente, a avaliação de qual métrica de TE é a "melhor" depende fortemente de qual ranking de referência é utilizado.
Benchmarking: O trabalho fornece resultados de benchmark para o MedMNIST, destacando que as métricas de TE atuais apresentam baixa concordância com os rankings de referência em contextos de imagem médica, independentemente da métrica de avaliação utilizada.

Resultados

Instabilidade: Os rankings das métricas de TE não são estáveis entre diferentes sementes aleatórias ou tamanhos de subconjuntos. Por exemplo, um modelo de origem pode ser classificado em primeiro lugar em uma semente aleatória e em quinto em outra para o mesmo conjunto de dados alvo (ex: Breast).
Comportamento Específico da Métrica: Embora o LEEP tenha mostrado uma consistência relativamente maior em conjuntos de dados menores, o H-score exibiu a menor estabilidade. Algumas métricas (NLEEP, SFDA) produziram valores NaN ou falharam em diferenciar modelos em conjuntos de dados específicos devido a limitações matemáticas (ex: matrizes de covariância mal condicionadas ou matrizes de dispersão de posto deficiente).
Baixa Concordância: Há uma concordância consistentemente baixa entre os rankings produzidos pelas métricas de TE e os rankings de referência (tanto Acurácia quanto AUROC). Essa baixa concordância persiste mesmo ao usar 100% dos dados de treinamento, sugerindo que o problema não é meramente uma questão de escassez de dados, mas uma limitação específica do domínio.
Dependência da Métrica de Avaliação: O próprio ranking de referência é instável; modelos classificados alto por Acurácia são frequentemente classificados de forma diferente por AUROC. Como as métricas de TE são tipicamente otimizadas para rankings baseados em acurácia, elas falham em prever de forma confiável o desempenho quando a AUROC é o alvo.

Significância e Alegações
Os autores alegam que a baixa confiabilidade das métricas de TE em imagens médicas não se deve apenas à escolha da métrica de avaliação, mas é uma questão mais ampla e específica do domínio. O estudo desafia a prática atual de confiar em experimentos de semente aleatória única ou métricas de avaliação únicas para validar métodos de TE. As descobertas sugerem que as métricas de TE existentes, amplamente desenvolvidas para imagens naturais, não se generalizam de forma robusta para tarefas de imagem médica, onde os dados são escassos e o desequilíbrio de classes é prevalente. O artigo conclui que trabalhos futuros devem considerar a instabilidade das representações de conjuntos de dados alvo e a sensibilidade dos rankings de referência antes que as métricas de TE possam ser consideradas ferramentas confiáveis para a seleção de modelos de origem em aplicações médicas.

O Grande Teste da Bola de Cristal

Mais como este