💻 computer science

Label-Free Foundational Model Selection for Medical Image Classification under Distribution Shift via Pseudo Label Discrepancy

Este artigo propõe o AURCC, um critério de seleção livre de rótulos baseado na discrepância de pseudo-rótulos que classifica efetivamente modelos fundacionais para classificação de imagens médicas sob mudança de distribuição sem exigir anotações ou ajuste fino no domínio alvo.

Autores originais: Juan Iñaki Larrea, Lucas Mansilla, Enzo Ferrante

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Juan Iñaki Larrea, Lucas Mansilla, Enzo Ferrante

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo do diagnóstico por imagem, os computadores tornaram-se extraordinariamente habilidosos na leitura de raios-X, muitas vezes igualando o desempenho de especialistas humanos. Esses sistemas são treinados em vastas bibliotecas de imagens, aprendendo a identificar sinais de doenças como a pneumonia. No entanto, um problema significativo surge quando esses sistemas treinados são transferidos de um hospital para outro. Assim como um motorista acostumado com as estradas largas e ensolaradas de um país pode ter dificuldades nas ruas estreitas e chuvosas de outro, um modelo de inteligência artificial treinado com dados de um hospital frequentemente falha ao ser confrontado com os diferentes scanners, populações de pacientes ou protocolos de imagem de uma nova instalação. Essa mudança nas condições é conhecida como deslocamento de distribuição (distribution shift), e pode fazer com que a precisão de um modelo caia drasticamente. O dilema central para médicos e administradores hospitalares é este: se eles têm vários modelos poderosos e pré-treinados disponíveis, como saber qual funcionará melhor em seu hospital específico antes mesmo de testá-lo? A forma usual de encontrar a resposta exige testar os modelos em novas imagens e verificar os resultados contra rótulos humanos especialistas, mas obter esses rótulos é caro, demorado e, muitas vezes, impossível nos próprios ambientes que mais precisam dessa tecnologia.

Uma equipe de pesquisadores da Argentina propôs uma nova maneira de resolver esse enigma de seleção sem a necessidade de novos rótulos humanos. Eles focaram em um desafio específico: escolher o melhor modelo de raio-X de tórax para um novo hospital quando os únicos dados disponíveis desse hospital são imagens não rotuladas. Os pesquisadores construíram seu método baseando-se em uma estrutura chamada SUDO, que atua como um controle de qualidade para sistemas de IA. Em vez de perguntar "Este diagnóstico está correto?" — o que exige que um humano diga "sim" ou "não" — o método deles faz uma pergunta diferente: "A confiança do modelo em suas próprias previsões condiz com a realidade dos dados que ele está vendo?". Para fazer isso, o sistema pega as imagens não rotuladas do novo hospital e as agrupa com base no quão confiante a IA é em suas previsões. Por exemplo, ele pode agrupar todas as imagens onde a IA tem muita certeza de que há pneumonia, e outro grupo onde ela tem muita certeza de que não há.

Os pesquisadores então realizam um teste interno inteligente nesses grupos. Eles fingem, por um momento, que as imagens em um grupo específico são, na verdade, o oposto do que o modelo pensa, e verificam se a lógica do modelo se sustenta. Se o modelo for verdadeiramente confiável, sua lógica interna deve entrar em colapso ao ser forçado a aceitar uma suposição falsa sobre um grupo de imagens. Se a lógica se sustentar com muita facilidade, isso sugere que o grupo está "contaminado" com tipos mistos de imagens que o modelo não consegue distinguir bem. Ao medir o quanto a lógica do modelo oscila através de todos esses diferentes grupos de confiança, os pesquisadores calculam uma pontuação única que reflete a confiabilidade do modelo. Eles chamam essa pontuação de Área Sob a Curva de Confiabilidade-Completude (Area Under the Reliability-Completeness Curve), um número que lhes diz o quão bem o modelo provavelmente desempenhará, sem nunca ter visto um único rótulo verificado por humanos do novo hospital.

Para testar essa ideia, os pesquisadores reuniram seis modelos avançados de IA projetados para imagens médicas. Eles simularam um cenário do mundo real onde esses modelos foram treinados com dados de três hospitais de grande porte e, em seguida, solicitados a prever pneumonia em um quarto hospital distinto, onde não havia rótulos disponíveis. Eles compararam seu novo método de pontuação com a abordagem tradicional, que simplesmente classifica os modelos com base no desempenho em uma pequena amostra de dados rotulados dos hospitais de treinamento originais. Os resultados mostraram que o novo método foi altamente eficaz. Quando a quantidade de dados rotulados dos hospitais originais era grande, o método tradicional funcionava bem, como esperado. No entanto, na situação mais difícil e comum, onde os dados rotulados eram escassos — representando a realidade de muitos hospitais com recursos limitados — o novo método superou consistentemente a abordagem tradicional. Nesses cenários de poucos dados, a nova pontuação identificou corretamente o melhor modelo com um alto grau de precisão, correspondendo quase perfeitamente aos rankings de desempenho reais.

O estudo destaca um insight crucial para o futuro da IA médica: a melhor maneira de escolher um modelo para um novo ambiente nem sempre é olhar para trás, para como ele se saiu nos dados antigos, mas sim olhar para frente, para como ele se comporta nos novos dados não rotulados. Ao analisar a estrutura dos novos dados e como o modelo interage com eles, os pesquisadores encontraram uma maneira de prever o sucesso onde os métodos tradicionais falham. Essa abordagem é particularmente valiosa porque é leve e não exige computadores potentes; todo o processo pode ser executado em hardware padrão usando apenas as representações matemáticas das imagens. Embora o estudo tenha focado especificamente na detecção de pneumonia e em raios-X de tórax, o princípio subjacente oferece um caminho promissor para que hospitais adotem novas ferramentas de IA de forma segura e eficiente, garantindo que a tecnologia certa seja implementada no lugar certo, mesmo quando os especialistas necessários para verificá-la não estão disponíveis.

Resumo Técnico: Seleção de Modelo de Fundação Sem Rótulos para Classificação de Imagens Médicas sob Desvio de Distribuição

1. Declaração do Problema

A implantação de modelos de fundação (especificamente modelos de visão-linguagem como o CLIP e suas variantes biomédicas) na imagem médica enfrenta um gargalo crítico: o desvio de distribuição (distribution shift). Imagens clínicas frequentemente originam-se de diferentes instituições, scanners ou populações de pacientes em relação aos dados de treinamento, levando a uma degradação imprevisível do desempenho.

Convencionalmente, selecionar o melhor modelo para um novo domínio não rotulado requer anotações de verdade fundamental (ground-truth) para avaliar métricas de desempenho (ex: AUC). No entanto, obter tais anotações em configurações de implantação é custoso e muitas vezes inviável devido à necessidade de tempo de radiologistas especialistas. Isso cria um dilema prático: dado um conjunto de dados de origem rotulado e um domínio de destino não rotulado, como classificar candidatos a modelos de fundação pelo seu desempenho esperado no destino sem acesso a rótulos de destino?

2. Metodologia

Os autores propõem um critério de seleção sem rótulos baseado no framework SUDO, adaptado aqui para classificar múltiplos modelos candidatos. A métrica central é a Área Sob a Curva de Confiabilidade-Completude (AURCC).

O Procedimento SUDO:

Particionamento: Para um modelo candidato $\phi_m$ , os dados de destino não rotulados são particionados em $K$ bins de quantis baseados nas probabilidades de classe positiva previstas pelo modelo.
Discrepância de Pseudo-Rótulos: Para cada bin $b$ $b$ , o método constrói dois conjuntos de treinamento binários auxiliares:
- Conjunto 1: Os exemplos do bin recebem um pseudo-rótulo negativo, combinados com amostras positivas de verdade fundamental do conjunto de treinamento de origem.
- Conjunto 2: Os exemplos do bin recebem um pseudo-rótulo positivo, combinados com amostras negativas de verdade fundamental do conjunto de origem.
Avaliação Auxiliar: Um classificador de regressão logística é treinado em cada conjunto e avaliado em uma divisão de origem retida (held-out). O escore SUDO para o bin é a diferença entre as suposições negativa e positiva: $SUDO_b = s_0(b) - s_1(b)$ $S U D O_{b} = s_{0} (b) - s_{1} (b)$ .
- Um valor absoluto grande indica que o bin é dominado por uma única classe (alta confiabilidade).
- Um valor próximo a zero indica contaminação de classe (baixa confiabilidade).
Agregação: O procedimento é repetido ao longo de 300 execuções estocásticas e a média é calculada. A AURCC é computada através de uma varredura de limiares de quantis simétricos dos extremos da distribuição em direção ao centro, plotando a confiabilidade (média de $|SUDO|$ ) contra a completude (fração de amostras cobertas). A área sob esta curva serve como o escore de classificação final.

Regimes Experimentais:
O método é avaliado sob duas estratégias de adaptação usando apenas rótulos de origem:

Zero-Shot (ZS): Nenhum treinamento específico de tarefa. As probabilidades são derivadas via ensembling de prompts de texto e similaridade imagem-texto.
MLP-Probe (MP): Um Perceptron de Camadas Múltiplas (MLP) raso é treinado em embeddings de origem congelados para criar uma fronteira de decisão específica da tarefa. O procedimento SUDO então opera sobre as probabilidades geradas por este probe.

3. Principais Contribuições

Framework de Classificação Sem Rótulos: O artigo adapta o SUDO de uma ferramenta para avaliar um único sistema implantado para um mecanismo de seleção de modelos entre múltiplos modelos de fundação sem rótulos de destino.
Benchmarking Sistemático: Os autores avaliam seis modelos de fundação de raio-X de tórax (BioMedCLIP, CXR-CLIP, CheXzero, MedCLIP, MedImageInsight e CLIP-base) através de três cenários de desvio de distribuição inter-hospitalares (MIMIC-CXR, NIH ChestX-ray14 e CheXpert como origens; PadChest como destino).
Análise de Recursos Restritos: O estudo investiga explicitamente o desempenho do critério de classificação conforme o tamanho do conjunto de dados de origem rotulado diminui, simulando cenários de recursos limitados (RCS).

4. Resultados

Correlação com a Verdade Fundamental: A classificação por AURCC correlaciona-se fortemente com o desempenho real no destino (AUC $_{target}$ ). No regime MLP-Probe, a correlação de Spearman ( $\rho$ ) atinge 0,943 ( $p < 0,05$ ) em todos os cenários e contagens de bins ( $K \in \{5, 10, 20\}$ ).
Comparação com Baseline: O baseline natural de classificar modelos pela sua acurácia nos dados de origem retidos (AUC $_{source}$ ) apresenta bom desempenho quando o conjunto de dados de origem é grande (ex: $\rho = 1,000$ para MIMIC). No entanto, conforme o tamanho da origem diminui, o baseline degrada.
Vantagem em Cenários de Pequena Origem:
- Para o conjunto NIH ( $N \approx 954$ ) e CheXpert ( $N \approx 113$ ), o AURCC supera consistentemente o baseline de AUC de origem.
- Na redução extrema para $N=50$ amostras de origem retidas, o AURCC fornece uma classificação mais precisa do que o baseline de origem em todos os três cenários.
- No regime Zero-Shot, o AURCC apresenta desempenho comparável ao baseline de origem, sugerindo que a vantagem do AURCC é mais pronunciada quando a adaptação específica de tarefa (via probe MLP) permite explorar informações estruturais na distribuição de destino que um simples métrica de origem não consegue capturar.

5. Significância e Alegações

O artigo afirma que o AURCC oferece uma solução prática para o "problema da classificação sem rótulos" na implantação de IA médica. Sua principal significância reside em cenários de recursos restritos onde:

Rótulos de destino não estão disponíveis: O método não requer verdade fundamental do domínio de destino.
Rótulos de origem são escassos: Ao contrário da avaliação tradicional baseada em origem, que falha quando o conjunto de origem rotulado é pequeno, o AURCC aproveita a estrutura dos dados de destino não rotulados para manter a qualidade da classificação.
Eficiência Computacional: Todo o pipeline opera em embeddings e roda em CPU, permitindo que instituições classifiquem modelos localmente em hardware comum sem necessidade de ajuste fino (fine-tuning) caro ou transferência de dados.

Os autores observam que, embora a avaliação seja restrita a uma tarefa de classificação binária de pneumonia e um único domínio de destino (PadChest), os resultados sugerem que o AURCC captura informações estruturais sobre a distribuição de destino que vão além de simples métricas agregadas de origem, tornando-o uma ferramenta robusta para selecionar modelos de fundação sob desvio de distribuição.