Unsupervised Source-Free Ranking of Biomedical Segmentation Models Under Distribution Shift

Título: Classificação Não Supervisionada e Livre de Fonte de Modelos de Segmentação Biomédica sob Mudança de Distribuição

1. O Problema

A reutilização de modelos pré-treinados é uma solução promissora para os desafios de segmentação em imagens biomédicas, onde a anotação de dados é cara e demorada. No entanto, com o surgimento de repositórios de modelos (como o BioImage Model Zoo) e modelos generalistas, surge um problema crítico: como selecionar o modelo mais adequado para um novo conjunto de dados-alvo sem acesso às anotações (rótulos) desse alvo?

Desafios específicos identificados:

• Falta de métodos de classificação confiáveis: A maioria das métricas existentes depende de dados rotulados, acesso ao espaço de características (feature space) ou assume que o modelo foi ajustado (fine-tuned).
• Limitações na Segmentação de Instâncias: Métodos derivados de classificação falham ao tentar estimar a transferibilidade para segmentação de instâncias, pois as etiquetas de instância são permutáveis e dependem de pós-processamento, não tendo correspondência fixa no espaço de características.
• Cenário Realista: A aplicação prática exige métodos não supervisionados (sem rótulos no alvo), livres de fonte (sem acesso aos dados ou rótulos de treinamento originais) e agnósticos ao modelo (funcionando com caixas pretas).

2. Metodologia: CMR (Consistency Model Ranking)

Os autores propõem o CMR, um framework que classifica modelos baseando-se na consistência das previsões sob perturbações. A premissa central é que um modelo que se transfere bem para um domínio alvo terá margens de decisão mais robustas, resultando em previsões estáveis mesmo quando a entrada ou as características são levemente perturbadas.

Principais componentes da metodologia:

• Perturbações: O método aplica perturbações tanto no espaço de entrada (imagens) quanto no espaço de características (features).
  • Espaço de Entrada: Adição de ruído gaussiano, correção gamma, ajustes de brilho e contraste.
  • Espaço de Características: Uso de Dropout no Teste (Test-Time Dropout - TTD) em camadas intermediárias ou de gargalo (bottleneck) da rede, mantendo os pesos congelados.
• Métricas de Consistência:
  • Para Segmentação Semântica:
    • CMR-EI (Soft): Baseado na invariância efetiva, medindo a sobreposição probabilística entre previsões perturbadas e não perturbadas.
    • CMR-NHD (Hard): Baseado na distância de Hamming normalizada, contando a proporção de pixels que mudam de classe (foreground restrito) entre as previsões.
  • Para Segmentação de Instâncias:
    • CMR-ARS: Como as etiquetas de instância não são fixas, não é possível comparar pixels diretamente. O método utiliza o Adapted Rand Score (ARS) restrito ao foreground, medindo o acordo entre pares de pixels atribuídos à mesma instância nas previsões perturbada e original.
• Processo de Classificação: Para cada modelo candidato, calcula-se a pontuação de consistência média (ou mediana) sobre várias perturbações. Os modelos são então ordenados de forma decrescente por essa pontuação.

3. Contribuições Principais

1. Primeiro Método Unificado: Introdução do primeiro método não supervisionado e livre de fonte capaz de classificar tanto modelos de segmentação semântica quanto de segmentação de instâncias.
2. Agnosticismo Total: O método opera apenas sobre as previsões finais (output), não requerendo acesso aos pesos internos, arquitetura específica ou dados de treinamento (caixa preta). Isso o torna compatível com APIs de inferência e containers.
3. Validação em Cenários Diversos: Avaliação extensiva em tarefas biomédicas reais (núcleos, células, mitocôndrias) em 2D e 3D, incluindo microscopia de luz e eletrônica, e volumes de tomografia computadorizada (CBCT).
4. Aplicabilidade Prática: Demonstração de sucesso na recriação das classificações de desafios públicos (como o ToothFairy2) sem acesso aos rótulos de teste, validando sua utilidade para seleção de modelos em repositórios.

4. Resultados

Os experimentos demonstraram que o CMR supera consistentemente as métricas de transferência supervisionadas (como LEEP, LogME, H-score) e métodos de validação de adaptação de domínio (como Transfer Score), mesmo quando essas métricas têm acesso a rótulos de destino.

• Correlação com Desempenho Real: O CMR apresentou forte correlação (Pearson, Spearman e Kendall) com a pontuação real de desempenho (F1-score ou mAP) no domínio alvo.
  • Segmentação Semântica: Correlações de Kendall ($K_\tau$) variando de 0.69 a 0.91 em diferentes tarefas, superando significativamente os baselines (que frequentemente apresentavam correlações próximas a zero ou negativas).
  • Segmentação de Instâncias: O CMR-ARS superou o método SEG (baseado em ensemble), que falha em capturar a qualidade pixel a pixel de objetos irregulares.
• Robustez: O método manteve alta correlação sob uma ampla gama de intensidades de perturbação (ruído, dropout), indicando que não é necessário um ajuste fino preciso dos parâmetros de perturbação.
• Adaptação de Domínio Não Supervisionada (UDA): O método também foi eficaz na classificação de modelos após a aplicação de técnicas de UDA (como Mean Teacher e AdaBN), ajudando a selecionar a melhor adaptação sem rótulos.
• Eficiência: O método requer apenas duas passagens de inferência por imagem (uma original e uma perturbada), sendo computacionalmente eficiente e leve em memória (especialmente a variante CMR-EI que não precisa armazenar todas as probabilidades softmax).

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica no ecossistema de IA biomédica. À medida que repositórios de modelos crescem, a capacidade de selecionar automaticamente o melhor modelo para um novo conjunto de dados sem anotação torna-se essencial.

• Viabilidade para Reutilização: Permite que pesquisadores e clínicos aproveitem modelos pré-treinados de forma segura e eficiente, reduzindo a necessidade de anotação massiva de dados.
• Independência de Arquitetura: Ao não depender do acesso interno ao modelo, o método é aplicável a qualquer modelo disponível em repositórios públicos, incluindo grandes modelos generalistas (como µSAM e Cellpose-SAM).
• Padrão para Avaliação: Estabelece um novo padrão para avaliação de transferibilidade em tarefas de segmentação complexas, onde métodos baseados em classificação falham.

Em resumo, o CMR oferece uma ferramenta prática, robusta e teoricamente fundamentada para a gestão de modelos em cenários de distribuição deslocada, facilitando a adoção de IA em ambientes biomédicos onde os dados rotulados são escassos.