💻 computer science

Benchmarking the Domain Gap: Model Selection Instability Under Domain Shift in Video Capsule Endoscopy

Este artigo demonstra que a seleção de modelos para endoscopia de cápsula de vídeo é altamente instável sob deslocamento de domínio, uma vez que os rankings de desempenho intra-domínio falham em prever consistentemente os resultados entre alvos em diferentes conjuntos de dados, necessitando de uma mudança em direção à avaliação da estabilidade de ranking entre alvos em vez do desempenho máximo em um único conjunto de dados.

Autores originais: Dan Hanson, Debesh Jha

Publicado 2026-07-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Dan Hanson, Debesh Jha

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a reconhecer diferentes tipos de frutas. Você mostra a ele milhares de fotos de maçãs, laranjas e bananas tiradas na sua própria cozinha, sob as suas luzes específicas, com a sua câmera específica. O robô fica muito bom nisso! Ele se torna um mestre das frutas na sua cozinha. Mas então, você leva esse mesmo robô para a casa de um amigo. A cozinha deles tem uma iluminação diferente, a câmera deles é um modelo diferente e, talvez, eles classifiquem o termo "maduro" de forma diferente de você. De repente, o robô que era o campeão na sua cozinha pode tropeçar em uma banana que parece ligeiramente diferente, enquanto um robô que você considerava medíocre subitamente brilha. Este é o cerne de um problema chamado "deslocamento de domínio" (domain shift) na ciência da computação. É a lacuna entre o quão bem um modelo de computador funciona no laboratório onde foi treinado versus o quão bem ele funciona no mundo real bagunçado onde é realmente usado. No mundo médico, isso importa muito. Se um médico depender de uma IA para detectar problemas dentro do corpo de um paciente, essa IA precisa ser inteligente não apenas para um hospital específico, mas para qualquer hospital, com qualquer câmera e qualquer paciente.

Este artigo mergulha profundamente nesse exato problema, mas, em vez de frutas, os robôs estão olhando para cápsulas de vídeo — pequenas câmeras do tamanho de uma pílula que os pacientes engolem para tirar fotos de seus interiores. Os pesquisadores queriam saber: se escolhermos o "melhor" modelo de IA com base em como ele performa em um conjunto de dados específico (uma coleção de imagens), esse mesmo modelo ainda será o melhor quando o testarmos em um conjunto de imagens completamente diferente de outro hospital? Eles não apenas adivinharam; eles realizaram um experimento massivo. Eles pegaram 11 diferentes arquiteturas de "cérebro" (os motores centrais que alimentam a IA) e as treinaram em um conjunto padrão de vídeos de cápsulas. Depois, testaram esses mesmos cérebros treinados em dois outros conjuntos de vídeos totalmente diferentes.

Aqui está a reviravolta que encontraram: o "melhor" modelo depende inteiramente de quem você pergunta. Quando classificaram os modelos com base no primeiro conjunto de dados, o melhor desempenho foi de um modelo chamado Swin-B. Ele foi o vencedor claro. Mas quando pegaram esse mesmo modelo Swin-B e o testaram em um segundo conjunto de dados, ele caiu para o quinto lugar. Enquanto isso, um modelo chamado ConvNeXt-Base, que estava apenas em sétimo no primeiro teste, tornou-se o campeão número um no segundo teste. É como se você tivesse realizado uma corrida de manhã e o vencedor fosse um velocista, mas quando realizasse a corrida à tarde em uma pista diferente, um maratonista venceria. O artigo mostra que não existe um único modelo "bala de prata" que vença em todos os lugares. Se você escolher um modelo apenas porque ele tem a pontuação mais alta em um teste específico, você pode estar escolhendo o errado para o próximo hospital que visitar.

Os pesquisadores também tentaram um segundo experimento. Eles treinaram um novo lote de modelos no segundo conjunto de dados e os testaram em um terceiro. O resultado foi o mesmo: as classificações continuavam mudando. Um modelo que era ótimo no segundo teste era medíocre no terceiro. Isso sugere que o "ranking" que você vê em um artigo de pesquisa é frequentemente apenas um instantâneo de quão bem um modelo se ajusta àquele quebra-cabeça específico, não uma garantia de que ele resolverá o próximo. Os autores concluem que precisamos parar de procurar pela pontuação única mais alta em um único conjunto de dados. Em vez disso, devemos procurar por modelos que sejam consistentes através de muitos testes diferentes. Se um modelo é verdadeiramente robusto, ele não deve se importar se as luzes mudam ou se a câmera muda; ele deve manter seu ranking estável. Até encontrarmos esses desempenhos constantes, escolher uma IA médica com base em uma única pontuação de teste é como escolher um guia de viagem baseando-se apenas no quanto ele conhece o seu próprio bairro — ele pode se perder no momento em que você sair da cidade.

Resumo Técnico: Avaliando o Gap de Domínio em Endoscopia por Cápsula de Vídeo

Definição do Problema
Modelos de classificação de endoscopia por cápsula de vídeo (VCE) são tipicamente desenvolvidos e selecionados com base no desempenho dentro de um único conjunto de dados. No entanto, a implantação clínica exige robustez frente a variações de fontes de aquisição, políticas de rotulagem e populações de pacientes. Existe um gap crítico na compreensão se um modelo que ocupa a posição mais alta na validação do domínio de origem permanece como o mais forte quando a fonte de avaliação muda. Os conjuntos de dados de VCE diferem significamente em sistemas de cápsula, locais clínicos, características de imagem e protocolos de anotação. Trabalhos anteriores sobre mudança de distribuição e subespecificação sugerem que preditores com desempenhos de domínio interno semelhantes podem se comportar de maneira distinta fora de suas condições de seleção. Este artigo investiga a estabilidade da seleção de modelos sob mudança de domínio em VCE, questionando especificamente se os rankings de domínio interno predizem de forma confiável o desempenho em alvos externos.

Metodologia
O estudo emprega um protocolo de ajuste fino (fine-tuning) padronizado para avaliar backbones de visão pré-treinados de domínio geral em três alvos de avaliação distintos:

Kvasir-Capsule: O domínio de origem utilizando dobras (folds) isoladas oficialmente de vídeo.
Capsule Vision 2024 (CV2024): Um conjunto de teste de desafio mantido (held-out) de uma distribuição de treinamento de fontes mistas.
Galar: Um conjunto de dados externo, multicêntrico e multissistema.

Elementos Chave do Desenho Experimental:

Backbones: 11 backbones pré-treinados de domínio geral (incluindo ResNet, DenseNet, EfficientNet, ConvNeXt, ViT, Swin, DINOv2 e CAFormer) foram ajustados finamente no Kvasir-Capsule usando um protocolo mínimo (25 épocas, AdamW, sem aumento de dados/augmentation).
Protocolo de Rótulos Compartilhados: Para permitir a comparação entre conjuntos de dados, as avaliações foram restritas a um espaço de rótulos "compartilhado-8" (Angioectasia, Sangramento, Erosão, Eritema, Corpo Estranho, Linfangiectasia, Normal, Úlcera). As predições da fonte foram projetadas neste espaço via mapeamento semântico e renormalização antes da pontuação. Resultados de espaço de rótulos nativos foram reportados separadamente, mas não foram utilizados para o ranking entre alvos.
Segunda Fonte de Treinamento: Um segundo experimento treinou 11 configurações selecionadas (focando em arquiteturas CAFormer e Swin com variadas estratégias de aumento e perda) no CV2024 para testar se a instabilidade observada era específica da fonte de treinamento Kvasir.
Métricas: O desempenho foi medido usando Macro F1, Coeficiente de Correlação de Matthews (MCC) multiclasse e mAUROC (mean one-vs-rest AUROC). A estabilidade de seleção de modelos foi analisada usando correlações de ranking de Spearman e deslocamentos de ranking.

Principais Resultados

Ranking Dependente do Alvo: O valor preditivo do ranking de domínio interno é altamente dependente do alvo.
- Os rankings do Kvasir-Capsule mostraram forte concordância com o Galar ( $\rho = 0,700$ ), mas concordância fraca com o CV2024 ( $\rho = 0,191$ ).
- Os dois alvos não-origem (CV2024 e Galar) também mostraram concordância fraca ( $\rho = 0,264$ ).
Instabilidade de Ranking: O backbone mais forte no domínio interno não liderou consistentemente entre os alvos.
- O Swin-B/384 liderou no Kvasir e Galar, mas ocupou a 5ª posição no CV2024.
- O ConvNeXt-Base liderou no CV2024, mas ficou em 7º e 9º no Kvasir e Galar, respectivamente.
- O FocalNet-Base subiu da 8ª posição no domínio interno para a 2ª no Galar.
Confirmação da Segunda Fonte: Um segundo conjunto de modelos treinados no CV2024 reproduziu essa instabilidade. O líder de macro-F1 do CV2024 (CAFormer-S18 com aumentos específicos) ocupou o 2º lugar no Galar, enquanto um modelo que ficou em 8º no CV2024 subiu para o 1º lugar no Galar.
Variabilidade: Os deslocamentos de ranking entre alvos foram significativamente maiores do que a variabilidade de execução para execução observada através de múltiplas sementes aleatórias, indicando que a instabilidade é impulsionada pela mudança de domínio, e não pelo ruído de treinamento.

Principais Contribuições

Benchmark Padronizado: Estabeleceu uma linha de base de referência forte para o ajuste fino supervisionado de 11 backbones de domínio geral no Kvasir-Capsule usando dobras oficiais.
Quantificação da Instabilidade: Avaliou os mesmos checkpoints no CV2024 e Galar sob um protocolo de rótulos compartilhados documentado, quantificando a instabilidade de ranking de backbones entre três alvos de avaliação.
Validação de Múltiplas Fontes: Reproduziu a análise de ranking de domínio interno para externo usando uma segunda fonte de treinamento (configurações treinadas no CV2024), confirmando que a instabilidade de seleção de modelos é um fenômeno geral neste domínio, e não um artefato de um único conjunto de treinamento.

Significância e Alegações
O artigo conclui que o desempenho de pico em um único conjunto de dados e a seleção de modelos transferíveis respondem a perguntas diferentes. Um modelo selecionado com base em seu ranking em um alvo não pode ser assumido como mantendo sua posição relativa sob outra distribuição. Os autores argumentam que a seleção de modelos de endoscopia por cápsula deve priorizar o relato da estabilidade de ranking entre alvos (cross-target ranking stability) através de múltiplos alvos de avaliação independentemente originados, em vez de confiar apenas no desempenho de pico em um único conjunto de dados ou em um único conjunto de teste externo. O estudo destaca que a seleção bem-sucedida contra uma distribuição deslocada pode revelar pouco sobre o desempenho em outra, e restringir a avaliação externa apenas aos modelos de maior ranking no domínio de origem pode negligenciar candidatos competitivos (ex: FocalNet-Base). Os autores disponibilizam seu protocolo de avaliação de rótulos compartilhados e o benchmark padronizado para apoiar essa prática de relato mais robusta.

Mais como este