Leveraging Foundation Models for Content-Based Image Retrieval in Radiology

Este trabalho demonstra que modelos de visão fundamentais, especialmente o BiomedCLIP, podem ser utilizados como extratores de recursos versáteis e sem necessidade de treinamento adicional para sistemas de recuperação de imagens médicas baseadas em conteúdo, alcançando desempenho comparável a sistemas especializados em um vasto conjunto de dados radiológicos.

O essencial

Imagine que você é um médico radiologista com uma biblioteca gigante de milhões de exames de imagem (raios-X, ressonâncias, ultrassons). Um dia, você vê um paciente com uma imagem estranha e pensa: "Já vi algo assim antes? Onde está o caso que me ajudaria a entender o que está acontecendo?"

Antigamente, encontrar essa imagem seria como procurar uma agulha num palheiro, dependendo apenas de anotações escritas (metadados) que muitas vezes estavam erradas ou faltavam.

Este artigo de pesquisa é como a chegada de um super-inteligente "bibliotecário digital" que não precisa ler os rótulos, mas consegue "olhar" para a imagem e entender o que ela representa.

Aqui está a explicação simples, usando analogias:

1. O Problema: A Biblioteca Bagunçada

Os sistemas antigos de busca por imagem funcionavam como um aluno que só estudou para uma prova específica. Se você treinava um sistema apenas para encontrar "pneumonias", ele ficava ótimo nisso, mas se você mostrasse uma imagem de "fratura", ele não sabia o que fazer. Eles eram especialistas, mas muito limitados.

Além disso, os dados médicos são difíceis de conseguir: são muitos, variados e muitas vezes não têm rótulos perfeitos.

2. A Solução: Os "Fundadores" (Foundation Models)

Os autores do artigo decidiram testar uma nova ideia: em vez de treinar um aluno do zero para cada doença, por que não usar modelos de inteligência artificial já treinados (chamados "Foundation Models")?

Pense nesses modelos como estudantes universitários brilhantes que já leram milhões de livros e viram milhões de imagens (de gatos, carros, e também de medicina) antes mesmo de você chegar. Eles já têm uma "intuição" visual. A pergunta do artigo foi: "Será que podemos pegar esses estudantes brilhantes, sem treiná-los mais nada, e usá-los para encontrar imagens médicas semelhantes?"

3. O Grande Teste (O "Campeonato")

Os pesquisadores reuniram uma biblioteca colossal: 1,6 milhão de imagens de 4 tipos diferentes (Raios-X, Tomografia, Ressonância e Ultrassom) cobrindo 161 tipos de doenças.

Eles colocaram vários desses "estudantes brilhantes" (os modelos) para competir em um jogo de "Encontre o Parecido":

• O Desafio: Mostrar uma imagem e ver se o sistema consegue encontrar as outras 10 mais parecidas da biblioteca.
• Os Concorrentes:
  • Os Clássicos: Modelos treinados apenas em fotos normais (como carros e cachorros).
  • Os Médicos: Modelos treinados especificamente em raios-X ou ressonâncias.
  • Os "Super-Inteligentes": Modelos que aprenderam a associar imagens a textos científicos (como o BiomedCLIP).

4. Os Resultados: Quem Ganhou?

• O Vencedor "Pronto para Uso": O modelo BiomedCLIP foi o campeão entre os modelos que não precisaram de treinamento extra. Ele conseguiu acertar a imagem correta em quase 60% das vezes (P@1 de 0,594).
  • A Analogia: Foi como se um generalista que leu muitos livros de medicina conseguisse encontrar casos parecidos quase tão bem quanto um especialista que passou anos estudando apenas aquele tipo de doença.
• O Campeão "Especialista": Um modelo treinado especificamente para essa tarefa (o "CVNet") ainda venceu, com 65% de acerto.
  • A Lição: O especialista treinado do zero ainda é o melhor, mas exige muito tempo, dinheiro e dados rotulados. O modelo "pronto" (BiomedCLIP) é uma alternativa incrível, rápida e barata.

5. Onde eles falharam? (As Pegadinhas)

O estudo revelou algumas limitações importantes, como se fossem "pontos cegos" do nosso bibliotecário:

• Anatomia vs. Doença: O sistema é muito bom em reconhecer partes do corpo (ex: "isso é um fêmur", "isso é um pulmão"). É como reconhecer a forma de um carro. Mas é mais difícil para ele identificar a doença específica (ex: "isso é uma fratura sutil no fêmur").
  • Por que? Porque as doenças podem ser sutis e variadas, enquanto o formato do osso é sempre o mesmo. O sistema se perde nas nuances.
• O Tipo de Imagem Importa: O sistema funcionou muito bem em Ultrassom (quase 82% de acerto) e Tomografia, mas teve mais dificuldade com Raios-X.
  • A Analogia: Raio-X é como uma foto de um bolo achatado (2D); você vê tudo misturado. Já a Tomografia é como ver fatias do bolo, onde você consegue ver o interior. É mais fácil para o computador entender a "fatia" do que o "bolo achatado".

6. O Tamanho da Biblioteca Importa?

Eles descobriram que, para cada tipo de doença, você precisa de cerca de 1.000 exemplos na biblioteca para o sistema começar a ficar muito bom. Depois disso, adicionar mais 10.000 imagens não ajuda muito. É como estudar: depois de ver 1.000 fotos de gatos, você já sabe o que é um gato; ver mais 10.000 não vai mudar muito sua habilidade de reconhecimento.

Conclusão Simples

Este artigo diz: "Não precisamos mais reinventar a roda para cada doença."

Podemos usar modelos de inteligência artificial modernos e versáteis (como o BiomedCLIP) que já "conhecem o mundo" para ajudar médicos a encontrar casos parecidos em segundos. Eles não são perfeitos (ainda precisam de ajuda para achar doenças sutis), mas são práticos, rápidos e não exigem que os médicos gastem anos rotulando dados.

É um passo gigante para transformar a radiologia em uma área onde a IA atua como um assistente inteligente, capaz de navegar por milhões de imagens e trazer a informação certa na hora certa, sem precisar de um treinamento personalizado para cada hospital.

Resumo técnico

1. O Problema

A Recuperação de Imagens Baseada em Conteúdo (CBIR) tem o potencial de revolucionar o auxílio diagnóstico e a pesquisa em radiologia, permitindo a busca de imagens relevantes baseada em características visuais e contextuais, em vez de apenas metadados ou descrições textuais. No entanto, os sistemas CBIR atuais enfrentam limitações críticas:

• Especialização Excessiva: A maioria dos sistemas é treinada em um conjunto limitado de patologias, o que impede sua generalização para condições não vistas durante o treinamento.
• Falta de Versatilidade: A radiologia moderna lida com uma vasta gama de modalidades (RX, CT, RM, US) e patologias, exigindo sistemas mais gerais.
• Desafios de Dados: A criação de modelos gerais é dificultada pela heterogeneidade dos dados, privacidade, anotações limitadas e o "gap semântico" entre características visuais de baixo nível e o entendimento clínico de alto nível.

O artigo propõe investigar se os Modelos de Fundação (Foundation Models) de visão computacional, pré-treinados em larga escala, podem servir como extratores de características "prontos para uso" (off-the-shelf) eficazes para CBIR em radiologia, eliminando a necessidade de treinamento específico para cada tarefa.

2. Metodologia

Conjunto de Dados

Os autores criaram um conjunto de dados combinado e abrangente para o benchmark, agregando quatro conjuntos de dados públicos:

• NIH14, MIMIC-CXR, CheXpert e RadImageNet.
• Escala: Mais de 1,6 milhão de imagens 2D.
• Diversidade: 4 modalidades (Tomografia Computadorizada - CT, Ressonância Magnética - MR, Raio-X - XR, Ultrassom - US), 12 regiões anatômicas e 185 classes (161 patológicas e 24 anatômicas).
• O conjunto reflete a distribuição de cauda longa real da prática clínica, com classes desbalanceadas.

Modelos Avaliados

O estudo avaliou uma gama diversificada de modelos de fundação, categorizados por sua estratégia de treinamento:

• Supervisionados: ResNet, ViT (treinados no ImageNet), Ark (específico para RX de tórax), SAM e MedSAM (segmentação).
• Fracamente Supervisionados (CLIP-based): CLIP, MedCLIP, BiomedCLIP e BMC-CLIP. Estes alinham imagens e texto em um espaço de embedding compartilhado.
• Auto-supervisionados: MAE, DINOv2 e RAD-DINO.

Pipeline de Recuperação

O fluxo de trabalho adotou uma abordagem off-the-shelf (sem ajuste fino):

1. Pré-processamento: Redimensionamento das imagens para as dimensões de entrada do modelo.
2. Extração de Características: Geração de embeddings densos usando os codificadores de visão dos modelos de fundação.
3. Normalização: Normalização $L_2$ dos vetores para permitir comparação por similaridade de cosseno.
4. Indexação: Armazenamento em um banco de dados vetorial (FAISS).
5. Recuperação: Para uma imagem de consulta, calcula-se a similaridade com os vetores do índice e recuperam-se os $N$ mais próximos.

Métricas de Avaliação

• Precisão em N (P@N): Calculada tanto como média micro (amostra a amostra) quanto macro (classe a classe) para lidar com o desbalanceamento de classes.
• Análise de Espaço de Embedding: Uso de classificação k-NN e Linear Probing para avaliar a qualidade do agrupamento e a separabilidade linear das características.
• Comparativo: Os modelos de fundação foram comparados contra um modelo especialista treinado especificamente para CBIR (CVNet) no mesmo conjunto de dados.

3. Principais Contribuições

1. Benchmark Abrangente: Avaliação de modelos de fundação em um dataset de 1,6 milhão de imagens cobrindo múltiplas modalidades e patologias, um dos mais completos da área.
2. Validação de Modelos Fracamente Supervisionados: Identificação de que modelos como BiomedCLIP são altamente eficazes para CBIR sem necessidade de treinamento adicional, alcançando desempenho comparável a sistemas especializados.
3. Análise de Impacto do Tamanho do Índice: Investigação de como o número de amostras por classe no índice afeta o desempenho, identificando um ponto de saturação.
4. Caracterização do Espaço de Embedding: Análise quantitativa e qualitativa (via t-SNE) de como diferentes modelos capturam características modais, anatômicas e patológicas.
5. Distinção Anatômica vs. Patológica: Investigação detalhada das dificuldades específicas na recuperação de estruturas patológicas em comparação com anatômicas.

4. Resultados Chave

• Desempenho Geral: O BiomedCLIP foi o melhor modelo de fundação, alcançando um P@1 de 0,594 (média micro), seguido de perto pelo BMC-CLIP (0,592).
• Comparação com Especialistas: Embora os modelos de fundação tenham desempenho notável, o modelo especialista treinado (CVNet-Global101) superou todos eles, alcançando um P@1 de 0,650. Isso indica que, embora os modelos de fundação sejam versáteis, o treinamento específico ainda oferece ganhos de precisão.
• Desempenho por Modalidade:
  • Ultrassom (US): Melhor desempenho geral (P@1 até 0,817).
  • Raio-X (XR): Pior desempenho (P@1 ~0,395), devido à natureza de projeção 2D que oculta detalhes. Curiosamente, o modelo Ark (treinado apenas em RX) superou os modelos de fundação gerais nesta modalidade específica.
• Anatomia vs. Patologia: Houve uma discrepância significativa. A recuperação de classes anatômicas foi muito superior (P@1 ~0,812) à de classes patológicas (P@1 ~0,451). Os modelos conseguem distinguir melhor estruturas gerais do que nuances patológicas sutis.
• Tamanho do Índice: O desempenho da recuperação satura em torno de 1.000 amostras por classe. Adicionar mais dados além desse ponto não melhora significativamente o P@1, sugerindo que o limite atual é a capacidade do modelo de generalizar, e não a quantidade de dados.
• Espaço de Embedding: Modelos baseados em CLIP (especialmente BiomedCLIP) mostraram excelente capacidade de agrupamento (clustering) de imagens médicas. O Linear Probing indicou que o modelo Ark preserva melhor as características relevantes para a classe, apesar de ter menor desempenho geral em recuperação direta.

5. Significado e Conclusão

O estudo demonstra que os Modelos de Fundação de Visão, particularmente aqueles treinados com aprendizado fraco supervisionado em pares imagem-texto biomédicos (como BiomedCLIP), são ferramentas poderosas e versáteis para sistemas de CBIR em radiologia.

• Viabilidade Prática: Eles oferecem uma alternativa escalável e prática para cenários com dados escassos ou recursos limitados, onde o treinamento de modelos especializados é inviável.
• Mudança de Paradigma: O trabalho sugere uma transição para sistemas de recuperação de imagens médicas mais gerais, que não exigem ajuste fino específico para cada patologia.
• Desafios Remanescentes: A principal limitação identificada é a dificuldade em recuperar características patológicas sutis em comparação com as anatômicas.
• Direções Futuras: Os autores sugerem que o futuro da CBIR em radiologia deve focar em:
  1. Pré-treinamento em larga escala com dados de alta qualidade e texto específico do domínio.
  2. Uso de representações globais de modelos de fundação em estágios de re-ranking de sistemas de dois estágios.
  3. Desenvolvimento de mecanismos para guiar a atenção do modelo para regiões de interesse (patologias) específicas, superando a limitação atual de adaptação dinâmica.

Em suma, embora os sistemas especializados ainda detenham a maior precisão absoluta, os modelos de fundação provaram ser uma base robusta e promissora para a construção de sistemas de recuperação de imagens médicos mais abrangentes e acessíveis.