CapCLIP: A Vision-Language Representation Alignment Approach for Wireless Capsule Endoscopy Analysis

Resumo Técnico: CapCLIP – Uma Abordagem de Alinhamento de Representação Visão-Linguagem para Análise de Endoscopia por Cápsula Sem Fio

Declaração do Problema
A Endoscopia por Cápsula Sem Fio (WCE) permite a visualização não invasiva do intestino delgado, mas enfrenta restrições clínicas significativas devido ao volume massivo de quadros gerados por exame e à dificuldade de identificar anomalias sutis sob condições de imagem altamente variáveis. As abordagens existentes de aprendizado de máquina para WCE são predominantemente apenas visuais, frequentemente restritas a conjuntos estreitos de patologias e demonstram generalização limitada entre diferentes conjuntos de dados e centros clínicos. Esses modelos tipicamente dependem de rótulos de classe fixos, resultando em saídas que carecem de interpretabilidade semântica e lutam contra deslocamentos de distribuição (por exemplo, prevalência variável de patologias, dispositivos de aquisição ou aparência da imagem). Além disso, há uma falta de frameworks multimodais específicos para o domínio da WCE, pois dados de imagem-texto naturalmente pareados (relatórios clínicos vinculados a quadros específicos) não estão disponíveis em escala, e os modelos existentes de visão-linguagem médica são frequentemente treinados em radiologia ou outras modalidades com características distintas.

Metodologia
O artigo propõe o CapCLIP, um framework de aprendizado de representação visão-linguagem específico para o domínio, projetado para alinhar quadros de WCE com descrições textuais fundamentadas clinicamente. A metodologia aborda a ausência de pares naturais imagem-texto por meio de um pipeline estruturado de geração de legendas:

1. Geração de Legendas: Rótulos ao nível do quadro são transformados em descrições textuais ricas usando modelos de legenda predefinidos, nomenclatura específica do domínio (derivada de estudos de consenso Delphi) e Modelos de Linguagem Grandes (LLMs) guiados por uma base de conhecimento contextual de literatura médica. Essas legendas codificam características visuais, semântica de patologia e relevância clínica (por exemplo, vinculando "Eritema" a "lesão vascular" ou "Anormal" a "Doença de Crohn").
2. Arquitetura: O framework adota uma arquitetura estilo CLIP com dois codificadores:
   • Codificador de Imagem: Um Vision Transformer (ViT), avaliado em duas variantes (ViT-B/16 e ViT-L/14), inicializado com pesos do OpenAI CLIP.
   • Codificador de Texto: Um Transformer de 12 camadas (semelhante à configuração original do CLIP) usando Codificação Byte-Pair (BPE).
3. Objetivo de Treinamento: O modelo é treinado usando uma perda de entropia cruzada simétrica para alinhar os embeddings de imagem e texto dentro de um espaço hiperesférico compartilhado. O treinamento utiliza mini-lotes onde pares imagem-texto correspondidos são incentivados a ter alta similaridade de cosseno, enquanto pares não correspondidos são afastados.
4. Variantes: Três modos de treinamento são explorados:
   • CapCLIP-B: Classificação binária (Normal vs. Anormal).
   • CapCLIP-M: Classificação multiclasse (rótulos de patologia específicos).
   • CapCLIP-MIX: Uma abordagem híbrida combinando ambos os emparelhamentos binários e multiclasse.

Configuração Experimental e Avaliação
O framework é avaliado sob condições zero-shot estritas usando conjuntos de dados de WCE não vistos e fora de distribuição (CrohnIPI, KID2, Galar) que não foram utilizados durante o treinamento. Os dados de treinamento consistem nos conjuntos de dados SEE-AI e Kvasir-Capsule. A avaliação compara o CapCLIP contra várias linhas de base:

• Modelos Fundamentais Apenas Visuais: EndoSSL, EndoFM, EndoFM-LV.
• Modelos de Visão-Linguagem Gerais/Médicos: CLIP (OpenAI), MedCLIP, BioMedCLIP, MedImageInsight.

O desempenho é avaliado em três tarefas downstream:

1. Classificação K-Nearest Neighbour (KNN) Zero-shot: Sondando a estrutura semântica dos embeddings visuais.
2. Classificação Imagem-Texto Estilo CLIP Zero-shot: Avaliando a capacidade discriminativa cross-modal usando prompts de texto.
3. Recuperação Texto-para-Imagem Zero-shot: Avaliando a capacidade de recuperar quadros relevantes com base em consultas textuais (tanto no nível grosseiro de "anormalidade" quanto no nível detalhado de "patologia").

Principais Resultados

• Classificação KNN: O CapCLIP superou consistentemente as linhas de base nos conjuntos de dados KID2 e CrohnIPI, com ganhos de até +11,2% no escore F1 ponderado para configurações multiclasse. No conjunto de dados Galar, o desempenho foi comparável às linhas de base, atribuído à alta redundância do conjunto de dados, o que torna a sondagem KNN menos discriminativa.
• Classificação Imagem-Texto: O CapCLIP demonstrou melhorias substanciais sobre todas as linhas de base. Na classificação binária, alcançou melhorias de AUROC/AUPRC de até +54,5% sobre a melhor linha de base. Na classificação multiclasse, os ganhos foram ainda mais pronunciados, com melhorias de até +206,7% no escore F1 ponderado no conjunto de dados CrohnIPI.
• Recuperação Texto-para-Imagem: O CapCLIP melhorou significativamente o desempenho de recuperação. Para a recuperação de anormalidades grosseiras, melhorou o mAP em até +94,2% no CrohnIPI. Para a recuperação de patologias detalhadas, alcançou ganhos de até +260,8% na Precisão Ponderada@200 no conjunto de dados Galar.
• Visualização de Embeddings: Visualizações t-SNE confirmaram que o CapCLIP aprende embeddings com estruturas de agrupamento mais claras e melhor separabilidade interclasse em comparação tanto com linhas de base apenas visuais quanto com linhas de base existentes de visão-linguagem médica.

Significância e Alegações
O artigo alega que o CapCLIP representa um passo significativo em direção a modelos fundamentais tailorados especificamente para endoscopia por cápsula. A principal significância reside em demonstrar que o aprendizado de representação guiado por linguagem pode produzir embeddings que são mais transferíveis e semanticamente informativos do que aqueles produzidos por linhas de base existentes de domínio geral ou domínio médico.

As principais contribuições incluem:

1. O desenvolvimento de um framework sistemático de benchmarking zero-shot para avaliar modelos multimodais em dados de WCE.
2. A introdução do CapCLIP, que permite o aprendizado de representação fundamentado em linguagem para uma modalidade que carece de pares naturais imagem-texto.
3. Evidências de que alinhar imagens com legendas estruturadas e conscientes de patologias melhora a generalização para conjuntos de dados não vistos e aprimora a interpretabilidade semântica da análise de WCE.

Os autores concluem que, embora as abordagens atuais apenas visuais sejam limitadas por taxonomias fixas, a abordagem visão-linguagem proposta oferece um caminho mais flexível para o suporte à decisão clínica, permitindo que médicos consultem dados de WCE usando conceitos de linguagem natural em vez de serem restritos a rótulos predefinidos. O artigo reconhece limitações, incluindo a dependência de legendas geradas em vez de naturalmente pareadas e a escala relativamente pequena dos dados de treinamento de WCE em comparação com modelos fundamentais gerais, sugerindo que trabalhos futuros devem focar em conjuntos de dados maiores e estratégias de treinamento unificadas.