Resumo Técnico: MEDICALNARRATIVES

Problema

Modelos multimodais requerem vastas quantidades de dados para um aprendizado de representação eficaz, contudo, conjuntos de dados de imagens médicas carecem da escala e diversidade encontradas em repositórios de imagens naturais. Modelos existentes de visão-linguagem (VL) médica frequentemente lutam para lidar simultaneamente com a localização espacial e a compreensão semântica. Embora alguns conjuntos de dados recentes tentem fornecer anotações espaciais, eles frequentemente dependem de modelos pré-treinados de forma subótima para gerar descrições de texto e Regiões de Interesse (ROIs) para imagens que carecem de ground truth, potencialmente propagando vieses e erros do modelo. Além disso, conjuntos de dados médicos padrão frequentemente carecem das "narrativas localizadas", onde o texto é explicitamente fundamentado a regiões de imagem específicas através da interação humana, um protocolo crucial para treinar modelos para conectar regiões espaciais de imagem com conceitos clínicos.

Metodologia

Os autores propõem o MEDICALNARRATIVES, um conjunto de dados de larga escala curado a partir de vídeos médicos pedagógicos não estruturados e artigos científicos, projetado para preencher a lacuna entre a visão e a linguagem médica com narrativas localizadas e espacialmente fundamentadas.

Pipeline de Curadoria de Dados:

1. Obtenção: O conjunto de dados agrega dados de duas fontes primárias:
   • YouTube: Mais de 738.000 vídeos foram pesquisados usando palavras-chave específicas do domínio e uma estratégia "video-first" para identificar conteúdo educacional.
   • PubMed: 5,4 milhões de artigos foram processados para extrair figuras e legendas.
2. Filtragem e Extração:
   • Filtragem de Vídeo: Os vídeos foram filtrados com base na duração, presença de fala e na porcentagem de keyframes identificados como imagens médicas usando classificadores específicos do domínio. Vídeos de estilo narrativo foram identificados detectando "sequências narrativas" (períodos onde o narrador faz pausas para analisar quadros estáticos) ou narração persistente sobre conteúdo dinâmico.
   • Processamento de Texto: Um modelo ASR de código aberto (Whisper) transcreveu a fala, seguido pela correção de terminologia médica baseada em LLM e extração de texto medicamente relevante e descrições de Regiões de Interesse (ROI).
   • Processamento de Imagem: Keyframes foram extraídos, reduzidos de ruído e, para figuras compostas em artigos, subfiguras foram separadas usando detecção de objetos (YOLO) e pareadas com sublegendas usando OCR e LLMs.
3. Localização (Traços): Uma inovação central é a extração de traços do cursor do mouse de vídeos. Os autores modificaram a abordagem Quilt-LLaVA para identificar "chunks estáveis" (quadros com movimento mínimo de fundo) e isolar movimentos do cursor subtraindo um quadro de fundo mediano. Isso cria uma associação temporal entre o texto falado e pixels específicos, mimetizando o protocolo "think-aloud" usado por especialistas médicos.
4. Intercalação: O conjunto de dados inclui amostras intercaladas onde uma única narrativa conecta múltiplas modalidades (ex: Raio-X e TC para o mesmo paciente) ou múltiplas subimagens dentro de uma única figura, potencializando o aprendizado cross-modal.

Estatísticas do Conjunto de Dados:

• Tamanho Total: 4,7 milhões de pares imagem-texto em 12 domínios médicos (11 médicos + 1 pseudo-médico).
• Narrativas Localizadas: 1 milhão de amostras contêm anotações espaciais densas na forma de traços de cursor (101,8 milhões de pontos de traço únicos), que podem ser reformatados em bounding boxes ou máscaras.
• Componente de Vídeo: 118.000 vídeos centrados em eventos de traço, preservando o alinhamento temporal entre narração e apontamento.

Principais Contribuições

1. Conjunto de Dados MEDICALNARRATIVES: Um novo conjunto de dados de 4,7M de pares imagem-texto, com 1M de amostras apresentando traços espaciais validados por especialistas, permitindo fundamentação espaço-temporal além de quadros únicos.
2. Protocolo de Curadoria Escalável: Um pipeline robusto para extrair dados de visão-linguagem fundamentados de fontes ruidosas e não estruturadas (vídeos do YouTube) e fontes estruturadas (artigos científicos), equilibrando facilidade de coleta com utilidade de treinamento.
3. GENMEDCLIP: Um modelo de visão-linguagem treinado no MEDICALNARRATIVES usando um objetivo do tipo CLIP. O modelo foi avaliado em um novo benchmark abrangendo 11 modalidades médicas.
4. Utilidade de Traço-para-Segmentação: Demonstração de que os traços extraídos podem servir como supervisão esparsa (pontos/rabiscos) para modelos de segmentação de imagem médica interativa (IMIS) como o ScribblePrompt.

Resultados

Os autores avaliaram o GENMEDCLIP em um benchmark construído cobrindo 29 conjuntos de dados downstream em 11 domínios médicos.

• Classificação Zero-Shot: O GENMEDCLIP superou modelos de estado da arte (incluindo BIOMEDCLIP, PUBMEDCLIP e PMC-CLIP) em todo o benchmark. Especificamente, alcançou uma melhoria média de 4,75% sobre o BIOMEDCLIP.
• Linear Probing: Em configurações supervisionadas, o GENMEDCLIP superou as linhas de base em uma média de 2,8% sobre o BIOMEDCLIP e 1,9% sobre o PUBMEDCLIP.
• Recuperação Cross-Modal: O modelo demonstrou desempenho superior em recuperação zero-shot de imagem-para-texto e texto-para-imagem, superando o BIOMEDCLIP em 26,07% em média.
• Estudos de Ablação: Experimentos comparando modelos treinados apenas em artigos versus artigos mais vídeos mostraram que adicionar dados derivados de vídeo aumentou o desempenho de classificação em 11,65% e o desempenho de recuperação em 53,6%, destacando o valor de dados dinâmicos alinhados por traços.

Significância

O artigo afirma que o MEDICALNARRATIVES aborda a escassez crítica de conjuntos de dados médicos multimodais de larga escala e fundamentados. Ao alavancar o protocolo "think-aloud" inerente aos vídeos de pedagogia médica, o conjunto de dados fornece uma forma única de supervisão fraca onde o texto é temporal e espacialmente alinhado com regiões de imagem via traços de cursor.

Os autores argumentam que este protocolo pode servir como um padrão de fato para anotar futuros conjuntos de dados médicos multimodais devido à sua flexibilidade e custo-benefício em comparação com a anotação manual densa. Os resultados sugerem que o treinamento neste dado diverso e fundamentado por traços permite que os modelos alcancem desempenho de estado da arte tanto em tarefas de classificação quanto de recuperação, mesmo com menos amostras de treinamento (4,7M) comparado a trabalhos anteriores (ex: BIOMEDCLIP treinado em mais de 15M de amostras). O conjunto de dados está posicionado para catalisar o progresso na geração de relatórios espacialmente controláveis, segmentação interativa e modelos generativos de imagem médica.

Limitações Reconhecidas:

• O conjunto de dados carece de bounding boxes anotadas por humanos, limitando a avaliação de sobreposição direta para tarefas densas como segmentação semântica.
• Há uma sobrerrepresentação de casos anormais, refletindo vieses de suspeita clínica, o que pode impactar a generalização do modelo.
• Embora os traços se mostrem úteis para IMIS, o artigo não treina modelos especificamente em traços para tarefas espaciais downstream, deixando isso para trabalhos futuros.