MApLe: Multi-instance Alignment of Diagnostic Reports and Large Medical Images

Título: MApLe: Alinhamento Multi-Instância de Relatórios Diagnósticos e Grandes Imagens Médicas

1. Problema e Motivação

Os modelos de linguagem e visão (Vision-Language Models - VLMs) tradicionais, como o CLIP, foram treinados para alinhar imagens do mundo real com legendas curtas e distintas. No entanto, sua aplicação em radiologia enfrenta desafios significativos:

• Complexidade dos Relatórios: Relatórios médicos não são legendas únicas; são textos estruturados com múltiplas frases, onde cada frase descreve um achado diagnóstico específico em uma região anatômica distinta.
• Diferenças Finas: A semântica médica exige a distinção de variações sutis (ex.: "estenose leve" vs. "estenose grave" ou "presente" vs. "ausente") que modelos pré-treinados em corpora gerais frequentemente ignoram, tratando frases semanticamente diferentes como idênticas.
• Escala e Resolução: Imagens médicas 3D (como volumes de TC cardíaca) são grandes e complexas. Achados patológicos podem ser minúsculos (ex.: calcificações ou estenoses) dentro de um volume massivo. Modelos que tratam a imagem globalmente perdem essa granularidade.
• Aprendizado Multi-Instância (MIL): Um único relatório pode descrever múltiplos achados positivos e negativos na mesma imagem. O modelo precisa alinhar regiões específicas da imagem a frases específicas, sem saber a priori onde exatamente o achado está localizado (apenas que ele existe em algum lugar daquela região anatômica).

2. Metodologia (MApLe)

O MApLe propõe uma abordagem de alinhamento multi-tarefa e multi-instância que desacopla conceitos de região anatômica e achado diagnóstico. O método consiste em três componentes principais:

A. Incorporação de Frases (Sentence Embedding)

• O objetivo é capturar variações semânticas sutis e clinicamente relevantes.
• Utiliza-se o modelo BERT (fine-tuned) para gerar embeddings de texto.
• Estratégia de Treinamento: As frases são rotuladas com base em palavras-chave para identificar o achado (ex.: "calcificação") e seu estado (ex.: "presente", "ausente", "dilatado"). Um cabeçalho de classificação é treinado para prever o estado do achado, forçando o espaço de características a separar frases que descrevem o mesmo achado com estados diferentes.

B. Codificação de Imagem (Image Embedding)

• Em vez de codificar a imagem inteira, o método segmenta a imagem 3D em regiões anatômicas (ex.: artérias coronárias, miocárdio, aorta).
• Cada região é dividida em patches (sub-volumes). O tamanho do patch é adaptado à escala das patologias potenciais (ex.: 32³ para artérias, 64³ para aorta).
• Um encoder de imagem (baseado em CNNs residuais) gera embeddings para cada patch, condicionado à região anatômica.

C. Alinhamento Multi-Instância Multi-Tarefa

• Mecanismo de Atenção: Para cada achado diagnóstico definido no relatório, um mecanismo de atenção específico é aplicado aos patches de uma região anatômica. Isso permite que o mesmo conjunto de patches gere múltiplos embeddings alinhados, dependendo de qual achado está sendo investigado.
• Função de Perda (Triplet Loss): O alinhamento é realizado minimizando a distância entre:
  1. O embedding do patch (agregado) e a frase correspondente (âncora).
  2. O embedding do patch e outras frases de outros relatórios que descrevem o mesmo achado e estado (positivos).
  • Maximizando a distância para frases que descrevem o mesmo achado, mas com estado diferente (negativos).
• Isso força o modelo a aprender que patches de uma região devem ser semanticamente próximos apenas das descrições corretas daquela região.

D. Classificação Zero-Shot

• Após o alinhamento, o modelo pode realizar classificação sem treinamento adicional para tarefas específicas.
• Para uma nova imagem, os patches são codificados e comparados com um "livro de códigos" (codebook) de embeddings de frases de referência. A classe é atribuída baseada na frase mais similar no espaço de características.

3. Contribuições Principais

1. Abordagem Multi-Instância Específica para Medicina: Diferente de métodos que alinham patches aleatórios com todas as frases, o MApLe alinha patches com base em achados anatômicos e diagnósticos, permitindo lidar com a complexidade de volumes 3D grandes.
2. Espaço de Características Textuais Refinado: O fine-tuning do encoder de texto para amplificar diferenças sutis entre estados diagnósticos (ex.: presente vs. ausente) resolve o problema de embeddings textuais muito homogêneos em relatórios especializados.
3. Codificação Condicional de Imagem: O uso de encoders condicionados a regiões anatômicas e patches de tamanhos variados permite a detecção de anomalias de diferentes escalas em volumes 3D.
4. Capacidade Zero-Shot Multi-Tarefa: O modelo realiza classificação de múltiplos achados simultaneamente sem necessidade de redes de classificação adicionais ou fine-tuning por tarefa.

4. Resultados Experimentais

O modelo foi avaliado em um conjunto de dados interno de 768 volumes de TC cardíaca (treino) e 260 volumes (teste), comparado com state-of-the-art (CLIP, ConVIRT, GLoRIA, LSE+NL).

• Desempenho Geral: O MApLe superou os modelos zero-shot (GLoRIA, LSE+NL) e mostrou desempenho competitivo ou superior aos modelos que exigem fine-tuning (ConVIRT, CLIP) em tarefas específicas, mantendo o equilíbrio entre sensibilidade e especificidade.
• Tarefas Específicas:
  • Estenose: MApLe alcançou o melhor F1-score (37,71%) e AUC (55,64%) entre os métodos zero-shot. Modelos concorrentes tendiam a colapsar (prever tudo como positivo ou negativo).
  • Aorta/Pulmonar Dilatada: MApLe obteve o melhor F1-score (41,12%), PPV (33,85%) e AUC (66,33%).
  • Calcificação: O MApLe teve um F1-score de 60,78%, com um equilíbrio melhor entre sensibilidade e especificidade comparado ao ConVIRT (que teve alto F1, mas baixa especificidade de 20%).
  • Anomalias do Miocárdio: Todos os modelos tiveram desempenho limitado (F1 baixo), devido à heterogeneidade visual dessas anomalias (hipertrofia, miocardite, espessamento) e descrições variadas nos relatórios.
• Análise de Embeddings: O estudo mostrou que o encoder de texto fine-tuned do MApLe separou efetivamente estados diferentes de um achado (similaridade cruzada próxima de -1), enquanto o BERT padrão mantinha alta similaridade entre estados diferentes, dificultando o alinhamento.

5. Significado e Conclusão

O MApLe representa um avanço significativo na intersecção entre visão computacional e processamento de linguagem natural na medicina, especificamente para imagens 3D de alta resolução.

• Viabilidade Clínica: Ao evitar o "colapso" de modelos que preveem trivialmente a classe majoritária, o MApLe oferece um equilíbrio mais seguro entre sensibilidade e especificidade, crucial para diagnósticos médicos.
• Eficiência: A capacidade de realizar classificação zero-shot em múltiplas tarefas reduz a necessidade de grandes conjuntos de dados anotados para cada nova tarefa de classificação.
• Desafios Futuros: A dificuldade em classificar anomalias do miocárdio sugere a necessidade de subcategorização mais granular dessas condições. Além disso, a validação em conjuntos de dados multicêntricos é necessária para garantir a generalização.

Em suma, o MApLe demonstra que é possível alinhar representações de imagens médicas 3D complexas com relatórios de texto livre, capturando nuances diagnósticas críticas que modelos gerais falham em detectar.