MedMO: Grounding and Understanding Multimodal Large Language Model for Medical Images

Título: MedMO: Fundamentação e Compreensão de Modelos de Linguagem Multimodal Grandes (MLLMs) para Imagens Médicas

1. Problema e Motivação

Os Modelos de Linguagem Multimodal Grandes (MLLMs) avançaram rapidamente em domínios gerais, mas sua adoção na medicina permanece limitada devido a três lacunas principais:

1. Falta de Cobertura de Domínio Específico: Modelos gerais frequentemente produzem alucinações ou respostas incertas quando aplicados a tarefas médicas que exigem interpretação precisa e contextualização expert.
2. Desalinhamento de Modalidade: A integração entre imagens médicas complexas (radiologia, patologia, etc.) e conhecimento textual clínico muitas vezes é deficiente.
3. Raciocínio "Grounded" (Fundamentado): A maioria dos modelos existentes carece de capacidade robusta de localização espacial (ex: identificar e delimitar lesões com caixas delimitadoras) e raciocínio passo a passo baseado em evidências visuais.

Além disso, muitos modelos médicos atuais dependem de dados destilados de modelos proprietários fechados, o que pode amplificar inconsistências e riscos de alucinação, ou focam em tarefas e modalidades muito específicas (ex: apenas radiologia), sem generalização cruzada.

2. Metodologia: MedMO

O MedMO é um modelo de fundação multimodal de código aberto, projetado especificamente para compreensão e fundamentação (grounding) de imagens médicas. Ele é construído sobre a arquitetura Qwen3-VL-8B e segue um pipeline de pós-treinamento escalável e modular em quatro estágios sequenciais:

A. Coleta de Dados

O modelo foi treinado em um corpus unificado de mais de 26 milhões de amostras multimodais, provenientes de 45 conjuntos de dados abertos. Isso abrange diversas modalidades de imagem (Raio-X, CT, MRI, ultrassom, patologia, oftalmologia, dermatologia, vídeos cirúrgicos) e sistemas biológicos, combinados com fontes de texto alinhadas de corpora biomédicos.

B. Pipeline de Treinamento (4 Estágios)

1. Stage 1: SFT Médico Geral (Alinhamento Global)

   • Objetivo: Estabelecer conhecimento médico fundamental e alinhamento imagem-texto global.
   • Dados: 18,5 milhões de pares instrução-resposta do dataset MedTrinity.
   • Resolução: 768x768.
   • Tarefas: Legendagem (captioning), VQA (Visual Question Answering) e tarefas multimodais gerais.

2. Stage 2: SFT de Imagem Médica de Alta Qualidade e Grounding

   • Objetivo: Refinar a compreensão visual e introduzir capacidade de localização espacial.
   • Dados: 3 milhões de amostras de alta qualidade com anotações de caixas delimitadoras (bounding boxes).
   • Resolução: 1280x1280 (alta resolução para detalhes finos).
   • Tarefas: Detecção de objetos, localização de lesões e alinhamento espacial.

3. Stage 3: Ajuste Fino por Instrução (Instruction Tuning)

   • Objetivo: Alinhar as respostas do modelo com o raciocínio médico humano e seguir instruções clínicas.
   • Dados: 4,3 milhões de pares de instrução-resposta.
   • Tarefas: Diagnóstico, sumarização de relatórios médicos, raciocínio baseado em recuperação e compreensão de contexto clínico.

4. Stage 4: Aprendizado por Reforço (RL) com Recompensas Verificáveis

   • Objetivo: Melhorar o comportamento de seguimento de instruções e a precisão da fundamentação espacial.
   • Algoritmo: GRPO (Group Relative Policy Optimization) inspirado no DAPO.
   • Função de Recompensa: Combina precisão de rótulos, contagem de tags, penalidade de sobreposição suave e, crucialmente, uma Recompensa de Caixa Delimitadora (Bounding Box Reward) baseada em GIoU (Generalized Intersection over Union). Isso força o modelo a aprender a localizar objetos com precisão espacial verificável.

3. Principais Contribuições

• Modelo Open-Source Poderoso: Introdução do MedMO, um modelo VLM pós-treinado projetado para compreensão médica abrangente e fundamentação espacial.
• Corpus de Dados Unificado: Curadoria de mais de 26M de amostras de 45 datasets, criando um roteiro escalável para modelos de fundação médicos generalistas.
• Benchmarks de Grounding: Construção de um dataset dedicado de células (Cell dataset) a partir de imagens de microscopia de código aberto para avaliar tarefas de detecção e segmentação.
• Framework Reprodutível: Fornecimento de um pipeline transparente de treinamento e análise, servindo como benchmark aberto para futuras pesquisas em MLLMs médicos.

4. Resultados Experimentais

O modelo foi avaliado em diversos benchmarks, superando consistentemente modelos de código aberto de ponta (SOTA), como Fleming-VL-8B e Lingshu-7B, e competindo com modelos proprietários.

• VQA (Visual Question Answering):
  • O MedMO-8B-Next alcançou uma média de 72,7% em benchmarks de VQA, superando o Fleming-VL-8B (66,1%) em +6,6%.
  • Destaque em MMMU-Med (69,3%), PMC-VQA (74,1%) e MedXpertQA (42,9%).
• QA Baseada em Texto:
  • Média de 60,1% no MedMO-8B-Next, superando o Fleming-VL-8B (45,7%) em +14,4%.
  • Desempenho excepcional em MedQA (83,8%) e MMLU-Med (80,2%).
• Geração de Relatórios Médicos:
  • No dataset MIMIC-CXR, o MedMO-8B-Next alcançou o melhor CIDEr (143,4) e métricas baseadas em modelo (RaTE, Semb), demonstrando coerência clínica superior.
  • No Med-Trinity (multimodal), alcançou um CIDEr de 272,1, mais de 3x superior ao próximo melhor modelo open-source.
• Grounding (Localização Espacial):
  • O MedMO-8B-Next alcançou uma média de 56,8% de IoU em tarefas de grounding médico.
  • Em tarefas de detecção de bactérias, atingiu 56,1% de IoU, uma melhoria massiva de +47,0 pontos em relação ao Fleming-VL-8B (9,1%), demonstrando capacidade superior de raciocínio espacial.
• Versões Compactas: Mesmo a versão menor, MedMO-4B-Next, superou modelos maiores (como Fleming-VL-8B) na maioria dos benchmarks, provando a eficiência do pipeline de treinamento.

5. Significância e Conclusão

O MedMO representa um avanço significativo na inteligência artificial médica ao demonstrar que é possível construir um modelo de fundação aberto, escalável e altamente especializado que supera sistemas proprietários em tarefas críticas.

• Generalização Cruzada: O modelo não se limita a uma única modalidade (ex: apenas raio-X), mas generaliza bem entre radiologia, patologia, oftalmologia e microscopia.
• Raciocínio Confiável: A introdução de recompensas verificáveis (como IoU de caixas delimitadoras) no treinamento por reforço mitiga alucinações e melhora a precisão diagnóstica baseada em evidências visuais.
• Acesso Democrático: Ao ser totalmente open-source, o MedMO oferece uma base transparente para pesquisadores e desenvolvedores construírem sistemas de visão linguística médica confiáveis, reduzindo a dependência de modelos fechados e "caixas pretas".

O trabalho estabelece um novo padrão para modelos multimodais médicos, focando não apenas na geração de texto, mas na fundamentação espacial precisa e no raciocínio clínico passo a passo.