⚡ electrical engineering

OpenMedQ: Broad Open Pretraining for Medical Vision-Language Models

O OpenMedQ é um modelo de visão-linguagem médica de última geração pré-treinado em um amplo conjunto de dados totalmente aberto de 3,35 milhões de amostras que supera significativamente modelos muito maiores como o Med-PaLM M em benchmarks fundamentais, ao mesmo tempo em que alcança um desempenho superior em tarefas de classificação médica de jusante.

Autores originais: Ibrahim Gulluk, Max Van Puyvelde, Olivier Gevaert

Publicado 2026-06-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ibrahim Gulluk, Max Van Puyvelde, Olivier Gevaert

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender o complexo mundo da medicina. Normalmente, para fazer isso, você precisa de duas coisas: um "cérebro" que possa ler relatórios médicos e um par de "olhos" que possa olhar para raios-X, microscópios e lâminas de patologia.

Por muito tempo, os melhores robôs (modelos de IA) neste campo foram como gênios secretistas. Eles são incrivelmente inteligentes, mas seus criadores mantêm seus livros de treinamento (dados) e seus pesos cerebrais escondidos. Você não consegue ver como eles aprenderam, não pode reutilizar seu conhecimento e não pode corrigir seus erros. Outros modelos são como aprendizes especializados; eles são ótimos em uma tarefa específica (como ler raios-X), mas não leram livros suficientes para entender o quadro completo.

OpenMedQ é a resposta do artigo para esse problema. É um novo robô médico "open-source" (código aberto) que os autores construíram reunindo a maior coleção de livros didáticos médicos e conjuntos de imagens abertos e gratuitos já assembled para treinar um modelo deste tamanho.

Aqui está uma divisão do que eles fizeram e do que descobriram, usando analogias simples:

1. A "Biblioteca" (Os Dados de Treinamento)

A maioria dos modelos de IA médica é treinada em uma biblioteca pequena e estreita de livros. O OpenMedQ, no entanto, foi treinado em uma biblioteca massiva e diversificada contendo 14 conjuntos de dados diferentes com cerca de 3,35 milhões de exemplos.

Pense da seguinte forma:

Outros modelos podem ler apenas livros sobre raios-X do coração.
O OpenMedQ leu livros sobre raios-X do coração, exames cerebrais, lâminas de microscópio de células e até mesmo questionários médicos baseados apenas em texto.
Crucialmente, cada um dos livros nesta biblioteca era aberto e gratuito para qualquer pessoa usar. Os autores não esconderam suas fontes.

2. O "Cérebro" e os "Olhos" (A Arquitetura)

O modelo é construído como uma IA moderna padrão (chamada de estilo LLaVA).

Os Olhos (Codificador de Visão): Ele usa um "olho" pré-treinado que já era bom em olhar para imagens médicas (de um modelo chamado BiomedCLIP).
O Cérebro (Modelo de Linguagem): Ele conecta esses olhos a um grande cérebro de linguagem (LLaMA-7B) que já era bom em textos médicos.
O Treinamento: Eles ensinaram os olhos e o cérebro a conversar entre si usando uma técnica chamada "previsão do próximo token" (next-token prediction). Imagine mostrar ao robô uma imagem e uma pergunta, e pedir para ele adivinhar a próxima palavra da resposta, repetidamente, até que ele aprenda o padrão.

3. O "Teste de Direção" (Os Resultados)

Os autores submeteram o OpenMedQ a dois testes principais para ver o quão bem ele aprendeu.

Teste A: O Quiz de "Conhecimento Geral" (Questionamento Visual de Imagens)
Eles fizeram perguntas médicas baseadas em imagens ao robô (ex: "O que este raio-X mostra?").

O Resultado: O OpenMedQ obteve pontuações mais altas do que alguns dos modelos mais caros e maiores do mercado.
A Analogia: Imagine que o OpenMedQ é um estudante com um cérebro de 7B de parâmetros (um cérebro de tamanho médio). Ele fez um teste contra um cérebro de 562B de parâmetros (um cérebro de supercomputador massivo). Apesar de ser aproximadamente 80 vezes menor, o OpenMedQ obteve uma pontuação melhor em um teste específico (PathVQA) e igualou as melhores pontuações em outro (VQA-MED).
A Alegação: Isso prova que ter uma biblioteca aberta e ampla de dados de treinamento é mais importante do que apenas ter um cérebro enorme e secreto.

Teste B: O Exame de "Especialista" (Classificação de Imagens)
Eles pegaram apenas os "olhos" (a parte de visão) do OpenMedQ e o testaram em 8 tarefas de imagens médicas que ele nunca tinha visto antes (como identificar câncer de mama em ultrassom ou pneumonia em raio-X de tórax).

O Resultado: Os olhos do OpenMedQ tiveram um desempenho melhor, em média, do que os olhos de três outros modelos de alto nível (BiomedCLIP, PMC-CLIP, PubMedCLIP) e um modelo treinado do zero.
A Analogia: É como pegar um médico generalista que viu um pouco de tudo e pedir para ele diagnosticar doenças específicas. Como ele viu uma variedade tão ampla de casos durante seu treinamento, ele foi melhor em detectar padrões em novas situações do que médicos que se especializaram em um campo estreito.

4. A "Pegadinha" (Limitações)

Os autores são honestos sobre onde o robô ainda tem dificuldades.

Não é Perfeito em Todo Lugar: Embora o OpenMedQ tenha sido o melhor na média, ele não venceu em todas as categorias. Por exemplo, em imagens de ultrassom de mama, outro modelo ainda era ligeiramente melhor.
Superficialidade: As pontuações de teste (BLEU-1) medem o quão semelhantes são as palavras do robô às respostas humanas, não necessariamente se o raciocínio médico está 100% correto.
O "Cérebro Grande" Ainda Vence Alguns: Os modelos massivos e secretos (Med-PaLM M) ainda tiveram um desempenho melhor em alguns testes específicos e difíceis envolvendo radiologia e microscopia.

A Conclusão

A mensagem principal do artigo é que a diversidade e a abertura são ferramentas poderosas. Você não precisa necessariamente de um supercomputador secreto e massivo para construir uma ótima IA médica. Se você treinar um modelo de tamanho médio na coleção mais ampla e aberta de dados médicos disponíveis, você pode vencer modelos muito maiores e fechados.

Os autores disponibilizaram seu código, suas receitas de treinamento e um demo interativo ao público, convidando todos a inspecionar, reutilizar e melhorar o trabalho deles.

Resumo Técnico: OpenMedQ: Broad Open Pretraining for Medical Vision-Language Models

Declaração do Problema

Apesar das crescentes capacidades dos modelos de fundação médica, existe uma lacuna significativa na disponibilidade de baselines de pré-treinamento amplo e totalmente abertos. A maioria dos modelos de Visão-Linguagem (VLMs) médicos publicados baseia-se em fontes de pré-treinamento estreitas e frequentemente retém seus pesos, dados de treinamento, ou ambos. Os codificadores contrastivos existentes (ex: BiomedCLIP, PMC-CLIP) são treinados em corpora de imagem-legenda únicos, enquanto os VLMs generativos (ex: PMC-VQA, LLaVA-Med) utilizam misturas de pré-treinamento comparavelmente estreitas. Embora modelos maiores como o BiomedGPT e o Med-PaLM M escalem dados e parâmetros, eles não liberam os pesos. Consequentemente, os profissionais carecem de um baseline transparente e reproduzível que seja tanto amplamente pré-treinado quanto totalmente aberto para inspeção, reutilização e extensão.

Metodologia

Os autores apresentam o OpenMedQ, um VLM médico projetado para abordar essas limitações através de um pré-treinamento amplo e aberto.

Arquitetura: O OpenMedQ segue a arquitetura estilo LLaVA, consistindo em um codificador de visão e um modelo de linguagem.
- Codificador de Visão: Um ViT-base-patch16-224 inicializado a partir do BiomedCLIP.
- Modelo de Linguagem: Um modelo LLaMA-7B inicializado a partir do PMC-LLaMA.
- Integação: Os tokens de imagem são projetados linearmente e concatenados com os tokens de texto, sendo decodificados da esquerda para a direita.
Estratégia de Pré-treinamento: O modelo é treinado usando a previsão do próximo token com um rank de Adaptação de Baixo Posto (LoRA) de $r=8$ . Durante o treinamento, os tokens de imagem e de prefixo são mascarados para focar na entropia cruzada do próximo token.
Configuração de Treinamento: As imagens são redimensionadas para 224×224. O treinamento utiliza AdamW com um tamanho de lote de 64, uma taxa de aprendizado de $5\times10^{-5}$ , e roda por até 15 épocas em uma única NVIDIA A100.
Transferência de Classificação: Para avaliar a qualidade das características de visão aprendidas, o codificador de visão ( $f_{vis}$ ) é destacado e anexado a uma cabeça linear ( $W \in \mathbb{R}^{2d \times m}$ ). Ambos são ajustados finamente juntos em conjuntos de dados de downstream por 100 épocas. Esta configuração garante que as diferenças de desempenho sejam atribuíveis ao pré-treinamento, e não a variações arquiteturais de downstream.

Principais Contribuições

Mistura de Pré-treinamento Aberta Mais Ampla: O OpenMedQ é pré-treinado na mistura de conjuntos de dados médicos abertos mais extensa até o momento, compreendendo 14 conjuntos de dados e aproximadamente 3,35 milhões de amostras. Esta mistura abrange:
- Patologia: PathVQA.
- Radiologia: VQA-RAD, IU-XRAY, MIMIC-CXR, ROCO, OmniMedVQA.
- Microscopia: $\mu$ -Bench.
- Modalidades Mistas: Slake, PMC-OA, PMC-VQA, VQA-MED.
- QA Clínico Apenas Texto: MedQA, MedMCQA, PubMedQA (aprox. 410K amostras) para preservar as capacidades de linguagem.
Lançamento Aberto: Os autores comprometem-se a liberar os pesos do modelo e as receitas de dados após a aceitação, juntamente com uma demonstração interativa ao vivo para inspeção qualitativa.
Baseline Reproduzível: O artigo estabelece uma receita padronizada de downstream para comparar de forma justa o impacto da diversidade de dados de pré-treinamento contra baselines fortes.

Resultados

O artigo relata o desempenho em duas tarefas primárias: transferência de classificação e Visual Question Answering (VQA) de código aberto.

1. Transferência de Classificação

O codificador de visão do OpenMedQ foi avaliado em 8 benchmarks de classificação médica não vistos (CXR8, subtarefas MedFMC, Breast-Ultrasound, CHAOYANG, CBIS-DDSM, Mendeley-CXray).

Desempenho: O OpenMedQ alcançou o maior macro-F1 médio de 0,757.
Comparação: Isso superou o BiomedCLIP (0,745), PMC-CLIP (0,745), PubMedCLIP (0,746) e um baseline treinado do zero (0,616).
Vitórias Específicas: O OpenMedQ obteve vitórias diretas em MedFMC-chest e MedFMC-endo, empatou com o PMC-CLIP em CXR8 e ficou atrás do melhor codificador por no máximo 0,02 em outros quatro benchmarks. A única lacuna significativa foi observada em Breast-Ultrasound (0,876 vs. 0,915).

2. VQA de Código Aberto

PathVQA: O OpenMedQ alcançou um score de BLEU-1 de 75,9, superando métodos de prefix tuning (70,3) e todas as três variantes do Med-PaLM M (até 562B de parâmetros, pontuando até 72,27), apesar de o OpenMedQ utilizar apenas 7B de parâmetros.
VQA-MED: O modelo atingiu um BLEU-1 de 64,5, excedendo ligeiramente a melhor pontuação relatada do desafio de 2019 (64,4).

Significância e Alegações

O artigo postula que a amplitude da mistura de dados de pré-treinamento aberto é um alavancagem competitiva crítica para VLMs médicos. Os autores afirmam que a diversidade de dados serve como uma alavanca reproduzível para o desempenho, enquanto a escala proprietária não o é.

Eficiência: O OpenMedQ demonstra que um modelo de 7B de parâmetros, quando treinado em uma mistura aberta ampla, pode estabelecer um novo estado da arte no PathVQA contra modelos até 80 vezes maiores (562B de parâmetros).
Generalização: O desempenho superior do codificador de visão na transferência de classificação média sugere que o pré-treinamento amplo produz representações de características mais robustas do que o pré-treinamento de modalidade única e estreita.
Limitações: Os autores reconhecem modestamente que sua abordagem tem limites. Variantes proprietárias maiores (Med-PaLM M) ainda lideram em benchmarks específicos como VQA-RAD e Slake. Além disso, o BLEU-1 captura apenas concordância superficial, e codificadores de modalidade estreita ainda podem superar o OpenMedQ em tarefas específicas como Breast-Ultrasound.

O trabalho conclui enfatizando o valor da ciência aberta, fornecendo um baseline transparente que a comunidade pode inspecionar, reutilizar e estender.