🤖 AI

Fully Open Meditron: An Auditable Pipeline for Clinical LLMs

Este artigo apresenta o Fully Open Meditron, o primeiro pipeline auditável de ponta a ponta para LLMs clínicas que combina um corpus de treinamento verificado por clínicos e um framework reproduzível para alcançar desempenho de última geração em benchmarks médicos, mantendo total transparência e reprodutibilidade.

Autores originais: Xavier Theimer-Lienhard, Mushtaha El-Amin, Fay Elhassan, Sahaj Vaidya, Victor Cartier-Negadi, David Sasu, Lars Klein, Mary-Anne Hartley

Publicado 2026-05-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xavier Theimer-Lienhard, Mushtaha El-Amin, Fay Elhassan, Sahaj Vaidya, Victor Cartier-Negadi, David Sasu, Lars Klein, Mary-Anne Hartley

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno brilhante e superinteligente que leu quase todos os livros do mundo. Esse aluno é ótimo em responder perguntas gerais, mas ainda não estudou medicina. Você quer transformá-lo em um especialista médico de primeira linha.

Por muito tempo, a maneira de fazer isso era pegar esse aluno, alimentá-lo com uma pilha secreta de livros didáticos de medicina e estudos de caso, e depois dizer: "Aqui estão as respostas que você precisa memorizar". Mas havia uma pegadinha: ninguém tinha permissão para ver os livros didáticos ou as anotações de estudo. Você só podia ver os resultados do exame final. Isso significava que você não podia verificar se o aluno realmente aprendeu as coisas certas, ou se apenas memorizou as respostas às perguntas específicas em que foi testado.

Este artigo introduz uma nova abordagem chamada Fully Open Meditron. Pense nisso como abrir a porta inteira da sala de aula, a biblioteca e os planos de aula do professor para que todos possam inspecionar.

Aqui está a divisão da receita "Totalmente Aberta" deles:

1. A Filosofia da "Cozinha Aberta"

A maioria dos modelos de IA médica "abertos" são como restaurantes que mostram apenas o prato final (os pesos do modelo), mas mantêm a receita, os ingredientes e as anotações do chef escondidos.

O Problema: Se você não pode ver os ingredientes, não sabe se o chef usou diretrizes médicas verificadas e frescas ou se apenas memorizou o cardápio de um exame anterior.
A Solução: Os autores construíram um pipeline onde tudo é público. Eles lançaram o modelo base, os dados exatos que alimentaram nele, o código que usaram para treiná-lo e as regras que seguiram. É como um restaurante onde você pode entrar na cozinha, assistir o chef cozinhar e provar os ingredientes crus.

2. Construindo a "Biblioteca de Estudos" (O Corpus)

Para treinar esses modelos, eles não apenas pegaram perguntas médicas aleatórias da internet. Eles construíram uma biblioteca massiva e organizada com três seções distintas:

A Sala de Exames: Eles reuniram oito bancos de questões médicas públicas existentes (como testes de prática para médicos) e os limparam para que todos falassem a mesma língua.
A Biblioteca de Diretrizes: Eles pegaram 46.469 diretrizes de prática clínica do mundo real (os manuais oficiais que os médicos seguem) e as transformaram em pares de perguntas e respostas. Isso garante que a IA aprenda com as regras reais da medicina, e não apenas com antigas questões de exame.
Cenários "E Se...": Eles criaram novas histórias complexas de pacientes (vignettes) que imitam situações reais de sala de emergência. Eles usaram uma IA "professora" para gerar essas histórias, mas depois tiveram quatro médicos reais verificando o trabalho para garantir que as histórias fossem realistas e as respostas corretas.

Por que isso importa: Bibliotecas anteriores de IA médica estavam faltando muitos casos de "emergência" e "ameaça à vida". Esta nova biblioteca é como uma simulação de treinamento que preenche especificamente essas lacunas perigosas, garantindo que a IA esteja pronta para os piores cenários, e não apenas para consultas de rotina.

3. A "Sala Limpa" (Descontaminação)

Um grande problema na IA é "trapacear". Se a IA já viu as perguntas do teste antes durante seu treinamento, ela não é realmente inteligente; apenas está memorizando.

O Conserto: Os autores executaram um processo rigoroso de "descontaminação". Eles varreram toda a sua biblioteca de treinamento contra todos os testes médicos padrão usados para avaliar IAs. Se encontrassem até mesmo uma pequena sobreposição (como uma frase ou frase compartilhada), eles descartaram esses dados. Isso garante que a IA esteja aprendendo os conceitos, e não apenas as respostas.

4. O "Exame Final" (Avaliação)

Como você testa uma IA médica? Geralmente, você dá a ela perguntas de múltipla escolha (QMCs). Mas os autores argumentam que isso é como testar um piloto apenas em um simulador com caminhos fixos. A medicina real é bagunçada e aberta.

O Novo Teste: Eles criaram um novo método de avaliação chamado Auto-MOOVE. Em vez de apenas verificar se a IA escolheu "A, B, C ou D", eles pedem que a IA escreva seu raciocínio para casos complexos de pacientes.
O Juiz: Eles usaram uma IA poderosa para corrigir essas respostas, mas primeiro calibraram esse juiz de IA contra 204 médicos humanos para garantir que o juiz de IA fosse justo e preciso. Eles também testaram os modelos no HealthBench, um benchmark onde os médicos escrevem rubricas detalhadas sobre como uma resposta "boa" deve parecer.

Os Resultados: Funcionou?

Eles aplicaram essa receita "Totalmente Aberta" a cinco modelos base diferentes. Os resultados foram impressionantes:

Melhor que a Base: Cada modelo treinado com essa receita aberta tornou-se significativamente melhor em tarefas médicas do que sua versão original, não treinada.
Vencendo os Modelos "Secretos": Um de seus modelos, construído inteiramente a partir de dados abertos e código aberto, teve desempenho melhor que o MedGemma, um famoso modelo médico que usa dados secretos e proprietários.
Novo Recorde: Seu maior modelo (Apertus-70B-MeditronFO) estabeleceu um novo recorde para o melhor desempenho já alcançado por uma IA médica totalmente aberta.

A Conclusão

O artigo afirma que você não precisa de dados secretos e proprietários para construir uma IA médica de classe mundial. Ao ser completamente transparente — compartilhando os dados, o código e o processo de treinamento — você pode construir um modelo que não é apenas altamente preciso, mas também auditable. Médicos e reguladores podem olhar sob o capô para ver exatamente como a IA aprendeu, garantindo que ela seja segura e confiável.

Em resumo: Eles provaram que, se você construir uma IA médica com uma receita clara, aberta e rigorosa, ela pode ter desempenho tão bom quanto (e às vezes melhor que) aquelas construídas com ingredientes secretos.

Resumo Técnico: Fully Open Meditron: Um Pipeline Auditável para LLMs Clínicos

Declaração do Problema

Os Sistemas de Suporte à Decisão Clínica baseados em Modelos de Linguagem de Grande Escala (LLM-CDSS) atuais sofrem de uma falta fundamental de transparência. Embora muitos modelos médicos "abertos" liberem os pesos, eles retêm a proveniência dos dados, os procedimentos de curadoria e os pipelines de geração que ditam o comportamento do modelo. Essa opacidade impede auditorias rigorosas para verificar se os modelos aprenderam a partir de evidências fundamentadas em diretrizes, artefatos de benchmark ou alucinações sintéticas. Além disso, os benchmarks médicos padrão estão frequentemente saturados, levando a ganhos de desempenho que podem refletir contaminação de dados ou memorização, em vez de capacidade clínica genuína. Modelos "Totalmente Abertos" (FO) existentes, que expõem a pilha completa de treinamento de ponta a ponta, não existem atualmente no domínio médico, deixando uma lacuna entre a necessidade de IA auditável e a realidade de pipelines de adaptação opacos.

Metodologia

Os autores introduzem o Fully Open Meditron, o primeiro pipeline totalmente aberto para adaptar modelos base FO em especialistas médicos. A metodologia consiste em três componentes principais:

1. O Corpus Fully Open Meditron

O corpus é construído para abordar lacunas distribucionais em conjuntos de dados médicos públicos (por exemplo, subrepresentação de cuidados de emergência, casos com risco de vida e ambientes de baixos recursos).

Agregação: Oito conjuntos de dados públicos de QA médica (MedQA, MedMCQA, PubMedQA, MedExpQA, HealthSearchQA, LiveQA, AfriMed-QA v1/v2) são unificados em um formato conversacional normalizado com racionalizações passo a passo.
Expansão Sintética: Para expandir a cobertura, os autores empregam o GPT-OSS-120B para gerar três componentes sintéticos, validados por um painel de quatro médicos:
- QA Curada Sintética: Pares QA no estilo de exames, novos, semeados a partir do pool curado, estratificados por tipo de pergunta.
- QA de Diretrizes: Pares QA fundamentados em 46.469 diretrizes de prática clínica de 16 instituições globais.
- MOOVE Sintético: Vignettes clínicas abertas semeadas a partir da divisão de treinamento MOOVE para elicitar raciocínio diagnóstico complexo.
Controle de Qualidade: O pipeline impõe descontaminação em todo o sistema usando um pipeline de dois estágios de n-gramas e alinhamento de tokens (adaptado do Apertus) para eliminar sobreposição com benchmarks de avaliação. Alvos sintéticos passam por amostragem de rejeição com rótulo de ouro (até 8x em T=0.7) para mitigar alucinações.

2. Framework de Treinamento

A receita é aplicada a cinco modelos base totalmente abertos: Apertus-70B/8B-Instruct, OLMo-2-32B-SFT, EuroLLM-22B/9B-Instruct e um controle de peso aberto, Gemma-3-27B-IT.

Os modelos são adaptados via ajuste fino supervisionado (SFT) no corpus Fully Open Meditron.
O treinamento preserva o formato nativo de ajuste de instruções de cada modelo base.
A infraestrutura utiliza nós NVIDIA GH200 com Flash Attention 2 e treinamento de precisão mista.

3. Protocolo de Avaliação

Os autores vão além das perguntas de múltipla escolha (MCQs) padrão para capturar o raciocínio clínico aberto.

Benchmarks Estruturados: Avaliação em MedQA, MedMCQA, PubMedQA e no MedXpertQA retido (para verificações OOD).
Avaliação Aberta:
- HealthBench: Utiliza rubricas autoradas por médicos para pontuar respostas abertas.
- Auto-MOOVE: Um protocolo automatizado "LLM-como-julgador" usando Qwen3-235B-A22B (validado contra 204 avaliadores humanos) para realizar comparações pareadas em vignettes clínicas. Avalia nove critérios: compreensão da pergunta, raciocínio lógico, relevância, inocuidade, equidade, consciência contextual, comunicação, clareza e alinhamento com diretrizes.

Principais Contribuições

Um Framework de Adaptação Médica Totalmente Aberto: Um pipeline reproduzível, de ponta a ponta, abrangendo construção de corpus, geração sintética, descontaminação, treinamento e avaliação.
Um Corpus de Conhecimento Auditado por Clínicos: Um conjunto de dados unificado combinando QA público com extensões sintéticas que deslocam significativamente a cobertura para cuidados de emergência (15,0% $\to$ 38,7%) e gravidade com risco de vida (8,6% $\to$ 31,8%).
Um Protocolo de Avaliação Aberta Automatizado: O framework Auto-MOOVE, validado contra o acordo interavaliador humano, para avaliar raciocínio clínico multidimensional.
Uma Família de Especialistas Médicos Totalmente Abertos: Cinco novos modelos demonstrando que a especialização médica competitiva é alcançável sob restrições FO.

Resultados

Desempenho em Benchmark: Todas as variantes MeditronFO superam seus respectivos modelos base. O Apertus-70B-MeditronFO estabelece um novo estado da arte (SoTA) para modelos totalmente abertos, melhorando as pontuações agregadas de benchmark médico de 47,2% para 53,8% (+6,6 pontos).
Comparação com Modelos Proprietários/De Peso Aberto:
- O Apertus-70B-MeditronFO reduz a lacuna para o MedGemma-27B (60,67% vs 53,77%), mas permanece o sistema totalmente aberto mais forte.
- O Gemma-3-27B-MeditronFO é preferido ao MedGemma proprietário em 58,6% das comparações pareadas do Auto-MOOVE e supera-o no HealthBench (58,0% vs 55,9%).
Avaliação Aberta: Cada variante MeditronFO é preferida em relação à sua base em avaliações pareadas (taxas de vitória variando de 67,2% a 92%). As melhorias são consistentes em todos os nove critérios clínicos, não limitadas a uma única dimensão.
Estudos de Ablação: A remoção de componentes específicos do corpus revela compensações. A remoção da "QA de Diretrizes" melhorou ligeiramente a precisão de MCQA, mas deixou a preferência aberta inalterada, enquanto a remoção da "QA Curada" degradou significativamente a qualidade aberta, indicando que a supervisão no estilo de exames contribui para um raciocínio clínico mais amplo.

Significado e Alegações

O artigo afirma que o Fully Open Meditron demonstra que pipelines totalmente abertos podem alcançar desempenho de ponta específico de domínio sem sacrificar auditabilidade ou reprodutibilidade. Os autores argumentam que a lacuna de desempenho entre modelos abertos e fechados é resultado da construção do corpus, e não de uma limitação inerente dos modelos abertos. Ao fornecer um pipeline transparente e auditado por clínicos, o trabalho permite validação rigorosa e aborda o problema da "opacidade" na IA médica. Os resultados sugerem que a especialização clinicamente competitiva pode ser alcançada através de curadoria disciplinada de dados e avaliação aberta, oferecendo uma base reutilizável para futuros modelos médicos totalmente abertos.

Os autores permanecem modestos quanto às limitações, observando que sua descontaminação é sintática e não semântica, que os dados sintéticos representam ~64% do corpus (com auditoria limitada a pares QA amostrados) e que a configuração de único professor/julgador pode introduzir vieses estilísticos. Eles enfatizam que a natureza aberta do corpus é uma mitigação parcial para riscos (permitindo auditoria), mas também um amplificador parcial (reprodutibilidade por partes que podem não auditar).