📄 medical education

Infoxmed2.0-27B: Instruction Tuning, Preference Alignment, and GRPO-Based Reward Model Training for Medical LLMs

O artigo apresenta o Infoxmed2.0-27B, um modelo de fundação médica derivado do Qwen3.5-27B que alcança um desempenho superior em benchmarks médicos por meio de um rigoroso pipeline de pós-treinamento em múltiplos estágios envolvendo síntese de dados proprietários, ajuste fino de instrução baseado em LoRA, alinhamento de preferência via DPO e treinamento de modelo de recompensa baseado em GRPO.

Autores originais: Xie, J., Guo, Z., Zhao, H., Ni, H.

Publicado 2026-06-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xie, J., Guo, Z., Zhao, H., Ni, H.

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

O Panorama Geral: Construindo um "Superestagiário Médico"

Imagine que você tem um estudante universitário brilhante e bem informado (o modelo base Qwen3.5-27B). Este estudante conhece muito sobre o mundo, sabe escrever ensaios e entende de lógica geral. No entanto, se você lhe fizer uma pergunta médica complexa, ele pode adivinhar, inventar fatos ou dar conselhos que parecem bons, mas que são, na verdade, perigosos.

Os autores deste artigo queriam transformar esse "estudante geral" em um "superestagiário médico" que seja preciso, seguro e siga regras médicas rigorosas. Eles fizeram isso não ensinando a ele um novo diploma do zero, mas submetendo-o a um rigoroso campo de treinamento de quatro estágios.

Estágio 1: A Fábrica de Livros Didáticos (Síntese de Dados)

Antes de o estudante estudar, ele precisa dos livros didáticos certos.

O Problema: Você não pode simplesmente coletar conselhos médicos aleatórios da internet; eles estão cheios de erros e duplicatas.
A Solução: A equipe construiu uma fábrica personalizada.
1. Mineração: Eles vasculharam um banco de dados privado e organizado (como uma biblioteca enorme) para extrair perguntas e respostas estruturadas.
2. Classificação: Eles organizaram essas perguntas em uma "Árvore de Categorias Médicas" (como um arquivo com pastas para Oncologia, Cardiologia, etc.) para que o estudante não fique sobrecarregado.
3. Os Editores: Uma equipe de doutores (PhDs) em Medicina atuou como editores rigorosos. Eles verificaram a precisão de cada resposta. Se um fato estava errado, era descartado.
4. O Filtro: Eles usaram uma ferramenta de IA inteligente (Chinese RoBERTa) para encontrar e remover perguntas duplicadas, garantindo que o estudante aprenda com exemplos únicos.
5. Polimento: Por fim, usaram uma API para suavizar a linguagem, fazendo com que as respostas soassem naturais e claras sem alterar os fatos médicos.

Analogia: É como pegar um monte bagunçado de notas manuscritas, fazer um professor verificar cada fato, remover as fotocópias e depois contratar um editor profissional para tornar o texto legível.

Estágio 2: A Sala de Aula (Ajuste Fino de Instrução / SFT)

Agora que o estudante tem os livros didáticos, ele vai para a aula.

O Método: Eles usaram uma técnica chamada LoRA (Adaptação de Baixo Posto).
A Analogia: Imagine que o estudante já tem um cérebro completo. Em vez de reescrever todo o seu cérebro (o que é caro e lento), a equipe adicionou um pequeno "caderno especializado" (LoRA) ao seu bolso. Este caderno contém regras e padrões médicos específicos.
O Resultado: O estudante aprendeu a seguir instruções médicas e a estruturar suas respostas corretamente. Ele passou por três versões desta aula (v0.0, v0.2, v0.4), melhorando a cada vez.

Estágio 3: O Treinador de Debate (Alinhamento de Preferência / DPO)

Saber os fatos não é suficiente; o estudante precisa saber como escolher a melhor resposta quando múltiplas opções existem.

A Configuração: A equipe criou 6.283 "baralhos" de cartas. Cada baralho tinha duas respostas para a mesma pergunta médica:
- O Vencedor: Uma resposta perfeita, detalhada e baseada em evidências.
- O Perdedor: Uma resposta vaga, incompleta ou alucinada (inventada).
O Treinamento: Eles usaram um método chamado DPO (Otimização de Preferência Direta). Em vez de contratar um juiz para avaliar cada resposta (o que é lento), eles simplesmente mostraram ao estudante: "Aqui está uma boa resposta, aqui está uma ruim. Aprenda a preferir a boa".
O Processo: Eles realizaram este treinamento 8 vezes (v0 a v7), ajustando a "rigidez" do treinador a cada vez. Eles escolheram a versão (v7) que era a melhor em distinguir uma resposta boa de uma ruim.

Analogia: É como um treinador mostrando a um jogador de xadrez uma partida onde ele venceu e uma partida onde ele perdeu, e então dizendo: "Não jogue como você fez na partida perdida".

Estágio 4: O Marcador de Pontos (Treinamento de Modelo de Recompensa / GRPO)

Enquanto o estudante aprendia a preferir boas respostas, a equipe também treinou uma IA "Marcadora de Pontos" separada.

O Objetivo: O trabalho deste Marcador de Pontos é avaliar automaticamente as futuras respostas do estudante.
A Abordagem Híbrida: O Marcador de Pontos usa dois tipos de avaliação:
1. Regras Internas: Um checklist (ex: "Você usou os termos médicos corretos? Você citou evidências?").
2. Sabedoria Externa: Ele pede a uma IA externa poderosa (DeepSeek) um "sentimento intuitivo" geral sobre a qualidade.
O Truque Técnico: O modelo base que eles usaram tinha uma peculiaridade onde esperava duas notas em vez de uma. A equipe adaptou o sistema de forma inteligente para trabalhar com essa peculiaridade, subtraindo a "nota ruim" da "nota boa" para obter uma nota final.

Analogia: É como um professor que usa uma rubrica rigorosa (Regras Internas), mas também pede a opinião de um especialista visitante (IA Externa), combinando ambas para dar uma nota final.

O Exame Final (Resultados)

A equipe testou seu novo "Superestagiário Médico" (Infoxmed2.0-27B) contra outros modelos de IA médica de ponta usando dois exames:

MedMCQA (Múltipla Escolha):
- O modelo obteve 77% de precisão.
- Ele pontuou acima de seus concorrentes (como Baichuan-M2 e MedGemma) em quase todas as categorias, especialmente em "Cobertura" (cobrir todas as partes da pergunta) e "Estrutura" (escrever claramente).
- A Progressão: O modelo base começou com uma pontuação de +6,69. Após a sala de aula (SFT), foi para +7,06. Após o treinador de debate (DPO), atingiu +7,18.
HLE (Avaliação de Lógica Difícil):
- Isso testou o raciocínio profundo. O modelo pontuou +2,59.
- A Ressalva: Embora fosse ótimo em estrutura e segurança, ele na verdade ficou um pouco pior em "Fundamentação" (aderir aos fatos) em questões extremamente difíceis e fora do domínio comum comparado ao modelo base. O artigo admite que isso é uma limitação: o modelo é muito bom em parecer profissional, mas às vezes ainda tem dificuldades com fatos extremamente obscuros.

Resumo

O artigo afirma que, ao combinar dados verificados por especialistas, treinamento de sala de aula eficiente, treinamento de debate baseado em preferência e um marcador de pontos híbrido, eles criaram uma IA médica que é atualmente a melhor entre seus pares em termos de qualidade geral e estrutura, embora ainda tenha espaço para melhorar na prevenção de "alucinações" em cenários muito difíceis.

Nota Importante: O artigo declara explicitamente que este é um pré-print de pesquisa e não deve ser usado para orientar a prática clínica (atendimento real a pacientes) ainda. É um avanço na pesquisa, não uma ferramenta médica finalizada.

Resumo Técnico: Infoxmed2.0-27B

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades notáveis em domínios gerais, sua aplicação em contextos médicos especializados é dificultada pela falta de conhecimento específico do domínio, padrões de raciocínio e consciência de segurança. Os esforços existentes em LLMs médicos frequentemente sofrem de três limitações primárias: (1) qualidade inconsistente dos dados de treinamento, recorrendo frequentemente a dados sintéticos sem validação profissional rigorosa; (2) dependência de ajuste fino de estágio único, perdendo os benefícios sinérgicos da combinação de ajuste de instrução, alinhamento de preferência e modelagem de recompensa; e (3) integração subexplorada de modelos de recompensa treinados especificamente para avaliação de qualidade médica. Essas lacunas necessitam de um framework de adaptação de domínio sistemático e de múltiplos estágios para garantir precisão e segurança em cenários clínicos de alto risco.

Metodologia

Os autores apresentam o Infoxmed2.0-27B, um modelo de fundação médica derivado do Qwen3.5-27B. O modelo é desenvolvido através de um pipeline de pós-treinamento abrangente de quatro estágios:

1. Síntese de Dados Médicos de Alta Qualidade

Para abordar os gargalos de qualidade de dados, os autores construíram um pipeline proprietário:

Fonte: Pares de perguntas e respostas estruturadas foram extraídos de um banco de dados MySQL contendo conhecimento médico curado em diversos subdomínios (anatomia, farmacologia, patologia, etc.).
Organização: Os dados foram estruturados usando uma MedicalCategoryTree hierárquica (disciplina → subdisciplina → tópico específico) para garantir uma cobertura equilibrada.
Garantia de Qualidade: Uma equipe de doutorado em medicina realizou auditorias de precisão, completude lógica e rotulagem de limites clínicos. Um modelo RoBERTa chinês realizou a deduplicação semântica (limiar de 0,85).
Refinamento: Um processo assistido por API otimizou a organização da linguagem e a naturalidade, preservando estritamente a precisão do conteúdo médico.

2. Ajuste Fino Supervisionado por Instrução (SFT)

O modelo base Qwen3.5-27B foi ajustado utilizando LoRA (Low-Rank Adaptation) com rank $r=8$ e fator de escala $\alpha=32$ em todas as camadas lineares.

Framework: O MS-Swift foi utilizado para o treinamento em 4× GPUs NVIDIA A800 80GB.
Processo: O processo envolveu rodadas iterativas (Infoxmed2.0.0 → 2.0.2 → 2.0.4) com avaliação sistemática em cada estágio para refinar hiperparâmetros e a qualidade dos dados.

3. Otimização de Preferência Direta (DPO) com Regularização RPO

Para alinhar as saídas do modelo com as preferências humanas sem o treinamento explícito de um modelo de recompensa, os autores aplicaram DPO em 6.283 pares de preferência médica curados (derivados de fontes MedMCQA e HLE).

Construção de Dados: Os pares consistiam em respostas "escolhidas" (raciocínio completo, estruturado, com citações de evidências) e respostas "rejeitadas" (vagas, com alucinações ou incompletas).
Função de Perda: O treinamento utilizou uma perda DPO-RPO, combinando a otimização de preferência com a regularização SFT ( $\alpha_{RPO} = 0,1$ ) para evitar o desvio excessivo da linha de base SFT.
Seleção Progressiva: Foram conduzidas oito iterações de treinamento (v0–v7). O modelo final foi selecionado com base no checkpoint com a margem de recompensa escolhido–rejeitado ideal, sem inflação da recompensa rejeitada.

4. Treinamento de Modelo de Recompensa Baseado em GRPO

Paralelamente ao DPO, um modelo de recompensa médico dedicado foi treinado usando Otimização de Política Relativa de Grupo (GRPO) no Qwen3.5.

Sinal de Recompensa Híbrido: O modelo combinou recompensas internas baseadas em regras (verificação de correção de campos, operadores booleanos, sintaxe) com sinais externos do DeepSeek (avaliação holística de qualidade).
Adaptação de Arquitetura: Um desafio técnico específico surgiu onde a configuração do modelo base forçou uma saída num_labels=2 apesar de uma configuração num_labels=1. Os autores adaptaram-se extraindo pontuações positivas e negativas das saídas duplas para calcular a perda de par.
Resultado: O modelo de recompensa treinado alcançou 46% de acurácia de par, demonstrando capacidade discriminativa funcional.

Principais Contribuições

Pipeline Sinérgico de Múltiplos Estágios: Ao contrário de trabalhos anteriores que tratam as técnicas de forma isolada, este artigo propõe um framework coeso integrando síntese de dados, LoRA-SFT, DPO-RPO e modelagem de recompensa baseada em GRPO.
Dados Validados Profissionalmente: A introdução de um pipeline de síntese de dados guiado por doutorado, com deduplicação semântica e refinamento assistido por API, aborda a questão crítica de alucinação médica e erros fatuais nos dados de treinamento.
Técnicas de Alinhamento Avançadas: A aplicação de DPO com regularização RPO e o treinamento paralelo de um modelo de recompensa baseado em GRPO especificamente para avaliação de qualidade médica.
Adaptação Técnica: Adaptação bem-sucedida da arquitetura Qwen3.5 para lidar com restrições de modelagem de recompensa (especificamente a discrepância de num_labels) através da extração de pontuação de saída dupla.

Resultados Experimentais

O modelo foi avaliado utilizando um framework de LLM-as-Judge (GPT-5.4) em dois benchmarks: MedMCQA (200 questões) e HLE (Avaliação de Lógica Difícil, 200 questões).

Desempenho no MedMCQA:
- Acurácia: 77,0% (superando pares como Baichuan-M2-32B com 72,5% e MedGemma-27B com 69,0%).
- Pontuação de Qualidade: Alcançou uma pontuação média de +7,18, mostrando uma progressão clara do modelo base (+6,69) e do estágio SFT (+7,06).
- Dimensões: Forte desempenho em Cobertura (+8,70) e Expressão & Estrutura (+8,25).
Desempenho no HLE:
- Acurácia: 95,5%.
- Pontuação de Qualidade: Média de +2,59, liderando modelos pares.
- Observação: Embora o modelo tenha melhorado na expressão e segurança, a pontuação de "Fundamentação" (Grounding) foi de -3,08 (pior que o -1,41 do modelo base), indicando desafios persistentes com alucinações em questões fora do domínio.
Modelo de Recompensa: O modelo de recompensa treinado via GRPO alcançou 46% de acurácia de par, validando a estratégia combinada de recompensa interna-externa.

Significância e Alegações

O artigo alega que o Infoxmed2.0-27B lidera de forma abrangente os modelos pares (incluindo Baichuan-M2-32B, MedGemma-27B, Lingshu-32B e HuatuoGPT-3-32B) sob condições de avaliação idênticas. A significância do trabalho reside em demonstrar que um pipeline de pós-treinamento sistemático e de múltiplos estágios — ancorado por dados profissionalmente validados e técnicas avançadas de otimização de preferência — pode aumentar significativamente as capacidades de raciocínio médico e segurança de LLMs de propósito geral.

No entanto, os autores mantêm um tom modesto quanto às limitações:

O modelo ainda apresenta pontuações de fundamentação negativas em avaliações de lógica difícil, sugerindo que a alucinação em questões fora do domínio continua sendo um desafio.
A acurácia de par do modelo de recompensa (46%) é funcional, mas não perfeita.
A avaliação é atualmente limitada a dois benchmarks (MedMCQA e HLE).
As fronteiras de segurança, embora melhoradas, ainda não são perfeitas.

O trabalho serve como uma prova de conceito para a integração de curadoria de dados rigorosa com técnicas modernas de alinhamento (DPO, GRPO) para construir IA médica especializada, ao mesmo tempo em que reconhece que pesquisas adicionais são necessárias para resolver totalmente as questões de alucinação médica e segurança.