Domain Fine-Tuning vs. Retrieval-Augmented Generation for Medical Multiple-Choice Question Answering: A Controlled Comparison at the 4B-Parameter Scale

1. Declaração do Problema

Profissionais que implantam Modelos de Linguagem de Grande Porte (LLMs) pequenos e executáveis localmente para aplicações médicas enfrentam uma decisão crítica de design: devem investir recursos em ajuste fino de domínio (codificando conhecimento nos pesos do modelo) ou em Geração Aumentada por Recuperação (RAG) (injetando conhecimento no momento da inferência)?

Embora ambas as abordagens sejam conhecidas por melhorar o desempenho individualmente, elas raramente são comparadas diretamente sob condições idênticas. Estudos existentes frequentemente variam em arquitetura base, conjuntos de dados de avaliação e pipelines de recuperação, tornando difícil determinar qual intervenção oferece o melhor ganho de precisão para um orçamento fixo de parâmetros. Este artigo aborda a questão específica: Na escala pequena (4B de parâmetros), qual estratégia — ajuste fino ou RAG — entrega precisão superior para resposta a questões múltipla escolha médicas?

2. Metodologia

Os autores conduziram um design experimental 2×2 estritamente controlado para isolar as variáveis de interesse.

• Fatores Experimentais:
  1. Tipo de Modelo: Propósito geral (Gemma 3 4B) vs. Adaptado a domínio (MedGemma 4B).
  2. Estratégia de Contexto: Sem RAG (Apenas Pergunta) vs. RAG (Pergunta + Passagens Recuperadas).
• Variáveis Controladas:
  • Tamanho do Modelo: Ambos os modelos possuem 4B de parâmetros.
  • Quantização: Ambos foram servidos como builds GGUF quantizados em 4 bits via Ollama.
  • Temperatura: Fixada em 0,1 para amostragem determinística.
  • Prompting: Persona idêntica de especialista médico e contrato de resposta legível por máquina ({"answer":"A|B|C|D"}).
  • Conjunto de Avaliação: O conjunto de teste completo MedQA-USMLE com 4 opções (1.273 perguntas).
  • Repetições: Cada pergunta foi consultada 3 vezes por configuração (Total: 15.276 chamadas de LLM).
• Pipeline de Recuperação:
  • Corpus: Campos de explicação da divisão de treinamento do MedMCQA (garantindo vazamento de dados zero, pois MedMCQA é disjunto de MedQA).
  • Embedding: nomic-embed-text.
  • Classificação: Pontuação híbrida (60% similaridade de cosseno densa + 40% lexical) com um corte de distância de cosseno de 0,3.
  • Contexto: Top 3 blocos inseridos no prompt.
• Análise Estatística:
  • Agregação: Voto majoritário entre as 3 repetições.
  • Teste de Significância: Teste pareado exato de McNemar para comparar a precisão entre configurações nos mesmos 1.273 itens.

3. Principais Contribuições

1. Comparação Direta Controlada: O primeiro estudo a manter a base, o prompt e o conjunto de avaliação constantes enquanto alterna tanto o ajuste fino quanto o RAG na escala de 4B.
2. Evidência Estatística: Fornece prova estatística rigorosa (via teste de McNemar) de que o ajuste fino de domínio gera ganhos significativos, enquanto um pipeline RAG competitivo não o faz nesta escala.
3. Pipeline Reprodutível: Liberou um pipeline totalmente de código aberto e determinístico (Ollama + ChromaDB) com 15.276 traços JSONL brutos para apoiar a replicação.

4. Resultados

O estudo avaliou quatro configurações:

1. Gemma 3 4B (Geral) + Sem RAG: 46,4% de precisão.
2. Gemma 3 4B (Geral) + RAG: 47,3% de precisão.
3. MedGemma 4B (Domínio) + RAG: 51,4% de precisão.
4. MedGemma 4B (Domínio) + Sem RAG: 53,3% de precisão (Melhor Desempenho).

Principais Descobertas:

• Impacto do Ajuste Fino: A troca da base Gemma 3 geral para a base MedGemma adaptada a domínio resultou em um ganho de +6,8 pontos percentuais (pp) na precisão (53,3% vs. 46,4%). Esta diferença é altamente estatisticamente significativa (p < 10⁻⁴).
• Impacto do RAG: Adicionar RAG não produziu uma melhoria estatisticamente significativa para nenhum dos modelos.
  • Para o modelo geral, o ganho foi marginal (+0,9 pp, p = 0,56).
  • Para o modelo ajustado a domínio, a estimativa pontual foi levemente negativa (-1,9 pp, p = 0,16), sugerindo que o RAG pode introduzir ruído ou interferência quando o modelo já possui o conhecimento relevante.
• Consistência: Todas as configurações mostraram alta consistência entre repetições (≥0,99 de concordância), indicando que os resultados são robustos contra ruído de decodificação.

5. Significância e Discussão

• Pesos vs. Contexto: Na escala de 4B de parâmetros, o conhecimento de domínio codificado nos pesos domina o conhecimento de domínio fornecido no contexto. Para modelos pequenos implantados localmente, o ajuste fino é uma alavanca mais confiável para a precisão do que a construção de um pipeline de recuperação.
• Por que o RAG Falhou: Os autores propõem quatro razões potenciais para a falta de eficácia do RAG neste contexto específico:
  1. Raciocínio vs. Recuperação: Questões do USMLE exigem raciocínio complexo e integração de achados, o que um trecho de texto recuperado não pode facilmente contornar.
  2. Qualidade do Corpus: O corpus de recuperação (explicações do MedMCQA) é amplo, mas não autoritativo, potencialmente diluindo o conhecimento prévio do modelo.
  3. Limites de Capacidade: Modelos de 4B podem carecer da capacidade da janela de contexto ou da habilidade de raciocínio para fundamentar e integrar efetivamente blocos recuperados enquanto resolvem problemas complexos.
  4. Redundância de Conhecimento: O MedGemma provavelmente já absorveu o conhecimento de livros didáticos presente no corpus de recuperação, deixando pouco valor marginal para o RAG adicionar e potencialmente causando interferência.
• Implicação Prática: Para profissionais com orçamentos de engenharia limitados que implantam pequenos LLMs médicos, priorizar o ajuste fino de domínio em vez do RAG é a estratégia recomendada. O RAG não é prejudicial, mas não é um substituto para o conhecimento nos pesos nesta escala.

6. Limitações

• Único Benchmark: Os resultados são específicos para MedQA-USMLE; o RAG pode ter melhor desempenho em tarefas de livro aberto ou recuperação verbatim.
• Única Escala: As descobertas aplicam-se a modelos de 4B e podem não extrapolar para modelos de fronteira maiores (ex: 70B+), onde os ganhos do RAG são frequentemente mais pronunciados.
• Quantização: Ambos os modelos foram quantizados em 4 bits, o que pode introduzir pequenos deslocamentos de precisão, embora a comparação pareada isole os efeitos relativos.