Evaluating Small Open LLMs for Medical Question Answering: A Practical Framework

1. Problema e Motivação

O artigo aborda uma lacuna crítica na avaliação de Modelos de Linguagem de Grande Porte (LLMs) para aplicações médicas. Embora benchmarks tradicionais foquem na precisão média (acurácia de uma única execução), eles ignoram a consistência de saída (reprodutibilidade).

• Risco de Inconsistência: Em cenários de saúde, um modelo que fornece respostas substantivamente diferentes para a mesma pergunta em execuções consecutivas é inseguro, independentemente de sua média de qualidade. Isso mina a confiança e a auditabilidade, essenciais em ambientes clínicos.
• Contexto: Com o aumento do uso de comunidades online (como o Reddit) como fonte de informação médica, a integração de assistentes de IA exige não apenas correção factual, mas estabilidade na geração de texto.
• Limitação Atual: A maioria dos benchmarks clínicos (ex: MedQA, PubMedQA) avalia apenas a precisão de "passada única", deixando a variância entre execuções (run-to-run variance) não medida.

2. Metodologia

Os autores propõem um framework de avaliação de código aberto que trata a reprodutibilidade como uma métrica de primeira classe, ao lado da precisão lexical e semântica.

• Dataset: Utilização do MedQuAD (50 perguntas amostradas aleatoriamente de um conjunto de 16.412 pares de perguntas e respostas de recursos de saúde do NIH). Cada pergunta foi submetida a 10 execuções de inferência por modelo, totalizando 1.500 respostas.
• Modelos Avaliados: Três modelos de pesos abertos e localmente implantáveis, servidos via Ollama:
  1. Llama 3.1 8B: Modelo de propósito geral (baseline dominante).
  2. Gemma 3 12B: Modelo de propósito geral de maior escala.
  3. MedGemma 1.5 4B: Modelo especializado em domínio clínico (fine-tuned).
• Configuração de Inferência:
  • Temperatura fixa em T=0.2 (baixa, mas não zero, para simular um regime quase determinístico comum em produção).
  • Prompt de sistema padronizado para isolar efeitos de engenharia de prompt.
• Métricas de Avaliação:
  • Qualidade (vs. Ground Truth): BERTScore, Token F1, BLEU, ROUGE-L, Similaridade de String e Exact Match.
  • Julgamento por LLM (LLM-as-judge): Um modelo local de 20B parâmetros avalia a correção factual e segurança clínica em uma escala de 0 a 1.
  • Reprodutibilidade (Métricas Chave):
    • Taxa de Auto-acordo (Self-agreement): Fração de execuções que correspondem à resposta modal (mais frequente).
    • Taxa de Unicidade de Resposta: Proporção de respostas únicas normalizadas.
• Pipeline: Uma ferramenta CLI modular (Python) com três estágios: run (geração), score (avaliação) e report (relatório), permitindo reprodutibilidade total e reavaliação sem re-consulta aos modelos.

3. Principais Contribuições

1. Protocolo de Avaliação Focado em Reprodutibilidade: Quantificação da consistência interna do modelo (auto-acordo e unicidade) como métricas essenciais, não apenas acessórias.
2. Pipeline de Código Aberto: Implementação modular e resumível que permite a replicação exata dos experimentos e extensão por outros pesquisadores.
3. Evidência Empírica de Falhas de Reprodutibilidade: Demonstração de que mesmo com temperaturas baixas (T=0.2), a variância de saída permanece alta em modelos pequenos, um risco oculto em benchmarks tradicionais.

4. Resultados Chave

• Alta Variabilidade de Saída: Mesmo com T=0.2, a taxa de auto-acordo foi extremamente baixa (entre 0,12 e 0,20). Isso significa que, em média, menos de 1 em cada 5 execuções do mesmo modelo produziu a mesma resposta.
• Unicidade Extrema: Entre 87% e 97% de todas as respostas geradas por modelo foram únicas (não repetidas). O Llama 3.1 8B teve 97,4% de unicidade.
• Desempenho dos Modelos:
  • Llama 3.1 8B: Melhorou na qualidade lexical (Token F1) e velocidade (43 tok/s), mas teve a pior reprodutibilidade.
  • Gemma 3 12B: Alcançou a melhor pontuação no julgamento clínico (Judge Score: 0,600) e a melhor reprodutibilidade (0,198 de acordo), embora fosse o mais lento.
  • MedGemma 1.5 4B: Desempenhou pior em todas as métricas (qualidade e reprodutibilidade) em comparação aos modelos maiores de propósito geral.
• Confusão de Escala vs. Especialização: Os autores notam que o baixo desempenho do MedGemma pode ser devido ao tamanho menor (4B vs. 8B/12B) e não necessariamente à falha do fine-tuning clínico, pois a escala do modelo parece dominar a adaptação de domínio neste contexto.

5. Significado e Conclusão

O estudo oferece três lições práticas fundamentais para a implementação de IA na saúde:

1. Baixa Temperatura não Garante Reprodutibilidade: Configurações comuns de produção (T=0.2) não eliminam a instabilidade. Estratégias de mitigação (como votação majoritária, gating por confiança ou revisão humana) são obrigatórias antes de expor saídas a clínicos.
2. Escala vs. Especialização: Em modelos pequenos, o aumento de parâmetros (escala) pode ser mais benéfico do que o fine-tuning clínico específico. A seleção de modelos deve ser baseada em dados empíricos e comparações de mesma escala, não apenas em rótulos de "especialização médica".
3. Trade-off Qualidade-Consistência: Existe uma compensação entre precisão lexical/velocidade e consistência. O modelo ideal depende se o contexto de implantação prioriza a fidelidade da resposta, a consistência ou a latência.

O trabalho conclui que a comunidade de PLN clínico deve adotar métricas de reprodutibilidade como padrão ao lado da precisão, e disponibiliza seu código e dados para garantir que essa avaliação tridimensional (Qualidade, Segurança, Consistência) seja acessível a qualquer equipe com hardware comercial.