Prompt Sensitivity and Answer Consistency of Small Open-Source Large Language Models on Clinical Question Answering: Implications for Low-Resource Healthcare Deployment

Este estudo avalia a sensibilidade a prompts e a consistência de respostas de modelos de linguagem open-source pequenos em cenários clínicos, revelando que a alta consistência não garante precisão e identificando o Llama 3.2 como o modelo mais equilibrado para implantação em ambientes de recursos limitados.

O essencial

Imagine que você está em uma pequena clínica no interior, sem internet rápida e sem computadores superpotentes. Você precisa de ajuda para responder a perguntas médicas complexas, mas não pode depender de servidores na nuvem. A solução? Usar "cérebros" de inteligência artificial (IA) pequenos e gratuitos que funcionam direto no seu computador comum.

Este artigo é como um teste de direção para esses pequenos cérebros de IA, mas com um foco muito específico: eles são confiáveis?

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A IA que muda de ideia (ou não)

Os pesquisadores queriam saber duas coisas:

• Precisão: A IA acerta a resposta médica?
• Consistência: Se você fizer a mesma pergunta de 5 maneiras diferentes (ex: "Doutor, qual o remédio?" vs. "Me diga o remédio para dor de cabeça"), a IA dá a mesma resposta?

A Grande Descoberta (O "Elefante na Sala"):
Imagine um aluno que sempre responde a mesma coisa errada, com total confiança, não importa como você pergunte. Ele é muito consistente, mas totalmente errado.

• O modelo Gemma 2 foi esse aluno. Ele foi o mais "consistente" (dava a mesma resposta toda vez), mas foi o que teve a menor precisão (errava muito).
• A lição: Em medicina, um erro consistente é perigoso. É como um GPS que te manda para o abismo todos os dias, sempre pelo mesmo caminho. Você confia nele porque ele é estável, mas ele vai te matar.

2. O Modelo Vencedor: O Equilibrado

O Llama 3.2 foi o campeão. Ele não era o mais consistente (às vezes mudava um pouco a resposta dependendo de como você perguntava), mas era o que mais acertava as respostas médicas.

• Analogia: É como um médico que às vezes hesita ou muda de opinião se você explicar melhor o caso, mas no final, ele é quem tem o diagnóstico correto. Para salvar vidas, é melhor ter alguém que acerta, mesmo que seja um pouco menos "robótico", do que alguém que erra com confiança.

3. A Armadilha do "Roleplay" (Ator)

Os pesquisadores testaram pedir para a IA: "Aja como um médico experiente".

• Resultado: Isso foi um desastre! Quando a IA tentava "atuar" como médico, ela ficou pior em todas as situações.
• Analogia: É como pedir para um ator que está ensaiando uma peça de Shakespeare responder a uma pergunta de matemática. Ele fica tão focado em manter a "persona" do personagem que esquece de fazer a conta. Para essas IAs pequenas, menos é mais. Perguntas diretas funcionam melhor do que pedidos de "atuação".

4. O Modelo que Sabia Tudo, mas Não Sabia Ouvir

Eles testaram um modelo chamado Meditron, que foi treinado lendo milhões de artigos médicos (ele tem o "conhecimento").

• Resultado: Ele sabia muito, mas quando você lhe dava uma instrução simples como "Responda apenas com Sim, Não ou Talvez", ele falhava em 99% das vezes. Ele simplesmente não entendia o comando.
• Analogia: Imagine um professor de medicina brilhante que sabe tudo sobre o corpo humano, mas que, quando você pede para ele escrever um bilhete curto, ele começa a escrever um romance de 500 páginas ou fica em silêncio. Ter o conhecimento não adianta se você não consegue seguir as regras do jogo.

5. Por que isso importa para o mundo real?

Muitos hospitais em lugares pobres não têm computadores potentes. Eles precisam desses modelos pequenos rodando em máquinas simples.

• O Perigo: Se usarmos um modelo que é "consistentemente errado" (como o Gemma 2) ou que não sabe seguir instruções (como o Meditron), os médicos podem tomar decisões erradas baseadas em uma falsa sensação de segurança.
• A Solução: Não basta olhar apenas se a IA é "rápida" ou "barata". É preciso testar se ela é precisa e se segue as regras de como responder.

Resumo Final

Este estudo nos diz que, ao colocar Inteligência Artificial em hospitais simples:

1. Não confie apenas na estabilidade: Se a IA responde sempre a mesma coisa, não significa que ela está certa.
2. Evite pedir para ela "atuar": Seja direto nas perguntas.
3. Escolha o equilíbrio: O modelo Llama 3.2 parece ser o melhor amigo para essas situações, pois erra menos, mesmo que não seja perfeito em tudo.

É um lembrete de que, na medicina, confiabilidade não é apenas sobre ser consistente, é sobre ser correto.

Resumo técnico

Título: Sensibilidade ao Prompt e Consistência de Resposta em Pequenos Modelos de Linguagem Open-Source para Resposta a Questões Clínicas: Implicações para Implantação em Saúde de Baixos Recursos

1. Problema e Motivação

A inteligência artificial está sendo cada vez mais integrada aos fluxos de trabalho de saúde. Enquanto modelos grandes baseados em nuvem recebem muita atenção, modelos de linguagem (LLMs) open-source menores (2B a 7B parâmetros) ganham relevância para cenários de baixos recursos (clínicas rurais, hospitais comunitários) onde a infraestrutura de GPU e a conectividade com a nuvem são limitadas.

No entanto, a confiabilidade desses modelos em ambientes críticos de saúde é uma preocupação. A literatura atual foca predominantemente na acurácia (se a resposta está correta), mas ignora a estabilidade da saída do modelo quando a mesma pergunta clínica é reescrita de diferentes formas (sensibilidade ao prompt). Em segurança clínica, um modelo que fornece respostas diferentes para a mesma pergunta, dependendo da formulação, é considerado não confiável, independentemente de sua acurácia agregada. Além disso, não há estudos sistemáticos sobre como modelos pequenos, executáveis localmente em CPUs, se comportam sob variações de prompts em tarefas clínicas.

2. Metodologia

O estudo realizou uma avaliação sistemática e controlada utilizando os seguintes componentes:

• Modelos Avaliados (5):
  • Phi-3 Mini (3.8B), Llama 3.2 (3B), Gemma 2 (2B), Mistral 7B (7B): Modelos instruídos de propósito geral.
  • Meditron-7B (7B): Um modelo pré-treinado especificamente em domínio médico (corpus do PubMed e diretrizes), mas sem ajuste de instrução (instruction tuning).
• Datasets Clínicos (3):
  • MedQA (Exames de Licenciamento Médico dos EUA).
  • MedMCQA (Exames de entrada médica da Índia).
  • PubMedQA (Questões baseadas em resumos de pesquisa biomédica).
  • Amostragem: 200 perguntas aleatórias de cada dataset (total de 600 questões).
• Design de Variação de Prompt:
  Cada pergunta foi transformada em 5 estilos semanticamente equivalentes, mas estilisticamente distintos:
  1. Original: Como aparece no dataset.
  2. Formal: Linguagem acadêmica clínica.
  3. Simplificada: Linguagem cotidiana (paciente).
  4. Roleplay (Personagem): Instrução para agir como um médico praticante.
  5. Direto: Apenas a pergunta e opções, sem enquadramento.
     Total: 3.000 prompts gerados (600 questões × 5 estilos).
• Configuração de Inferência:
  • Execução local em hardware de CPU de consumo (sem GPU).
  • Sem fine-tuning específico para medicina.
  • Temperatura = 0 (saídas determinísticas).
  • Limite de tokens: 10 (para forçar respostas curtas e estruturadas).
• Métricas de Avaliação:
  • Score de Consistência: Proporção de vezes que o modelo deu a mesma resposta (maioria) entre as 5 variações de prompt.
  • Acurácia Geral: Comparação da resposta majoritária com o ground truth.
  • Acurácia por Estilo: Desempenho em cada um dos 5 estilos de prompt.
  • Taxa de Falha na Seguição de Instruções (UNKNOWN): Proporção de respostas que não contêm uma opção válida (A-D ou Sim/Não/Talvez).

3. Principais Contribuições e Resultados

A. Consistência e Acurácia são Métricas Independentes

• Descoberta Crítica: Alta consistência não implica em alta acurácia.
• Caso de Estudo (Gemma 2): O modelo Gemma 2 (2B) obteve os maiores scores de consistência (0.845–0.888), mas as menores taxas de acurácia (33.0–43.5%). Isso indica que o modelo é "confiavelmente errado": ele produz a mesma resposta incorreta independentemente de como a pergunta é feita.
• Caso de Estudo (Llama 3.2): O Llama 3.2 (3B) apresentou consistência moderada (0.774–0.807), mas a maior acurácia geral (49.0–65.0%).
• Implicação: Um modelo pode ser perigoso se for consistentemente errado, criando uma falsa sensação de segurança para o clínico.

B. O Efeito Negativo de Prompts de "Roleplay"

• O estilo de prompt que solicita ao modelo para "agir como um médico" (Roleplay) reduziu sistematicamente a acurácia em todos os modelos e datasets.
• Impacto Máximo: No modelo Phi-3 Mini no dataset MedQA, a acurácia caiu 21,5 pontos percentuais ao usar o estilo Roleplay em comparação com o estilo Direto.
• Conclusão: Enquadramentos baseados em persona introduzem interferência na tarefa, diluindo a capacidade de raciocínio em modelos menores.

C. Falhas na Seguição de Instruções (Instruction Following)

• A taxa de respostas inválidas (UNKNOWN) variou significativamente entre os modelos e não foi determinada pelo número de parâmetros.
• Meditron-7B: Apesar de ter conhecimento médico profundo (pré-treinamento de domínio), sem instruction tuning, ele falhou quase completamente em tarefas estruturadas. No PubMedQA, a taxa de falha foi de 99,0%, gerando respostas que não seguiam o formato solicitado.
• Llama 3.2 e Gemma 2: Apresentaram as menores taxas de falha (< 3%), demonstrando que a capacidade de seguir instruções é uma característica específica do modelo, não garantida apenas pelo tamanho ou conhecimento de domínio.

D. Desempenho em Hardware de Baixo Recurso

• O estudo validou que modelos de 2B a 7B podem rodar em CPUs de consumo.
• O Llama 3.2 emergiu como o candidato mais equilibrado para implantação em baixos recursos, oferecendo o melhor compromisso entre acurácia, consistência e baixa taxa de falha na execução de instruções.

4. Significado e Implicações para a Saúde

1. Risco de "Erros Confiáveis": A consistência não é um substituto para a segurança. Em sistemas de apoio à decisão clínica, um modelo que erra consistentemente é mais perigoso do que um que erra aleatoriamente, pois pode reforçar diagnósticos falsos com falsa confiança.
2. Guia de Engenharia de Prompt: Para modelos pequenos em saúde, evite prompts de Roleplay. O uso de linguagem direta e minimalista ("Original" ou "Direto") resulta em maior confiabilidade factual.
3. Seleção de Modelos: Para ambientes de baixos recursos, a escolha do modelo não deve basear-se apenas no tamanho (parâmetros) ou no conhecimento de domínio (pré-treinamento médico). A capacidade de seguir instruções e a acurácia são pré-requisitos fundamentais. Modelos pré-treinados em domínio, mas sem ajuste de instrução, podem ser inutilizáveis em fluxos de trabalho estruturados.
4. Novo Framework de Avaliação: O estudo propõe que a avaliação de IA clínica deve ser multidimensional, analisando conjuntamente Acurácia, Consistência e Adesão a Instruções. Avaliar apenas a acurácia é insuficiente para garantir a segurança do paciente.

Conclusão

O artigo demonstra que a implantação de IA em saúde de baixos recursos exige uma avaliação rigorosa que vá além da precisão. Modelos pequenos podem ser viáveis, mas sua seleção deve priorizar a estabilidade e a capacidade de seguir instruções. O Llama 3.2 foi identificado como a opção mais robusta entre os testados, enquanto o uso de prompts de persona deve ser evitado para prevenir degradação de desempenho. O estudo enfatiza a necessidade de frameworks de avaliação que detectem "erros confiáveis" antes que sistemas sejam implantados em cenários reais.