Prompting is All You Need: How to Make LLMs More Helpful for Clinical Decision Support

Este estudo demonstra que o uso de prompts estruturados (método CARDS) melhora significativamente a precisão, segurança e aderência a diretrizes de diversos modelos de linguagem (LLMs) no suporte à decisão clínica para trombólise em AVC agudo, embora a vigilância humana permaneça essencial para a implementação clínica.

O essencial

Imagine que você tem um assistente superinteligente, um "gênio" que leu quase todos os livros do mundo, incluindo manuais médicos complexos. Esse é o Modelo de Linguagem (LLM). A ideia é usar esse gênio para ajudar médicos a tomar decisões rápidas e vitais, como saber se um paciente com AVC (derrame) pode receber um remédio forte para dissolver o coágulo (trombolítico).

O problema? Se você perguntar a esse gênio de forma simples e direta, como "Devo dar o remédio para este paciente?", ele pode ficar confuso, alucinar ou dar uma resposta perigosa, como se estivesse tentando adivinhar em vez de raciocinar.

Os autores deste estudo (Braydon e Daniel) descobriram que o segredo não é mudar o gênio, mas sim como você faz a pergunta. Eles chamam isso de "Engenharia de Prompt" (a arte de escrever o pedido).

A Analogia do Chefe de Cozinha

Pense no Modelo de Linguagem como um chef de cozinha extremamente talentoso, mas que às vezes é um pouco desatento se não receber instruções claras.

1. O Pedido Simples (Prompt Simples):
   Você chega na cozinha e diz apenas: "Faça um prato bom."

   • O que acontece: O chef pode pegar ingredientes errados, esquecer de cozinhar algo ou servir um prato que o cliente não consegue comer. No estudo, quando os médicos usaram perguntas simples, alguns modelos deram conselhos perigosos ou erraram as regras.

2. O Pedido Estruturado (Prompt CARDS):
   Agora, você chega e entrega uma receita passo a passo chamada CARDS (que significa Contexto, Objetivos, Detalhes Relevantes, Design e Fonte). Você diz:

   • "Primeiro, liste todos os ingredientes que o paciente tem (Contexto)."
   • "Segundo, verifique se algum ingrediente estragou (Contraindicações)."
   • "Terceiro, veja se o tempo de cozimento está certo (Tempo)."
   • "Quarto, explique por que você escolheu essa receita (Decisão)."
   • "Quinto, avise sobre os riscos de queimar a comida (Riscos e Benefícios)."
   • O que acontece: O chef segue o passo a passo. Ele não pula etapas. O prato sai perfeito, seguro e delicioso.

O Que Eles Descobriram?

Os pesquisadores testaram 6 "chefes" (modelos de IA): 3 famosos e fechados (como o GPT-4o e o o3 da OpenAI) e 3 de código aberto (como o Llama e o R1-1776).

• Os "Chefes" de Elite (Modelos Proprietários e R1-1776):
  Quando receberam o pedido simples, já eram bons, mas cometiam alguns erros. Quando receberam a receita passo a passo (CARDS), eles se tornaram perfeitos.

  • A precisão subiu de 0% para 100%.
  • Pararam de dar conselhos perigosos (0% de erros).
  • Começaram a explicar o "porquê" de cada decisão, como um médico conversando com o paciente.

• Os "Chefes" em Treinamento (Outros Modelos Abertos):
  Eles melhoraram muito com a receita passo a passo! Conseguiram identificar riscos melhor e explicar mais. Porém, mesmo com a receita perfeita, alguns ainda insistiram em usar ingredientes errados (recomendações inseguras) ou seguiram a receita de forma errada. Isso mostra que, às vezes, o "chef" precisa de mais treino (ajuste fino) além de apenas receber boas instruções.

A Lição Principal

A mensagem do estudo é clara: A forma como você pede ajuda é tão importante quanto a inteligência de quem ajuda.

Para usar a IA na medicina (ou em qualquer coisa importante):

1. Não seja preguiçoso na pergunta: Não faça perguntas curtas e vagas.
2. Use a estrutura: Peça para a IA pensar passo a passo, verificar regras, checar riscos e explicar o raciocínio.
3. Escolha o modelo certo: Alguns modelos respondem melhor a essas instruções do que outros.
4. Nunca confie cegamente: Mesmo com a melhor receita e o melhor chef, um humano precisa provar a comida antes de servir. A supervisão médica humana é essencial.

Em resumo: A IA é uma ferramenta poderosa, mas para salvar vidas, ela precisa de um "manual de instruções" bem escrito e de um médico vigilante ao lado.

Resumo técnico

Resumo Técnico: Prompting é Tudo o Que Você Precisa

Título Original: Prompting is All You Need: How to Make LLMs More Helpful for Clinical Decision Support
Autores: Braydon Dymm, MD e Daniel M. Goldenholz, MD, PhD
Contexto: Avaliação de modelos de linguagem grandes (LLMs) para suporte à decisão clínica em AVC isquêmico agudo.

1. O Problema

Os Modelos de Linguagem Grande (LLMs) têm potencial como ferramentas de suporte à decisão clínica, capazes de analisar dados clínicos não estruturados. No entanto, avaliações iniciais mostram que, quando interrogados com prompts simples e não estruturados, sua precisão varia e podem ocasionalmente fornecer conselhos inseguros.

• Foco Específico: A decisão de administrar ativador do plasminogênio tecidual (tPA) em AVC isquêmico agudo é crítica, envolvendo janelas de tempo estreitas e riscos de sangramento.
• Lacuna: Embora a engenharia de prompts (prompt engineering) seja conhecida por melhorar o desempenho geral, não havia estudos formais comparando o impacto de diferentes estruturas de prompts entre modelos proprietários (fechados) e de código aberto (open-source) em cenários clínicos de alto risco e tempo crítico.

2. Metodologia

O estudo foi desenhado como uma avaliação sistemática comparando dois tipos de prompts em seis LLMs distintos, utilizando três cenários clínicos sintéticos de AVC isquêmico (vignettes).

• Modelos Avaliados:
  • 3 Modelos Fechados (Proprietários): OpenAI GPT-4o, OpenAI o3, OpenAI GPT-5.2 Thinking.
  • 3 Modelos Abertos (Open-Source): Meta Llama-4-Scout-17B-16E-Instruct, Llama-3.3-70B-Instruct-Turbo, e o modelo de raciocínio R1-1776 (derivado do DeepSeek-R1, com censura removida).
• Estrutura dos Prompts:
  1. Prompt Simples: Apenas o caso clínico e a pergunta: "Este paciente deve receber trombolíticos?"
  2. Prompt Estruturado (Framework CARDS): Um prompt de cinco etapas guiando o modelo através de:
     • Contexto (Extração de informações críticas).
     • Alvos (Análise de tempo/janela terapêutica).
     • Relevantes (Verificação de contraindicações).
     • Design (Explicação do processo de decisão).
     • Source (Discussão de riscos e benefícios).
• Métricas de Avaliação: Um neurologista certificado avaliou as respostas em sete domínios:
  • Adesão às diretrizes (Sim/Não).
  • Segurança das recomendações (Sim/Não).
  • Reconhecimento de riscos chave.
  • Precisão na graduação específica das diretrizes.
  • Inclusão de explicação conversacional.
  • Clareza e utilidade geral (escala de 1 a 5).

3. Principais Contribuições

• Validação do Framework CARDS: Demonstração de que um prompt estruturado de cinco etapas pode transformar o desempenho de LLMs em tarefas clínicas complexas.
• Comparação Proprietário vs. Aberto: Análise detalhada de como diferentes arquiteturas (modelos de raciocínio vs. não raciocínio) respondem à engenharia de prompts.
• Dados de Segurança Crítica: Evidência empírica de que a estruturação do prompt pode eliminar recomendações inseguras em modelos específicos, algo crucial para a implementação clínica.

4. Resultados Chave

A. Modelos Fechados (GPT-4o, o3, GPT-5.2 Thinking):

• Melhoria Drástica: O uso de prompts estruturados elevou a adesão às diretrizes de 83,3% para 100% nos modelos GPT-4o e o3.
• Segurança: Eliminou completamente as recomendações inseguras (redução de 16,7% para 0% em GPT-4o/o3).
• Precisão e Explicação: A precisão na graduação das diretrizes saltou de 0% para 100%. As explicações conversacionais, ausentes nos prompts simples, apareceram em 100% das respostas estruturadas.
• GPT-5.2 Thinking: Já apresentava alta segurança no prompt simples, mas atingiu 100% de adesão e precisão com o prompt estruturado.

B. Modelos Abertos de Raciocínio (R1-1776):

• Desempenho Excepcional: Alcançou 100% em todos os domínios críticos (adesão, segurança, reconhecimento de riscos, graduação e explicações) com prompts estruturados.
• Melhoria Significativa: A precisão na graduação e a inclusão de explicações melhoraram de 0% (no prompt simples) para 100%.

C. Modelos Abertos Não-Raciocinadores (Llama-4-Scout, Llama-3.3-70B):

• Melhoria Moderada: Houve ganhos em reconhecimento de riscos (83,3% para 100%) e precisão na graduação (0% para 66,7%).
• Limitações Persistentes: A adesão às diretrizes permaneceu estagnada em 66,7% e recomendações inseguras persistiram em 33,3% das respostas, mesmo com prompts estruturados. Isso sugere que, para alguns modelos abertos, o prompting sozinho não é suficiente para garantir segurança total.

5. Significância e Implicações

• Engenharia de Prompts é Crucial: A estruturação do prompt é um fator determinante para a segurança e utilidade clínica dos LLMs. Prompts estruturados (como o CARDS) são essenciais para extrair o máximo potencial dos modelos, especialmente em áreas de alto risco como o AVC.
• Seleção de Modelos: Nem todos os modelos respondem da mesma forma.
  • Modelos proprietários (GPT-4o, o3, GPT-5.2) e o modelo aberto de raciocínio (R1-1776) mostraram-se os mais robustos e seguros quando devidamente instruídos.
  • Modelos abertos padrão (Llama) podem exigir fine-tuning (ajuste fino) adicional ou uso de Geração Aumentada por Recuperação (RAG) com fontes verificadas antes de serem considerados seguros para uso clínico autônomo.
• Recomendação Clínica: Para implementação próxima, os clínicos devem usar prompts estruturados que forcem etapas de raciocínio lógico (extração, análise temporal, verificação de contraindicações).
• Supervisão Humana: Apesar dos avanços, a supervisão humana vigilante permanece essencial. O estudo enfatiza que, até que validações extensivas sejam completas, os LLMs não devem substituir o julgamento clínico, mas sim atuar como ferramentas de suporte aprimoradas por prompts.

Conclusão Final: O estudo demonstra que "Prompting é Tudo o Que Você Precisa" para maximizar a segurança e a adesão a diretrizes em modelos de ponta (proprietários e de raciocínio aberto), mas alerta que modelos abertos tradicionais ainda possuem lacunas de segurança que o prompting sozinho não consegue fechar totalmente.