Large language model scoring of medical student reflection essays: Accuracy and reproducibility of prompt-model variations

Este estudo demonstra que modelos de linguagem grande (LLMs) alcançam precisão e reprodutibilidade quase perfeitas na avaliação de redações de reflexão de estudantes de medicina, sendo que modelos ajustados e prompts com exemplos oferecem maior acurácia, embora com custos variáveis dependendo do volume de processamento.

O essencial

Imagine que você é um professor de medicina e tem 51 redações de alunos para corrigir. O tema é: "Conte sobre uma experiência clínica que mudou sua vida".

Corrigir redações é difícil. Requer tempo, paciência e, o pior de tudo: é subjetivo. Um professor pode dar nota 5, e outro, nota 3, para o mesmo texto. Além disso, corrigir centenas de trabalhos manualmente custa caro e cansa muito.

Aí, entra a Inteligência Artificial (IA) como um "super assistente". Mas será que a IA é boa o suficiente para substituir o professor? E, se for, como devemos "pedir" para ela fazer isso?

Este estudo é como um laboratório de testes de carros, onde os pesquisadores colocaram vários modelos de IA (da OpenAI) para correr na pista, tentando ver qual é o mais rápido, o mais preciso e o mais barato para corrigir essas redações.

Aqui está o resumo da história, traduzido para o português do dia a dia:

1. O Cenário: A Corrida dos Robôs

Os pesquisadores pegaram 51 redações (algumas reais, outras criadas por outra IA para testar) e pediram para 29 "configurações" diferentes de IA corrigirem.

Pense nas configurações como se fossem receitas de bolo diferentes:

• O Modelo: Qual "motor" a IA usa? (Um motor gigante e caro, um motor pequeno e barato, ou um motor superpotente de raciocínio).
• O Prompt (A Receita): O que a IA recebe como instrução?
  • Exemplo: "Você é um professor rigoroso" vs. "Você é um pesquisador amigável".
  • Exemplo: "Aqui está a lista completa de critérios" (o manual de correção) vs. "Apenas dê uma nota".
  • Exemplo: "Veja 3 exemplos de como corrigir antes de começar" (aprendizado com exemplos) vs. "Corrija sem olhar nada".

2. Os Resultados: Quem venceu a corrida?

🏆 A Precisão (Quem acertou mais?)

A IA foi surpreendentemente boa. Na maioria das configurações, a nota dada pela máquina foi quase idêntica à nota que um professor humano daria.

• O segredo do sucesso: As IAs que tinham "exemplos" (viam redações anteriores já corrigidas) e as que foram "treinadas de propósito" (fine-tuning, onde a IA "estudou" 18 redações de treinamento antes de começar) foram as campeãs.
• O manual importa: Quanto mais detalhes o manual de correção tivesse na instrução, melhor a IA acertou. Se você não der o manual, a IA chuta mais.

💰 O Custo (Quanto custa a corrida?)

Aqui a coisa fica interessante.

• Para poucos trabalhos (ex: 100 redações): Usar um modelo pequeno e rápido (como o GPT-4.1-mini) é o mais barato. Custa centavos.
• Para muitos trabalhos (ex: 10.000 redações): Se você tiver que corrigir uma montanha de redações, vale a pena pagar um "curso de especialização" para a IA (o fine-tuning). O custo inicial é alto, mas, dividido por 10.000 redações, fica mais barato do que usar o modelo padrão.

⏱️ O Tempo

A IA foi incrivelmente rápida. Em média, corrigiu uma redação em menos de 4 segundos. É como se ela lesse, pensasse e anotasse a nota enquanto você pisca os olhos.

3. O Que Não Funcionou (O Mito do "Pense Passo a Passo")

Havia uma teoria popular de que, se você pedisse para a IA "pensar passo a passo" (como um professor que explica o raciocínio antes de dar a nota), ela seria mais inteligente.

• A surpresa: Neste estudo, pedir para a IA "pensar alto" ou "explicar antes de dar a nota" não ajudou. Na verdade, às vezes até atrapalhou um pouco ou só gastou mais tempo e dinheiro sem melhorar a nota final. A IA moderna já é tão inteligente que não precisa de tanto "empurrão" no raciocínio para tarefas simples como essa.

4. As Lições para o Professor (O que você deve levar para casa)

1. A IA é uma ferramenta confiável: Para corrigir redações de reflexão, a IA pode fazer o trabalho pesado com uma precisão quase perfeita, igual à de um professor humano.
2. Dê exemplos: Se você quer que a IA acerte, mostre a ela 3 redações de exemplo com as notas e comentários. É como mostrar a um estagiário como fazer o trabalho antes de ele começar.
3. Escolha o modelo certo:
   • Tem poucas redações? Use o modelo pequeno e barato.
   • Tem milhares de redações? Invista no treinamento da IA (fine-tuning) para economizar no longo prazo.
4. Não complique demais: Você não precisa de instruções super complexas ou de pedir para a IA "pensar muito". Um bom manual de regras e um modelo moderno já resolvem 99% do problema.

Em resumo

Este estudo diz que a IA já está pronta para ajudar professores a corrigir redações. Ela é rápida, barata (dependendo de como você usa) e muito precisa. O segredo não é usar a IA mais cara, mas sim saber como dar as instruções certas (com exemplos e regras claras) para que ela funcione como um assistente perfeito.

É como ter um estagiário superinteligente que nunca cansa, nunca tem um "dia ruim" e custa menos de um café para corrigir 100 trabalhos.

Resumo técnico

Resumo Técnico: Avaliação de Modelos de Linguagem Grande (LLMs) na Pontuação de Ensaios de Reflexão de Estudantes de Medicina

1. Problema e Contexto

A avaliação de dados qualitativos (narrativos), como ensaios de reflexão e notas de encontro clínico, é crucial para avaliar uma ampla gama de atributos dos alunos, mas apresenta desafios práticos significativos quando aplicada em escala. A pontuação manual por avaliadores humanos é limitada pela disponibilidade de raters, custos elevados, necessidade de treinamento e inconsistências na pontuação (fadiga, leniência ou rigor excessivo).

Embora a pontuação automatizada de ensaios (AES) exista desde 1966, as ferramentas tradicionais exigem expertise técnica profunda, investimento financeiro e algoritmos específicos de conteúdo. Modelos de Linguagem Grande (LLMs) contemporâneos, como o OpenAI GPT, prometem superar essas barreiras, mas faltam evidências robustas sobre:

• A precisão e reprodutibilidade de diferentes configurações de prompts (instruções).
• As melhores práticas de engenharia de prompts (ex: uso de exemplos, chain-of-thought, fine-tuning).
• O equilíbrio entre custo e desempenho para diferentes volumes de ensaios.

2. Metodologia

O estudo foi conduzido em abril-maio de 2025, utilizando a API da OpenAI para avaliar 51 ensaios de reflexão de estudantes de medicina (15 reais e 36 fabricados por um LLM diferente, o Gemini-2.0-flash, para garantir variedade de cenários clínicos mantendo o nível de reflexão).

• Padrão-Ouro: As pontuações de referência foram estabelecidas por avaliadores humanos treinados utilizando a "Rubrica de Capacidade Reflexiva" (escala de 6 pontos), validada anteriormente.
• Desenho Experimental: Foram comparadas 29 condições diferentes de combinação entre prompt e modelo, variando sistematicamente:
  • Modelos: GPT-4.1 (modelo principal), GPT-4.1-mini, GPT-o4-mini, GPT-4o, GPT-4-Turbo e GPT-3.5-Turbo.
  • Engenharia de Prompt:
    • Persona: Avaliador de escrita vs. Pesquisador.
    • Rubrica: Completa (6 níveis), parcial (3 ou 1 nível) ou nenhuma.
    • Aprendizado Few-Shot: Uso de 0, 1 ou 3 exemplos (exemplares) com feedback ou justificativa.
    • Raciocínio: Chain-of-thought (geral e específico), ordem de saída (feedback antes da nota vs. nota antes do feedback).
    • Temperatura: Baixa (0.2), Média (0.7) e Alta (1.0).
    • Fine-tuning: Modelos pré-treinados com 18 ensaios de treinamento (5 épocas).
• Métricas de Desempenho:
  • Precisão: Coeficiente de Correlação Intraclasses (ICC) de pontuação única e Diferença Absoluta Média (MAD) em relação às pontuações humanas.
  • Reprodutibilidade: ICC dentro da condição (consistência entre 6 replicações).
  • Custo e Tempo: Tempo de processamento por ensaio e custo em USD (baseado no preço por token de maio de 2025), calculado para 100 e 10.000 ensaios.

3. Contribuições Principais

• Comparação Abrangente: O estudo oferece a comparação mais detalhada até o momento de variações de prompts e modelos LLM para avaliação de ensaios médicos, indo além de estudos anteriores que usavam modelos mais antigos ou designs menos rigorosos.
• Análise de Custo-Benefício: Fornece dados concretos sobre como o volume de ensaios (100 vs. 10.000) altera a viabilidade econômica de estratégias como fine-tuning e uso de exemplares.
• Validação de Dados Sintéticos: Demonstrou a viabilidade de usar LLMs para gerar dados de teste (ensaios fabricados) que preservam a estrutura de níveis de reflexão, permitindo testes controlados sem violar a privacidade de alunos reais.
• Desmistificação de Técnicas: Testou empiricamente técnicas populares de engenharia de prompts (como chain-of-thought e feedback-first) em modelos de última geração, encontrando resultados que contradizem algumas expectativas da literatura anterior.

4. Resultados Chave

• Precisão Geral:

  • A precisão foi "quase perfeita" (ICC > 0,80) em 28 das 29 condições (97%).
  • Fine-tuning: Modelos ajustados (fine-tuned) foram significativamente mais precisos que os não ajustados (MAD diferença: -0,24).
  • Exemplares (Few-Shot): Condições com exemplos foram significativamente mais precisas que aquelas sem (MAD diferença: -0,44).
  • Rubrica: A precisão diminuiu progressivamente à medida que o número de níveis da rubrica explicitamente definidos no prompt era reduzido (de 6 para 0 níveis).
  • Modelos: O GPT-4.1 foi superior aos modelos "mini" e às versões mais antigas (Turbo/3.5). O modelo de raciocínio (o4-mini) não superou o GPT-4.1 padrão em precisão.

• Reprodutibilidade:

  • A reprodutibilidade (consistência interna) foi "quase perfeita" (ICC > 0,80) em 28/29 condições.
  • Condições com exemplares tenderam a ser as mais reprodutíveis.

• Impacto de Técnicas Específicas (Resultados Surpreendentes):

  • Chain-of-Thought (CoT): Ao contrário de estudos anteriores com modelos mais antigos, o uso de chain-of-thought (geral ou específico) não melhorou a precisão em modelos GPT-4.1; na verdade, tendeu a ser ligeiramente pior e mais lento.
  • Temperatura e Persona: Variações na temperatura (0.2 vs 1.0) e na persona (pesquisador vs. avaliador) não tiveram impacto estatisticamente significativo na precisão.
  • Feedback vs. Justificativa: A ordem da saída (feedback antes da nota) e o tipo de justificativa (focada no aluno vs. no rater) não alteraram significativamente a precisão da nota numérica.

• Custo e Eficiência:

  • Custo por 100 ensaios: Variou de $0,04 (GPT-4.1-mini) a $2,05 (GPT-4o fine-tuned).
  • Escala: Para volumes pequenos (100 ensaios), o GPT-4.1 não ajustado com prompt básico oferece o melhor equilíbrio (custo ~$0,21, precisão alta).
  • Economia de Escala: Para volumes grandes (10.000 ensaios), o custo do fine-tuning é amortizado, tornando modelos ajustados (ex: GPT-4.1 fine-tuned) mais baratos por ensaio ($0,20/100) do que os não ajustados.

5. Significado e Implicações

• Viabilidade Prática: A pontuação automatizada de ensaios de reflexão por LLMs é viável, precisa e reprodutível para a maioria das configurações de prompt modernas.
• Otimização de Recursos:
  • Para baixo volume: Recomenda-se o uso de GPT-4.1 ou GPT-4.1-mini com prompts básicos ou com poucos exemplares, evitando o custo de fine-tuning.
  • Para alto volume: O fine-tuning torna-se a opção mais econômica e precisa.
• Simplicidade dos Prompts: Modelos de última geração (como GPT-4.1) podem não exigir a sofisticação extrema de engenharia de prompts (como chain-of-thought complexo) que era necessária em modelos anteriores, simplificando a adoção por educadores sem expertise técnica.
• Futuro da Avaliação: A tecnologia permite reduzir drasticamente a carga de trabalho dos educadores, permitindo a avaliação em larga escala de competências não cognitivas (reflexão, profissionalismo) que antes eram negligenciadas devido à dificuldade de pontuação.

Conclusão: O estudo valida o uso de LLMs para avaliação de ensaios médicos, demonstrando que, com a configuração correta (modelo adequado e estratégia de custo baseada no volume), é possível alcançar precisão quase perfeita com custos mínimos, superando as limitações das ferramentas tradicionais de pontuação automatizada.