Can AI Match Human Experts? Evaluating LLM-Generated Feedback on Resident Scholarly Projects

Este estudo demonstra que um modelo de linguagem aberto (LLaMA-3.1) pode gerar feedback formativo em projetos de residentes de Medicina Familiar com qualidade comparável à de especialistas humanos, superando-os em certas avaliações de segurança e em contextos específicos, embora o feedback humano permaneça superior no geral.

O essencial

Imagine que você é um professor de medicina e tem cerca de 180 alunos (residentes) que precisam entregar projetos de pesquisa. Cada aluno precisa de um feedback detalhado e personalizado em três momentos diferentes: no início, no meio e no final do projeto.

O problema? Você e sua equipe de professores estão sobrecarregados. Demora mais de 60 dias para devolver os trabalhos, e os alunos ficam ansiosos, esperando por orientações que poderiam acelerar seu aprendizado.

A grande pergunta: Será que uma Inteligência Artificial (IA) consegue fazer esse trabalho de dar feedback tão bem quanto um professor humano?

Este estudo, feito na Universidade de Ottawa, tentou responder a isso. Eles criaram um "robô professor" (uma IA baseada em um modelo chamado LLaMA-3.1) para ler os trabalhos dos alunos e dar dicas de melhoria. Depois, compararam o que o robô disse com o que os professores reais disseram.

Aqui está o resumo da história, usando algumas analogias simples:

1. O Robô vs. O Mestre: A Competição

Os pesquisadores pegaram 240 trabalhos de alunos e pediram para o robô e para os humanos avaliarem metade cada um. Eles usaram uma "régua" de 25 critérios para medir coisas como:

• Qualidade: O feedback foi útil?
• Confiança: Você confiaria nas dicas?
• Segurança: O robô disse algo perigoso ou errado?
• Estilo: A linguagem foi amigável e clara?

2. O Resultado: Quem Ganhou?

A resposta não é um simples "sim" ou "não". É mais como uma corrida de obstáculos onde o desempenho muda dependendo da pista:

• No Início do Projeto (Relatórios Curtos):
  • A Analogia: Imagine que o aluno chegou com apenas um esboço rabiscado num guardanapo.
  • O Resultado: O professor humano foi muito melhor. O robô ficou confuso com tão pouca informação e deu conselhos genéricos, como um GPS tentando dar instruções de direção sem ver o mapa completo. Os alunos confiaram muito mais no professor humano aqui.
• No Final do Projeto (Relatórios Finais):
  • A Analogia: Agora o aluno entregou um livro completo, bem escrito e estruturado.
  • O Resultado: A diferença diminuiu muito! O robô conseguiu dar feedbacks quase tão bons quanto os humanos. Em alguns casos, o robô até foi mais seguro, evitando comentários que poderiam ofender ou confundir o aluno.
• O Tipo de Projeto Importa:
  • Se o projeto era sobre pesquisas de opinião (dados estruturados), o robô brilhou, às vezes superando os humanos.
  • Se o projeto era sobre melhoria de processos locais (como mudar a rotina de um hospital específico), o robô tropeçou. Ele não entendia o "cheiro" do local ou as nuances políticas, enquanto o professor humano, que conhece o hospital, sabia exatamente o que dizer.

3. A Lição Principal: O "Piloto Automático" com Supervisão

O estudo conclui que a IA não vai substituir os professores, mas pode ser um super-assistente.

• O que a IA faz bem: É rápida (leva minutos em vez de meses), é consistente (não tem um dia ruim) e é muito cuidadosa para não ofender ninguém (segurança).
• O que a IA ainda precisa: Precisa de um "olho humano" por cima, especialmente no início dos projetos ou em situações complexas que exigem conhecimento local.

A Metáfora Final:
Pense na IA como um piloto automático de um avião. Ela é excelente para manter o avião voando reto, rápido e seguro na maior parte do tempo. Mas, quando há uma tempestade forte, um terreno desconhecido ou uma manobra complexa de pouso, você ainda precisa do piloto humano (o professor) para tomar as decisões finais e garantir que tudo esteja certo.

Por que isso é importante?

Para a medicina e para a educação, isso significa que podemos ter mais equidade. Hoje, alguns alunos recebem feedbacks ótimos porque têm professores disponíveis, enquanto outros esperam meses. Com essa ferramenta, todos os alunos receberiam um feedback básico de alta qualidade imediatamente. O professor humano então usaria esse tempo para fazer o que faz de melhor: o mentorado profundo, a conversa difícil e o ensino personalizado.

Em resumo: A IA não é o professor substituto, mas é o melhor assistente que já tivemos para garantir que ninguém fique esperando por ajuda.

Resumo técnico

Resumo Técnico: Avaliação de Feedback Gerado por LLM em Projetos Acadêmicos de Residentes

Título Original: Can AI Match Human Experts? Evaluating LLM-Generated Feedback on Resident Scholarly Projects
Autores: Zack van Allen et al. (Universidade de Ottawa e Colégio La Cité, Canadá)

1. O Problema

Programas de residência médica, especificamente em Medicina Familiar, enfrentam um desafio crítico de escala: a necessidade de fornecer feedback de alta qualidade e oportuno sobre projetos de pesquisa dos residentes.

• Contexto: Na Universidade de Ottawa, cerca de 170-180 residentes realizam projetos de pesquisa ao longo de dois anos, exigindo feedback detalhado em três marcos (proposta, relatório curto e relatório final).
• Dor: O volume de revisões sobrecarrega a equipe de suporte, resultando em atrasos de feedback que podem exceder 60 dias. Esses atrasos prejudicam o progresso dos residentes e a eficácia pedagógica do treinamento.
• Objetivo: Desenvolver e avaliar um sistema de feedback assistido por IA, utilizando um Modelo de Linguagem Grande (LLM) de peso aberto (open-weight), capaz de gerar feedback formativo alinhado a rubricas, comparável à qualidade de avaliadores humanos, mas com maior eficiência.

2. Metodologia

O estudo foi conduzido entre agosto de 2024 e fevereiro de 2025, utilizando uma abordagem de três fases para avaliar 240 relatórios de feedback (80 por fase: Curto, Questão/Timeline e Final).

• Dados e Tipos de Projetos:

  • Os dados consistiam em submissões heterogêneas de residentes (PDFs digitais, scans manuscritos, fotografias).
  • Os projetos foram classificados em quatro categorias: Melhoria de Qualidade (QI), Baseado em Inquérito (Survey), Pesquisa (Research) e Revisão de Literatura.
  • Em cada fase, 40 relatórios foram gerados por IA e 40 por avaliadores humanos especialistas.

• Pipeline Técnico da IA:

  1. Pré-processamento e Extração: Devido à variabilidade dos formatos de entrada, foi utilizado OCR (Reconhecimento Óptico de Caracteres) via Tesseract com análise de layout, superando métodos de análise de PDF nativos. O conteúdo extraído foi estruturado em planilhas Excel padronizadas.
  2. Modelo e Prompting: Foi selecionado o modelo LLaMA-3.1 (open-weight) para garantir privacidade de dados e implantação local.
     • Abordagem inicial: Zero-shot (falha em coerência).
     • Abordagem final: Few-shot learning (aprendizado com poucos exemplos), utilizando pares curados de submissões de alunos e feedbacks de avaliadores para condicionar o modelo.
  3. Interface: Uma aplicação web (AWS Amplify, Lambda, GPU) que permite o upload de PDFs e gera feedback em formato Word, editável pelo avaliador humano (Human-in-the-loop).

• Avaliação:

  • Quatro pesquisadores experientes avaliaram os relatórios de feedback (IA vs. Humano) de forma cega.
  • Utilizou-se uma pesquisa de 25 itens baseada em 5 construtos: Compreensão & Raciocínio, Confiança & Segurança, Qualidade da Informação, Estilo de Expressão & Persona, e Segurança & Dano.
  • Escala de Likert de 1 a 5.

3. Resultados Principais

• Desempenho Geral:

  • O feedback humano superou consistentemente o da IA na maioria das dimensões, especialmente em Confiança e Qualidade.
  • No entanto, a lacuna de desempenho diminuiu significativamente conforme o projeto avançava (de relatórios curtos para finais).
  • Relatórios Curtos (SR): Humanos foram superiores em todas as dimensões (ex: Qualidade 4.14 vs 3.09; Confiança 3.96 vs 2.78). A IA struggled com conteúdo escasso e pouco detalhado.
  • Relatórios Finais (FR): A diferença tornou-se pequena. Em alguns casos, a IA superou os humanos na dimensão de Segurança (4.50 vs 4.36).

• Desempenho por Tipo de Projeto:

  • Inquéritos (Survey-based): A IA superou os humanos em Qualidade (4.28 vs 3.98) e Segurança em relatórios finais, indicando forte desempenho em tarefas estruturadas e baseadas em dados.
  • Melhoria de Qualidade (QI): Os humanos foram marcadamente superiores em raciocínio (4.27 vs 2.33) em relatórios curtos, pois a IA falhou em captar nuances contextuais e processos locais específicos.
  • Revisão de Literatura: Humanos mantiveram uma leve vantagem em narrativa e estilo, mas a IA foi mais segura.

• Confiabilidade:

  • A consistência interna da pesquisa (Alpha de Cronbach) foi alta (0.71 a 0.98), validando a metodologia de avaliação.

4. Contribuições Chave

1. Sistema de Feedback Escalável: Demonstração de que um modelo LLM de peso aberto (LLaMA-3.1), com engenharia de prompt cuidadosa (few-shot) e pré-processamento robusto (OCR), pode gerar feedback alinhado a rubricas educacionais.
2. Arquitetura Model-Agnóstica: O sistema foi projetado para ser "à prova de futuro", permitindo a troca do modelo subjacente por versões mais capazes sem reescrever o código, mantendo a privacidade dos dados localmente.
3. Análise de Contexto Específico: Identificação de que a IA é superior em tarefas estruturadas (inquéritos, segurança) e inferior em tarefas que exigem alto contexto situacional (projetos de melhoria de qualidade complexos) ou conteúdo inicial escasso.
4. Código Aberto: O estudo disponibiliza os prompts do sistema e o código, permitindo replicação e adaptação por outras instituições.

5. Significado e Conclusão

• Viabilidade Pedagógica: A IA não substitui totalmente o especialista humano, mas atua como um "copiloto" eficaz. Ela reduz o tempo de processamento de dias para minutos, permitindo ciclos de feedback iterativos rápidos.
• Equidade e Consistência: O uso de IA garante que todos os residentes recebam um nível básico de crítica baseada em rubricas, reduzindo a variabilidade inerente à carga de trabalho dos supervisores humanos.
• Segurança: Surpreendentemente, a IA foi avaliada como mais "segura" (menos conteúdo prejudicial ou inadequado) em certos contextos, possivelmente devido à sua natureza neutra e não julgadora.
• Recomendação: O modelo ideal é híbrido (Human-in-the-loop). A IA gera o rascunho do feedback para eficiência, e um especialista humano revisa, refina e valida o conteúdo, especialmente em projetos complexos ou iniciais.
• Futuro: À medida que modelos open-weight evoluem (com melhores capacidades de raciocínio), espera-se que a lacuna de desempenho diminua ainda mais. O foco deve ser a alfabetização em IA, ensinando os residentes a usar essas ferramentas criticamente ("verificar antes de confiar").

Limitações: O estudo foi realizado em uma única instituição. A IA ainda tem dificuldade com projetos de QI que exigem conhecimento profundo de contexto local e com relatórios iniciais com pouca informação. A avaliação focou na qualidade do feedback, não nos resultados de aprendizado dos residentes a longo prazo.