Resumo Técnico: Implantação Prospectiva de Avaliação por IA Multimodal para OSCEs de Estudantes de Medicina

Declaração do Problema

O Exame Clínico Objetivamente Estruturado (OSCE) é o padrão ouro para avaliar a competência clínica na educação médica, avaliando a anamnese, o exame físico, a comunicação e o raciocínio. No entanto, a administração tradicional do OSCE é intensiva em recursos, exigindo avaliadores treinados, pontuação manual de rubricas e um tempo humano substancial. Na instituição dos autores (UT Southwestern), a graduação manual apenas da documentação pós-atendimento exigia aproximadamente 1.120 horas e US$ 56.000 anualmente. Essas restrições limitam a frequência das avaliações, atrasam o feedback aos alunos (frequentemente por meses) e dificultam a expansão da avaliação formativa. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham mostrado potencial na graduação de respostas escritas, a avaliação abrangente de um OSCE requer a avaliação simultânea de texto, áudio e vídeo. Modelos multimodais prontos para uso existentes mostraram limitações na avaliação clínica matizada, e evidências de implantações educacionais prospectivas em larga escala permanecem escassas.

Metodologia

Os autores relatam a primeira implantação prospectiva do MAPLES (Pipeline de Avaliação Multimodal para Pontuação de Encontros de Aprendizagem), um sistema de IA baseado em rubricas e de zero-shot, durante a administração do OSCE do Outono de 2025 na UT Southwestern Medical Center.

Arquitetura e Fluxo de Trabalho do Sistema

• Ingestão de Dados: O sistema ingeriu três fluxos de dados sincronizados de 222 estudantes de medicina do segundo ano em cinco estações: notas clínicas escritas, áudio do encontro e vídeo sincronizado de três câmeras (voltada para o paciente, voltada para o médico e zenital).
• Lógica de Graduação: O MAPLES utilizou uma abordagem zero-shot. Rubricas elaboradas pelo corpo docente (arquivos Excel estruturados) foram carregadas, e o sistema construiu dinamicamente os prompts para cada item. Não foram fornecidos exemplos de fine-tuning ou few-shot específicos para a tarefa.
  • Texto: As notas foram processadas como texto simples.
  • Áudio: O áudio foi processado diretamente, sem transcrição intermediária, para avaliar o conteúdo verbal, o tom e o rapport.
  • Vídeo: Uma etapa de pré-processamento automatizada (usando segmentação zero-shot) isolou os segmentos de exame físico antes da graduação.
• Configuração do Modelo: O sistema empregou o Gemini 2.5 Pro (Google DeepMind) para inferência com temperatura 0 e top-p 1, utilizando restrições de saída estruturada para garantir que as pontuações aderissem ao esquema da rubrica. O Gemini 2.5 Flash foi utilizado para a segmentação de vídeo.
• Fluxo de Trabalho Human-in-the-Loop:
  1. Primeira Passagem de Pontuação por IA: A IA graduou todos os 72.907 itens de pontuação retidos.
  2. Roteamento: Alunos que caíram nos 5% inferiores (notas) ou 10% inferiores (áudio/vídeo) foram roteados para revisão humana independente.
  3. Revisão Cega por SPE: Avaliadores de Pacientes Padronizados (SPEs) pontuaram independentemente os itens roteados, cegos para as pontuações da IA.
  4. Adjudicação: Itens onde as pontuações da IA e do SPE diferiram além de uma tolerância predefinida (correspondência exata para binários; diferença de $\le$1 categoria para ordinais) foram escalonados para médicos especialistas para adjudicação final. Os médicos revisaram tanto as pontuações quanto as evidências de origem.

Desenho do Estudo

• Coorte: 222 estudantes, 10 formulários de estação, 330–333 itens de avaliação por estudante.
• Conjunto de Revisão: 28 alunos únicos foram roteados para revisão (12 para notas, 23 para áudio/vídeo, 7 para ambos).
• Conjunto de Adjudicação: 616 divergências genuínas (excluindo erros de dados/rubrica) foram revisadas por médicos.
• Governança: Um comitê supervisor multidisciplinar supervisionou a seleção do modelo, os limiares e os ciclos de implantação, garantindo o refinamento iterativo.

Principais Resultados

Concordância e Adjudicação

• Concordância IA–SPE: No conjunto de revisão de baixa pontuação roteado, a concordância tolerante (permitindo uma diferença de categoria para itens ordinais) foi alta: 85,7% para notas, 89,2% para áudio e 92,4% para vídeo. A concordância exata foi menor (72,0% no total), impulsionada pela complexidade da pontuação de áudio/vídeo.
• Adjudicação Médica: Entre os 616 desacordos escalonados, os especialistas médicos coincidiram com a pontuação da IA 76,0% das vezes, com a pontuação do SPE 19,0% das vezes, e com nenhuma delas 5,0%. Essa preferência pela IA manteve-se em todas as modalidades, embora tenha sido maior para notas (81,6%) e menor para vídeo (51,5%).
• Direção da Divergência: Os médicos foram mais propensos a concordar com a IA, quer a IA tivesse pontuado acima ou abaixo do SPE, sugerindo que a IA não estava simplesmente inflando as notas.

Análise de Erros

• Erros do SPE: Os principais fatores para os erros do SPE foram "Omissão de evidência" (35,1%) e "Conhecimento clínico" (24,4%), frequentemente falhando em reconhecer a equivalência semântica em terminologias.
• Erros da IA: Os principais fatores para os erros da IA foram "Pontuação excessivamente permissiva" (37,8%) e "Localização errada de documentação" (25,2%), onde a IA creditou respostas corretas escritas na seção errada da nota. Uma pequena fração (9,4%) envolveu "Evidência fabricada" (alucinações).
• Qualidade da Rubrica: "Falta de especificidade das rubricas" foi um contribuidor frequente para erros tanto para humanos quanto para a IA, destacando a necessidade de um design de rubrica preciso.

Eficiência Operacional

• Redução de Carga de Trabalho: O fluxo de trabalho assistido por IA exigiu 5.616 passagens de pontuação humana em comparação com 72.907 em um fluxo de trabalho manual de passagem única contrafactual. Isso representa uma redução de 92,3% no esforço de pontuação humana.
• Tempo de Resposta: O tempo entre o exame e os relatórios de notas foi reduzido de vários meses para menos de duas semanas.
• Custo: O custo marginal de inferência foi estimado em US$ 1,73 por encontro (US$ 0,12 notas, US$ 0,28 áudio, US$ 1,31 vídeo), excluindo custos fixos de desenvolvimento.

Significância e Alegações

O artigo afirma apresentar a primeira implantação prospectiva de um sistema de IA multimodal integrado para a graduação de OSCE em educação médica de graduação. Os autores enfatizam que a principal contribuição não é a remoção do julgamento humano, mas a realocação do esforço humano.

• Viabilidade Operacional: O estudo demonstra que a IA multimodal pode ser incorporada às operações rotineiras do OSCE, lidando com a pontuação de primeira passagem para toda a coorte, enquanto concentra a revisão humana na "cauda de baixa pontuação", onde a remediação é mais crítica.
• Alinhamento com Especialistas: A descoberta de que os médicos endossaram preferencialmente as pontuações da IA sobre as pontuações do SPE em divergências adjudicadas sugere que o sistema de IA captura nuances de avaliação que se alinham de perto com o julgamento clínico especializado, potencialmente superando a avaliação tradicional do SPE em consistência.
• Melhoria Sistêmica: A implantação expôs problemas sistêmicos no status quo, incluindo a confiabilidade do graduador humano, a qualidade da rubrica e as ineficiências do processo. Os autores argumentam que a IA libera os educadores para focar em "quais habilidades avaliar" (design de rubrica e de caso) em vez de "como graduar".
• Escalabilidade: O design zero-shot orientado por rubricas permite a transferência de habilidades de graduação para novas estações ou revisões de rubrica sem o treinamento de modelos, apoiando a expansão da frequência e do escopo da avaliação.

Os autores mantêm um tom modesto quanto à generalização, observando que os resultados são específicos para a infraestrutura e rubricas de uma única instituição. Eles reconhecem limitações, incluindo a falta de adjudicação cega para toda a coorte, a concentração da análise na cauda de baixa pontuação e a necessidade de validação adicional em relação à equidade demográfica e taxas de alucinação. O trabalho é enquadrado como um passo fundamental em direção a sistemas de avaliação aumentados por IA e gerenciados por educadores.