Accuracy and Limitations of AI Scoring for Objective Medical Interview Checklist Items in a Year-One School of Medicine Objective Structured Clinical Examination (OSCE)

Nas faculdades de medicina, aprender a falar com os pacientes é tão crítico quanto aprender a examiná-los. Para garantir que os alunos estejam prontos para o mundo real, os educadores utilizam um método de teste chamado Exame Clínico Estruturado Objetivo. Nesse cenário, um aluno senta-se com um ator treinado interpretando um paciente. O aluno deve fazer as perguntas certas para coletar um histórico médico, e o ator pontua o aluno com base em uma lista de verificação rigorosa do que foi perguntado e de quão bem foi feito. Esse processo é o padrão ouro para o ensino de habilidades clínicas, mas também é incrivelmente trabalhoso. Ele exige horas de treinamento para os atores, que devem manter a consistência enquanto também julgam o desempenho do aluno, e demanda que os membros do corpo docente dediquem inúmeras horas revisando essas interações para garantir a justiça. À medida que a inteligência artificial se torna mais capaz de ouvir conversas e compreender a linguagem, os educadores começaram a se perguntar se um computador poderia assumir a pontuação. A esperança é que uma máquina possa ouvir a gravação, marcar as perguntas exigidas e dar a nota ao aluno em uma fração do tempo que leva um humano, liberando recursos para mais ensino.

Uma equipe de pesquisadores da Universidade do Texas Medical Branch em Galveston estabeleceu o objetivo de testar essa ideia com um propósito específico: verificar se a inteligência artificial poderia pontuar com precisão as partes objetivas de uma entrevista médica. Eles focaram em um exame de primeiro ano de medicina envolvendo 234 alunos. Neste exame, os alunos foram gravados enquanto entrevistavam um paciente padronizado, e atores humanos já haviam avaliado seus desempenhos em doze itens específicos de uma lista de verificação, tais como perguntar sobre a localização da dor, a severidade dos sintomas ou o histórico familiar do paciente. Os pesquisadores pegaram as gravações de vídeo desses encontros e as transformaram em transcrições de texto. Em seguida, inseriram essas transcrições em uma plataforma de software equipada com inteligência artificial, programando-a com comandos projetados para procurar por esses mesmos doze itens da lista de verificação. O computador foi instruído a agir como um avaliador, atribuindo um ponto para cada item que detectasse no texto. A equipe então comparou as notas geradas pelo computador com as notas dadas pelos atores humanos, buscando diferenças e tentando entender por que elas ocorriam.

Os resultados mostraram que a inteligência artificial era uma assistente capaz, embora não perfeita. Quando os pesquisadores compararam as notas do computador com as notas humanas, encontraram um nível moderado de concordância. A pontuação média total dada pelo computador foi quase idêntica à média dada pelos humanos, com o computador atribuindo uma média de 11,51 pontos de um possível 12, enquanto os humanos atribuíram 11,60. Em termos de tempo, a diferença foi marcante. O processo de pontuação humana, que incluía o treinamento dos atores e a revisão dos exames, levou aproximadamente 56 horas para ser concluído para este grupo de alunos. O computador, uma vez configurado o sistema, analisou todas as 234 entrevistas e gerou as notas em pouco menos de três horas. Isso sugere que, para a tarefa específica de verificar perguntas factuais em uma entrevista médica, a máquina pode realizar o trabalho pesado com rapidez notável e um alto grau de consistência.

No entanto, o estudo também revelou exatamente onde a máquina tropeçou. De quase 2.800 decisões de pontuação individuais, houve 83 instâncias em que o computador e o ator humano discordaram. Quando os pesquisadores analisaram de perto esses erros, descobriram quatro razões principais para a divergência. Primeiro, o computador é inteiramente dependente da qualidade do texto que lê. Se a gravação de áudio estivesse baixa, se duas pessoas falassem ao mesmo tempo ou se ruídos de fundo interrompessem a conversa, o software de transcrição poderia perder uma palavra ou ouvi-la incorretamente. Por exemplo, se um aluno perguntasse se a dor "irradiava" para outra parte do corpo, mas o computador transcrevesse como "ressoava", a IA não reconheceria o termo médico correto e marcaria a pergunta como ausente.

Segundo, o computador tem dificuldade com a maneira como os humanos realmente falam. Os alunos frequentemente formulam suas perguntas de maneiras únicas ou indiretas que um ator humano consegue compreender imediatamente, mas um computador pode não perceber se estiver procurando por um conjunto específico de palavras. Se um aluno perguntasse: "A dor fica em um só lugar?" em vez do esperado "A dor irradia?", um humano poderia dar o crédito por entender o conceito, mas o computador, seguindo regras rígidas, poderia não dar. Terceiro, o computador não consegue ver ou ouvir pistas não verbais. Em uma entrevista real, um paciente pode acenar com a cabeça ou apontar para o estômago para responder a uma pergunta, e um ator humano daria crédito ao aluno por essa interação. Como o computador apenas lê a transcrição de texto, ele não consegue ver o aceno ou o gesto de apontar, portanto, marca a pergunta como não respondida. Finalmente, houve diferenças de julgamento. Às vezes, o ator humano dava crédito por um significado implícito que o aluno pretendia, enquanto o computador exigia que o aluno dissesse as palavras exatas escritas na lista de verificação.

Os pesquisadores concluíram que, embora a inteligência artificial seja uma ferramenta poderosa para acelerar a pontuação de listas de verificação estruturadas e objetivas, ela não está pronta para substituir totalmente o julgamento humano. O computador é excelente em encontrar palavras específicas em uma transcrição, mas carece da capacidade de compreender o contexto, o tom ou a intenção sutil por trás da pergunta de um aluno. O estudo sugere que o melhor uso dessa tecnologia é como uma ferramenta de suporte. Ela pode lidar com a etapa inicial de pontuação, economizando dezenas de horas dos educadores, mas um humano ainda deve revisar os resultados para capturar os erros que surgem de áudios ruins, frases peculiares ou comunicação não verbal. Até que a tecnologia possa interpretar confiavelmente toda a nuance de uma conversa humana, incluindo o que não é dito, a palavra final na avaliação das habilidades clínicas de um aluno deve permanecer com uma pessoa. O futuro da avaliação na educação médica pode envolver uma parceria onde a máquina lida com o volume e o humano lida com o julgamento, garantindo que os alunos sejam avaliados de forma justa e eficiente.