Validation asymmetry in generative AI–generated clinical educational content: a scoping review

Imagine uma sala de aula onde o professor é uma inteligência artificial capaz de escrever estudos de caso médicos, desenhar diagramas anatômicos e simular conversas com pacientes em segundos. Esta tecnologia, conhecida como inteligência artificial generativa, está entrando rapidamente nas escolas de medicina e nos programas de treinamento para enfermeiros, médicos e outros profissionais da saúde. Ela promete criar materiais de aprendizagem infinitos que sejam fluentes, plausíveis e adaptados a estudantes específicos. Mas, à medida que essas ferramentas se tornam mais comuns, uma questão crítica surgiu: só porque a IA consegue produzir uma história convincente ou uma imagem realista, isso significa que o conteúdo é, de fato, seguro e justo para uso no ensino? A questão central não é se a máquina consegue falar ou desenhar, mas se a informação que ela gera é precisa, se trata todas as pessoas de forma justa e se os métodos usados para criá-la são claros o suficiente para serem confiáveis.

Uma revisão abrangente recente de pesquisas publicadas entre 2020 e 2026 propôs-se a responder exatamente a essa pergunta. Os pesquisadores examinaram 161 estudos que analisaram como a IA generativa é usada para criar conteúdo educacional para profissões da saúde. Eles não estavam interessados em saber se os alunos gostavam da IA ou quão rápido ela funcionava. Em vez disso, focaram em três áreas específicas de validação: se os fatos médicos estavam corretos, se as pessoas e grupos retratados no conteúdo eram representados de forma justa, sem estereótipos prejudiciais, e se as estratégias usadas para corrigir erros realmente funcionavam. A equipe encontrou um desequilíbrio marcante na forma como esses diferentes aspectos foram verificados. Enquanto quase todos os estudos verificavam se os fatos médicos estavam corretos, muito poucos verificavam se o conteúdo era justo para diferentes grupos de pessoas e ainda menos testavam se as correções propostas realmente resolviam os problemas.

Os pesquisadores descobriram que, dos 161 estudos revisados, 156 deles, ou quase 97 por cento, focaram em verificar a fidelidade representacional. Em termos simples, isso significa que estavam verificando se o resultado da IA era medicamente preciso, se continha fatos reais e se evitava inventar informações ou "alucinar" detalhes. Esta é uma verificação vital, pois um estudante de medicina aprendendo com um diagnóstico falso poderia ser perigoso. No entanto, quando os pesquisadores buscaram estudos que verificassem o viés demográfico — como se a IA retratava consistentemente certas raças, gêneros ou idades de forma estereotipada ou se os deixava de fora inteiramente — encontraram apenas 21 estudos. Isso representa apenas 13 por cento do total. Entre esses poucos estudos que buscaram o viés, 18 deles descobriram que a IA estava, de fato, reproduzindo estereótipos ou criando representações desequilibradas. Por exemplo, algumas imagens geradas mostravam enfermeiros ou médicos pertencendo a apenas um gênero ou raça, e alguns casos clínicos vinculavam doenças específicas a determinados grupos étnicos de formas que não correspondiam à realidade.

Este hiato de atenção é o que os autores chamam de assimetria de validação. Isso sugere que o campo é atualmente muito bom em perguntar: "Isso é factualmente correto?", mas ainda não está perguntando: "Isso é justo para todos?". A revisão também destacou que o conteúdo testado era majoritariamente texto, com um número menor de estudos analisando imagens ou conversas. Surpreendentemente, nenhum dos estudos que testou a IA conversacional, como pacientes virtuais que conversam com estudantes, verificou explicitamente esses vieses demográficos. Isso não significa que o viés esteja ausente nessas conversas; significa apenas que ninguém ainda procurou por ele. Os pesquisadores também observaram que, embora muitos estudos tenham proposto maneiras de corrigir esses erros — como alterar as instruções dadas à IA ou ter especialistas humanos revisando o resultado — apenas uma pequena fração realmente testou se essas correções funcionavam. Nos poucos casos em que testaram as correções, os resultados foram mistos, com muitas estratégias resolvendo apenas parcialmente o problema, em vez de eliminá-lo.

Outra descoberta significativa diz respeito à transparência. Para que um estudo seja útil, outros cientistas precisam saber exatamente como a IA foi usada para que possam repetir o experimento. No entanto, em 122 dos 161 estudos, os autores não relataram as configurações ou parâmetros específicos usados para gerar o conteúdo. Sem conhecer esses detalhes, é impossível saber se os resultados seriam os mesmos se o estudo fosse repetido hoje, especialmente porque esses sistemas de IA mudam e são atualizados frequentemente. A revisão também descobriu que a maioria dos estudos não relatou quem financiou a pesquisa ou se os pesquisadores tinham quaisquer conflitos de interesse, que são detalhes padrão necessários para confiar nos achados científicos.

A conclusão desta revisão não é que a IA generativa esteja quebrada, mas que a maneira como verificamos seu trabalho está incompleta. Os autores argumentam que, para que o conteúdo gerado por IA seja usado com segurança na educação, ele deve ser validado como um recurso multidimensional. Isso significa que, antes de uma escola de medicina usar um estudo de caso escrito por IA, ela precisa verificar não apenas se o diagnóstico está correto, mas também se o paciente descrito na história representa uma diversidade realista de pessoas, e se quaisquer medidas tomadas para garantir a equidade foram realmente comprovadas. O foco atual apenas na precisão factual é insuficiente. À medida que essas ferramentas se tornam uma parte padrão do treinamento médico, os padrões para sua validação devem se expandir para incluir justiça e transparência, garantindo que o futuro da educação em saúde seja construído sobre um conteúdo que seja não apenas inteligente, mas também justo e confiável.