Performance of Generative Artificial Intelligence and Medical Students on Undergraduate Ophthalmology Examinations: A Cross-Sectional Comparative Study
Este estudo transversal descobriu que, embora cinco sistemas de IA generativa tenham superado significativamente estudantes do quarto ano de medicina em questões de oftalmologia de graduação baseadas em texto, a maioria teve dificuldades com itens baseados em imagens, destacando seu potencial como ferramentas educacionais ao mesmo tempo em que alerta contra o equacionamento do desempenho em exames com a competência clínica.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Nas salas de aula da medicina moderna, um novo tipo de estudante entrou silenciosamente na sala de palestras. Ele não dorme, não esquece e consegue ler milhares de páginas em um segundo. Esta é a inteligência artificial generativa, um tipo de programa de computador projetado para compreender a linguagem e gerar respostas que parecem ter sido escritas por um humano. Esses sistemas, frequentemente chamados de modelos de linguagem de grande escala, tornaram-se ferramentas comuns para o aprendizado, ajudando os estudantes a explicar ideias complexas ou a se prepararem para testes. Mas, embora essas máquinas estejam se tornando melhores em ler e raciocinar, uma questão crítica permanece: elas realmente compreendem o mundo visual da medicina? Em campos como a oftalmologia, o estudo dos olhos, o diagnóstico muitas vezes depende de identificar padrões sutis em fotografias da retina ou do interior de um olho. Para um médico humano, ver é acreditar. Para uma máquina, ver é um desafio muito maior. À medida que essas ferramentas se integram mais à educação, os educadores precisam saber se elas estão apenas mimetizando o conhecimento ou se conseguem realmente ver o que um estudante vê.
Para encontrar a resposta, uma equipe de pesquisadores da Universidade do Porto, em Portugal, submeteu cinco dos sistemas de inteligência artificial mais avançados ao teste contra estudantes do quarto ano de medicina. Os pesquisadores reuniram 89 questões de múltipla escolha de exames reais de oftalmologia aplicados a estudantes em 2025. Essas questões abrangiam uma ampla gama de condições oculares, desde o glaucoma até doenças da retina. O conjunto incluía 77 questões que poderiam ser respondidas apenas pela leitura de texto e 12 questões que exigiam que o candidato observasse uma fotografia ou uma imagem médica para encontrar a resposta correta. Os pesquisadores então alimentaram cada uma das questões, juntamente com sua imagem acompanhante, quando aplicável, em cinco sistemas de IA diferentes: GPT-4.1 Auto, GPT-5.2 Auto, Gemini 3 Flash, Grok 4.1 Auto e Claude Sonnet 4.5. Os computadores não receberam ajuda extra, nem busca na internet, nem chance de pedir esclarecimentos; eles simplesmente tiveram que escolher a melhor resposta entre as cinco opções fornecidas, tal como um estudante faria.
Os resultados revelaram uma divisão impressionante entre o desempenho das máquinas com palavras versus imagens. Nas questões apenas de texto, os sistemas de inteligência artificial apresentaram uma habilidade notável. Três dos cinco sistemas acertaram mais de 90 por cento das respostas, sendo que o melhor executor, Gemini 3 Flash, atingiu 95,5 por cento de precisão. Em comparação, o estudante de medicina médio acertou cerca de 73 por cento das questões. Isso significa que, em questões baseadas em texto, os melhores sistemas de IA superaram a vasta maioria dos estudantes humanos, posicionando-se nos percentis superiores da turma. No entanto, a história mudou completamente quando as questões incluíam imagens. Quando o teste exigia olhar para uma foto de um olho, o desempenho de quatro dos cinco sistemas de IA caiu significamente. Enquanto os estudantes humanos mantiveram seu nível de precisão, independentemente de a questão ser baseada em texto ou imagem, as máquinas tiveram dificuldade em interpretar os dados visuais. Por exemplo, um sistema que pontuou 98,7 por cento nas questões de texto caiu para 75 por cento nas questões de imagem. Outro caiu de 96 para 67 por cento. Apenas um sistema, GPT-4.1 Auto, não mostrou diferença significativa entre os dois formatos, mas também teve a pontuação geral mais baixa de todas as máquinas.
Os pesquisadores também analisaram como as respostas das máquinas se comparavam às respostas dos estudantes para ver se elas estavam cometendo os mesmos erros. Eles descobriram que os sistemas de IA não estavam simplesmente copiando os estudantes. Na verdade, os sistemas que acertaram mais questões eram frequentemente aqueles que mais discordavam da maioria dos estudantes. Essas máquinas de alto desempenho responderam corretamente a muitas questões que a maioria dos estudantes errou, sugerindo que estavam acessando um tipo diferente de conhecimento ou processo de raciocínio. Por outro lado, o sistema com a menor precisão geral, GPT-4.1 Auto, foi o que mais se aproximou do padrão de respostas dos estudantes. Isso indica que, embora as máquinas sejam poderosas, elas não pensam necessariamente como os humanos, e seus erros não são os mesmos dos erros humanos. O estudo também mostrou que as máquinas foram melhores em responder a questões que eram mais fáceis para os estudantes resolverem, sugerindo que a dificuldade da questão afeta tanto humanos quanto máquinas de forma semelhante.
Apesar das altas pontuações, os pesquisadores alertam que esses resultados não significam que as máquinas estejam prontas para substituir médicos ou que possuam verdadeira competência clínica. O estudo foi conduzido em um conjunto específico de questões de uma única universidade, e o número de questões baseadas em imagens era relativamente pequeno. Os autores enfatizam que, embora essas ferramentas possam ser excelentes para revisar fatos e se preparar para exames escritos, elas ainda não podem ser confiadas para interpretar os achados visuais complexos que são centrais para o cuidado ocular. A capacidade de olhar para o olho de um paciente e fazer um diagnóstico é uma habilidade que exige mais do que apenas selecionar a letra correta em um teste. Por enquanto, esses sistemas de inteligência artificial servem como poderosos auxiliares de estudo que podem ajudar os estudantes a aprender, mas permanecem distintos da habilidade humana de ver e compreender o mundo da medicina.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.