💻 computer science

Comparative Performance of General-Purpose Large Language Models and a Specialized Clinical AI Tool on OKAP-Style Ophthalmology Questions

Este estudo avalia cinco modelos de linguagem de grande escala em questões de oftalmologia no estilo OKAP, revelando que modelos de propósito geral, particularmente o Gemini-Pro-3, superaram a ferramenta de IA clínica especializada OpenEvidence em precisão e calibração, ao mesmo tempo em que destacou uma heterogeneidade de desempenho significativa e falhas de raciocínio compartilhadas entre todos os sistemas.

Autores originais: Alon Moore Galindo, Amit Ginsberg, Razan Saadi, Tomer Kerman, David Schwartzman, Anat Loewenstein, Igal Leibovitch

Publicado 2026-07-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alon Moore Galindo, Amit Ginsberg, Razan Saadi, Tomer Kerman, David Schwartzman, Anat Loewenstein, Igal Leibovitch

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um exame médico de alto nível para médicos oftalmologistas, conhecido como o OKAP. Agora, imagine cinco programas de computador "superinteligentes" diferentes tentando fazer esse teste. O objetivo deste estudo foi ver qual programa de computador é o melhor em responder a essas perguntas complicadas de médicos de olhos e, tão importante quanto isso, qual deles sabe quando pode estar errado.

Aqui está o detalhamento do que aconteceu, usando algumas analogias do cotidiano:

Os Competidores

Os pesquisadores alinharam cinco diferentes "alunos" de IA:

OpenEvidence: Um aluno especializado que estuda apenas livros didáticos de medicina e tem uma linha direta com revistas médicas famosas. Pense nisso como um bibliotecário médico que memorizou a biblioteca, mas não tem um cérebro geral para todo o resto.
Gemini-Pro-3, Claude-Opus-4.6, ChatGPT-5.4-Pro e DeepSeek-v3.2: Estes são alunos de "propósito geral". Eles leem de tudo, desde receitas de culinária até artigos de física. Pense neles como polímatas — pessoas que sabem um pouco sobre muita coisa.

O Teste

O teste consistiu em 659 questões de múltipla escolha sobre saúde ocular. Não eram curiosidades fáceis; elas variavam desde fatos simples (como "Qual é o nome desta parte do olho?") até cenários complexos que exigiam raciocínio profundo (como "Se um paciente tem o sintoma X e o histórico Y, qual é o melhor tratamento?").

Os Resultados: Quem Venceu?

Os resultados foram surpreendentes para alguns especialistas:

O Campeão: Gemini-Pro-3 (um aluno de propósito geral) obteve a pontuação mais alta, respondendo corretamente 95,8% das questões. Ele foi tão bom que superou todos os outros por uma margem significativa.
O Vice-Campeão: Claude-Opus-4.6 (outro aluno de propósito geral) ficou em segundo lugar.
O Especialista: OpenEvidence (o bibliotecário médico) ficou em terceiro. Ele foi muito bem (88%), mas não venceu os alunos de propósito geral. Na verdade, os alunos gerais superaram o especialista.
O Resto: ChatGPT e DeepSeek seguiram o ranking, com o DeepSeek obtendo a pontuação mais baixa (73,7%).

A Grande Conclusão: Ter uma ferramenta construída especificamente para a medicina não garantiu que ela seria a mais inteligente ao responder perguntas médicas. A IA de propósito geral foi, na verdade, melhor neste teste específico.

O Teste de "Confiança"

Os pesquisadores também perguntaram à IA: "O quanto você tem certeza de que sua resposta está correta?" (Em uma escala de 0 a 100). Isso é como pedir a um aluno que levante a mão se estiver 100% confiante.

O Aluno com Melhor "Autoconsciência": Gemini-Pro-3 foi o mais honesto. Quando dizia que estava confiante, geralmente estava certo. Sua confiança correspondia perfeitamente ao seu desempenho real.
O "Excesso de Confiança" vs. "Falta de Confiança": Alguns outros modelos foram bons em saber quando estavam certos (discriminação), mas não tão bons em combinar seu nível de confiança com sua precisão real (calibração).
O Sinal de Alerta: Um modelo, o DeepSeek, foi terrível nisso. Ele frequentemente dizia que estava confiante quando estava errado, ou inseguro quando estava certo. Isso é perigoso porque, se um médico confiar em uma resposta confiante, porém errada, isso pode levar a erros.

Onde Todos Falharam?

Os pesquisadores observaram as 9 questões que todos os IAs erraram. Eles tentaram descobrir o porquê.

O que acertaram: Eles entenderam as palavras e o tópico básico.
Onde falharam: Eles falharam no raciocínio complexo e na verificação de suas fontes.
- Analogia: Imagine um aluno que consegue ler uma pergunta perfeitamente, mas se perde quando precisa conectar três fatos diferentes para resolver um quebra-cabeça. Ou, eles podem adivinhar uma resposta sem realmente verificar se o livro de regras a suporta.
- A IA teve mais dificuldade com questões que exigiam "etapas de pensamento" em vez de apenas memorizar um fato.

As Limitações (A Letra Miúda)

Os autores foram cuidadosos ao dizer o que este estudo não provou:

Sem Imagens: O teste foi apenas de texto. Na atenção oftalmológica real, os médicos olham para fotos de olhos. Nenhuma dessas IAs foi testada na análise de imagens durante este estudo.
Não São Pacientes Reais: Eram questões de exame, não pacientes reais com históricos complicados e desorganizados.
Teste Único: A IA fez o teste uma única vez. Se você a questionasse novamente, ela poderia dar uma resposta diferente.

Resumo

Em termos simples: A IA de propósito geral está atualmente vencendo a IA médica especializada em responder perguntas de exames de oftalmologia. No entanto, a IA ainda tem dificuldades com as tarefas de raciocínio mais difíceis e complexas. Além disso, só porque uma IA apresenta uma pontuação alta, não significa que ela seja segura para uso imediato; você precisa verificar se ela sabe quando não tem certeza. O estudo sugere que, por enquanto, devemos ser cautelosos ao usar essas ferramentas para decisões médicas reais até que saibamos mais sobre como elas lidam com a complexidade do mundo real.

Resumo Técnico: Desempenho Comparativo de LLMs de Propósito Geral e IA Clínica Especializada em Questões de Oftalmologia Estilo OKAP

Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) estejam sendo cada vez mais integrados à saúde, existe uma lacuna crítica na compreensão de como os LLMs de propósito geral se comparam às plataformas de IA especializadas e orientadas para a clínica dentro de subespecialidades médicas específicas. Na oftalmologia, o OpenEvidence surgiu como uma ferramenta especializada projetada para uso clínico com parcerias de grandes organizações médicas (ex: NEJM Group, AAO). No entanto, benchmarks recentes sugerem que modelos de propósito geral podem superar os especializados em conhecimento médico geral. Os autores buscaram abordar a falta de evidência comparativa direta entre o OpenEvidence e LLMs de estado da arte de propósito geral especificamente no conhecimento oftalmológico, avaliando não apenas a precisão bruta, mas também métricas de confiabilidade, como calibração e discriminação baseada em confiança.

Metodologia
O estudo empregou um design comparativo avaliando cinco sistemas baseados em LLM em um conjunto de dados de 659 questões de múltipla escolha (MCQs) únicas, baseadas em texto, derivadas do programa Ophthalmic Knowledge Assessment Program (OKAP) e estruturadas para refletir o banco de questões OphthoQuestions. Os modelos avaliados foram:

OpenEvidence (versão de março de 2026): Uma plataforma de IA clínica especializada.
ChatGPT-5.4-Pro: LLM de propósito geral.
Gemini-Pro-3: LLM de propósito geral.
Claude-Opus-4.6: LLM de propósito geral.
DeepSeek-v3.2: LLM de propósito geral.

Dados e Protocolo de Avaliação:

Conjunto de Dados: 659 questões categorizadas manualmente por subespecialidade (13 domínios), domínio clínico, tipo de questão, nível da Taxonomia de Bloom e dificuldade (Fácil a Muito Difícil).
Acesso: Os modelos foram acessados via APIs oficiais (Execução Única), exceto o OpenEvidence, que foi acessado manualmente via sua interface web devido à ausência de uma API pública no momento.
Prompts: Prompts padronizados exigiam respostas definitivas (A–D). A maioria dos modelos foi instruída a fornecer um escore de confiança (0–100); o OpenEvidence não forneceu escores de confiança.
Análise Estatística: Os desfechos primários incluíram precisão binária. Regressões logísticas de Equações de Estimativas Generalizadas (GEE) multivariadas foram usadas para avaliar os efeitos independentes do tipo de modelo, dificuldade e taxonomia sobre as respostas corretas, com correção de Holm-Bonferroni para múltiplas comparações. As análises secundárias incluíram testes de Q de Cochran e McNemar, análise ROC para discriminação baseada em confiança, e Erro de Calibração Esperado (ECE) e escores de Brier para calibração.
Análise de Erros: Uma análise descritiva post hoc foi realizada em 9 questões respondidas incorretamente por todos os modelos, envolvendo reavaliação estruturada para identificar padrões de falha.

Resultados Principais

Precisão Geral: O desempenho variou significamente entre os modelos. O Gemini-Pro-3 alcançou a maior precisão de 95,8% (IC 95%, 93,9–97,0). O ranking foi o seguinte:
1. Gemini-Pro-3 (95,8%)
2. Claude-Opus-4.6 (89,2%)
3. OpenEvidence (88,0%)
4. ChatGPT-5.4-Pro (84,8%)
5. DeepSeek-v3.2 (73,7%)
  Na análise multivariada, todos os outros modelos tiveram chances ajustadas de resposta correta significativamente menores em comparação ao Gemini-Pro-3 ( $P < 0,001$ ). Notavelmente, modelos de propósito geral (Gemini-Pro-3 e Claude-Opus-4.6) superaram a plataforma clínica especializada (OpenEvidence).
Dificuldade e Complexidade: A precisão declinou significativamente com o aumento da dificuldade das questões. Questões de ordem superior da Taxonomia de Bloom e questões lógicas mostraram menor precisão em comparação com questões de ordem inferior e informativas, embora estas últimas não tenham permanecido estatisticamente significativas após a correção de Holm.
Métricas de Confiabilidade:
- Calibração: O Gemini-Pro-3 demonstrou a melhor calibração (menor escore de Brier: 0,038; ECE: 0,008). O DeepSeek-v.3.2 apresentou a pior calibração.
- Discriminação Baseada em Confiança: Claude-Opus-4.6 e ChatGPT-5.4-Pro mostraram a maior capacidade de distinguir respostas corretas de incorretas com base na autoconfiança relatada (maiores AUCs: 0,779 e 0,775, respectivamente). O DeepSeek-v.3.2 mostrou discriminação fraca (AUC: 0,607).
- Limiarização (Thresholding): Em um limiar de confiança $\ge 90\%$ , o Claude-Opus-4.6 atingiu 99,6% de precisão (com 34,3% de cobertura), enquanto o Gemini-Pro-3 manteve 97,0% de precisão com 96,4% de cobertura.
Desempenho por Subespecialidade: Nenhuma diferença de subespecialidade permaneceu estatisticamente significativa após a correção de Holm, embora tendências descritivas tenham sugerido que Retina/Vitreous foi mais desafiador e Medicina Geral teve melhor desempenho relativo aos Fundamentos.
Padrões de Falha: A análise post hoc das 9 questões universalmente erradas revelou que as falhas compartilhadas concentraram-se em raciocínio lógico (64,4% de sucesso na reavaliação) e validade de referência (53,3% de sucesso), em vez de semântica básica da questão ou compreensão do tópico.

Contribuições e Significância
O artigo alega vários achados significativos:

Especialização Não Garante Superioridade: Uma plataforma de IA clínica especializada (OpenEvidence) não superou os principais LLMs de propósito geral; de fato, o Gemini-Pro-3 e o Claude-Opus-4.6 a ultrapassaram em precisão geral.
Heterogeneidade de Desempenho: Existe uma variação substancial na precisão e nas métricas de confiabilidade entre os LLMs contemporâneos, necessitando de validação específica por modelo em vez de assumir uma capacidade uniforme.
Confiabilidade Além da Precisão: O estudo destaca que a precisão sozinha é insuficiente. O modelo de maior precisão (Gemini-Pro-3) teve a melhor calibração, enquanto outros (Claude-Opus-4.6, ChatGPT-5.4-Pro) se destacaram na discriminação baseada em confiança. Isso sugere que a autoconfiança relatada pode servir como um filtro de confiabilidade, particularmente em modelos bem calibrados.
Natureza dos Erros: Os LLMs atuais performam bem em recuperação factual, mas têm dificuldade com síntese de ordem superior e validade de referência, que são críticas para a tomada de decisão clínica no mundo real.

Limitações e Escopo
Os autores explicitamente observam que o estudo é limitado a questões de estilo OKAP baseadas em texto e não avalia a interpretação de imagens multimodais, que é central para a oftalmologia. A avaliação foi uma execução única por questão, não capturando a variância intra-modelo. Além disso, o OpenEvidence foi acessado manualmente, e sua falta de escores de confiança limitou a comparação direta em métricas de calibração. Os autores concluem que, embora esses modelos mostrem promessa, estudos adicionais usando cenários clínicos do mundo real são necessários antes de sua implementação em suporte à decisão clínica.