📄 medicina

Comparative performance of DeepSeek-R1 and GPT-4o on standardized ophthalmic diagnostic and treatment tasks

Em um estudo comparativo utilizando casos padronizados de residência em oftalmologia, o DeepSeek-R1 demonstrou precisão e completude significativamente superiores ao GPT-4o em tarefas de diagnóstico e tratamento, particularmente em doenças da retina, glaucoma, estrabismo e distúrbios do nervo óptico, embora os achados permaneçam preliminares devido ao tamanho limitado da amostra e ao design apenas de texto.

Autores originais: Junxiu Zhang, Yao Ma, Rong Zhang, Rina Su, Ke Ma

Publicado 2026-10-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Junxiu Zhang, Yao Ma, Rong Zhang, Rina Su, Ke Ma

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na clínica moderna, a mente de um médico é uma ferramenta poderosa, treinada ao longo de anos para conectar a história de um paciente, sinais físicos e resultados de exames em um quadro claro do que está errado. Esse processo de raciocínio clínico é a espinha dorsal da medicina, mas também é uma habilidade que leva muito tempo para ser dominada. Recentemente, uma nova espécie de mente digital surgiu: os modelos de linguagem de grande escala. Estes são sistemas de inteligência artificial treinados em vastas quantidades de texto, capazes de ler, compreender e gerar linguagem humana com notável fluência. Eles têm mostrado promessa em ajudar em tudo, desde a escrita de cartas até o esclarecimento de perguntas gerais. Mas em um campo tão preciso e visual quanto o cuidado ocular, onde um diagnóstico pode depender de detalhes sutis em uma imagem ou de um padrão específico de sintomas, permanece incerto o quão bem esses assistentes digitais realmente compreendem as complexidades das doenças. A questão não é mais apenas se eles conseguem falar a linguagem da medicina, mas se conseguem pensar como um especialista diante de um caso difícil.

Uma equipe de pesquisadores partiu para testar essa questão usando dois dos sistemas de inteligência artificial mais avançados disponíveis: DeepSeek-R1 e GPT-4o. Eles escolheram focar na oftalmologia, o ramo da medicina dedicado ao olho, porque ela exige um alto nível de conhecimento especializado e a capacidade de ponderar muitas informações diferentes. Para criar um teste justo e rigoroso, a equipe não pediu aos computadores que olhassem para pacientes reais ou exames oculares reais. Em vez disso, utilizaram trinta e três estudos de caso padronizados extraídos de um banco de dados nacional usado para treinar e examinar médicos oftalmologistas na China. Esses casos cobriram uma ampla gama de condições, desde doenças da retina e glaucoma até lesões e tumores, representando os tipos de cenários que um especialista poderia encontrar em seu trabalho diário. Os pesquisadores pediram a ambos os modelos de inteligência artificial que atuassem como médicos oftalmologistas seniores. Eles forneceram o texto de cada caso e solicitaram um diagnóstico, uma lista de outras condições possíveis que poderiam explicar os sintomas e um plano de tratamento.

Para garantir que os resultados fossem objetivos, três médicos oftalmologistas experientes e certificados por conselho revisaram as respostas fornecidas pelos dois sistemas de inteligência artificial. Os especialistas não sabiam qual modelo havia escrito cada resposta. Eles pontuaram cada resposta com base em dois critérios principais: precisão e completude. A precisão media o quão correta era a orientação médica, enquanto a completude media se a resposta cobria todos os detalhes necessários sem deixar nada de fora. Os especialistas usaram um sistema de pontuação simples, atribuindo pontos para o qu quanto as respostas correspondiam às soluções corretas e padrão encontradas no banco de dados de treinamento. Esse processo permitiu que os pesquisadores comparassem o desempenho das duas mentes digitais diretamente contra o padrão ouro da expertise humana.

Os resultados mostraram uma diferença clara entre os dois sistemas. Em todos os casos revisados, o DeepSeek-R1 forneceu consistentemente respostas que eram mais precisas e mais completas do que as do GPT-4o. Quando os especialistas observaram a tarefa específica de identificar a doença correta, o DeepSeek-R1 recebeu uma pontuação média de 8,04 de 10, enquanto o GPT-4o obteve 6,46. A lacuna foi ainda maior quando os modelos foram solicitados a listar outras condições possíveis, uma tarefa conhecida como diagnóstico diferencial. Aqui, o DeepSeek-R1 alcançou uma pontuação de 7,52 em comparação aos 5,50 do GPT-4o. Em termos de planos de tratamento, o DeepSeek-R1 superou novamente o outro modelo, pontuando 7,62 contra 6,65. A diferença não estava apenas nos números finais; os especialistas também notaram que as respostas do DeepSeek-R1 eram mais minuciosas, cobrindo mais elementos necessários em suas explicações.

O estudo descobriu que a vantagem do DeepSeek-R1 foi mais pronunciada em áreas do cuidado ocular que exigem um pensamento complexo e de múltiplamente etapas. Condições como doenças da retina, glaucoma, distúrbios do nervo óptico e problemas de alinhamento ocular e desenvolvimento visual mostraram a maior lacuna de desempenho. Estes são os tipos de casos onde um médico deve sintetizar muitos sinais diferentes para chegar a uma conclusão. Em contraste, para condições com sinais mais óbvios ou distintos, como certas lesões oculares ou doenças de superfície, a diferença entre os dois modelos foi menor. Isso sugere que a forma específica como o DeepSeek-R1 foi treinado, com um foco pesado em raciocínio avançado, pode lhe conferir uma vantagem em situações onde a resposta não é imediatamente óbvia e requer dedução cuidadosa.

Apesar desses resultados promissores, os pesquisadores foram cuidadosos em apresentar seus achados como um passo preliminar, e não como um veredito final. O estudo foi limitado pelo fato de ter utilizado apenas casos baseados em texto, o que significa que os sistemas de inteligência artificial nunca viram imagens reais de olhos, que são críticas para o diagnóstico no mundo real. O tamanho da amostra de trinta e três casos também foi relativamente pequeno, e a avaliação dependeu dos julgamentos subjetivos de três especialistas humanos. Os autores enfatizaram que esses resultados não significam que qualquer um dos sistemas de inteligência artificial esteja pronto para substituir um médico humano ou para ser usado diretamente em um hospital para tomar decisões para pacientes. O desempenho desses modelos pode mudar rapidamente à medida que são atualizados, e as versões específicas testadas no início de 2025 podem não refletir as capacidades de sistemas futuros.

Em última análise, este trabalho serve como um importante marco para entender onde a inteligência artificial se encontra no campo especializado do cuidado ocular. Demonstra que um dos modelos mais novos, o DeepSeek-R1, mostrou uma capacidade mais forte de raciocinar através de casos médicos complexos do que o estabelecido GPT-4o neste contexto específico. No entanto, o estudo conclui que muito mais trabalho é necessário. Pesquisas futuras devem testar esses sistemas com imagens reais e em ambientes clínicos reais para ver se eles podem verdadeiramente apoiar os médicos na realidade desordenada e complexa do cuidado ao paciente. Por enquanto, os achados sugerem que, embora a inteligência artificial esteja se tornando uma ferramenta poderosa para o raciocínio médico, ela ainda é um trabalho em progresso, e seu papel na clínica dependerá de validação contínua e integração cuidadosa com a expertise humana.

Resumo Técnico: Desempenho Comparativo de DeepSeek-R1 e GPT-4o em Tarefas Padronizadas de Diagnóstico e Tratamento Oftalmológico

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado potencial na tomada de decisão médica e educação geral, sua confiabilidade em campos altamente especializados como a oftalmologia permanece insuficientemente caracterizada. A oftalmologia apresenta desafios únicos devido à diversidade de doenças, à dependência de informações multimodais (ex: fotografia de fundo de olho, OCT) e à necessidade de conhecimento especializado preciso. A literatura existente não comparou adequadamente o desempenho de modelos de raciocínio de código aberto emergentes contra sistemas multimodais de código fechado estabelecidos neste domínio específico. Este estudo aborda essa lacuna avaliando se o DeepSeek-R1, um modelo projetado com capacidades avançadas de raciocínio, pode superar o GPT-4o na geração de recomendações diagnósticas e de tratamento precisas e completas para casos oftalmológicos padronizados.

Metodologia
Este estudo comparativo transversal utilizou 33 casos representativos do Banco de Dados do Exame de Residência em Oftalmologia da China, cobrindo oito grandes subespecialidades (incluindo doenças da retina, glaucoma, estrabismo e distúrbios do nervo óptico), além de casos únicos de uveíte, distúrbios lacrimais, olho seco e distúrbios das pálpebras.

Modelos Avaliados:
- DeepSeek-R1: Um modelo de grande escala, de código aberto (aproximadamente 671 bilhões de parâmetros) lançado em janeiro de 2025, apresentando pós-treinamento baseado em reforço para raciocínio avançado.
- GPT-4o: Um sistema multimodal de propósito geral, de código fechado, lançado em maio de 2024.
Desenho Experimental:
- Ambos os modelos foram instigados via API com uma instrução idêntica: "Atue como um oftalmologista sênior e forneça o diagnóstico, os diagnósticos diferenciais e o plano de tratamento para o seguinte caso."
- As avaliações foram conduzidas entre fevereiro e março de 2025.
- As entradas foram apenas textuais; os modelos não processaram imagens, isolando a capacidade de raciocínio da interpretação multimodal.
- A temperatura do modelo foi definida em 0,1 para garantir saídas determinísticas.
Protocolo de Avaliação:
- Três oftalmologistas independentes, certificados, realizaram uma avaliação duplo-cega.
- As saídas foram pontuadas em relação a chaves de resposta padronizadas do banco de dados de residência.
- Métricas:
  - Precisão (Accuracy): Escala Likert de 10 pontos (1 = completamente impreciso/inseguro; 10 = perfeitamente preciso).
  - Completude (Completeness): Escala Likert de 6 pontos (1 = muito incompleto; 6 = totalmente abrangente).
- Análise Estatística: Testes t pareados compararam o desempenho dos modelos entre as tarefas. ANOVA de duas vias avaliou a consistência interavaliador. A significância foi definida como $p < 0,05$ .

Principais Resultados
Através dos 33 casos, o DeepSeek-R1 demonstrou superioridade estatisticamente significativa sobre o GPT-4o tanto em precisão quanto em completude em todas as três tarefas clínicas (diagnóstico, diagnóstico diferencial e tratamento).

Desempenho Geral:
- Precisão de Diagnóstico: DeepSeek-R1 (8,04) vs. GPT-4o (6,46), $P < 0,0001$ .
- Precisão de Diagnóstico Diferencial: DeepSeek-R1 (7,52) vs. GPT-4o (5,50), $P < 0,0001$ .
- Precisão de Tratamento: DeepSeek-R1 (7,62) vs. GPT-4o (6,65), $P = 0,002$ .
- Completude: O DeepSeek-R1 também obteve pontuações significativamente maiores em completude para diagnóstico ($4,86$ vs. $3,69$), diagnóstico diferencial ($4,44$ vs. $3,24$) e tratamento ($4,61$ vs. $3,90$).
Variações por Subespecialidade:
- A lacuna de desempenho foi mais pronunciada em subespecialidades que exigem raciocínio complexo de múltiplas etapas: doenças da retina, glaucoma, estrabismo e ambliopia, e distúrbios do nervo óptico.
- As diferenças foram menos marcadas em condições com sinais clínicos distintos, como doenças da córnea, trauma e doenças orbitais.
Consistência Interavaliador: Todos os três avaliadores atribuíram consistentemente médias de pontuação mais altas ao DeepSeek-R1, com menor variabilidade nas classificações em comparação ao GPT-4o.

Principais Contribuições

Benchmarking de Modelos Abertos vs. Fechados: Este estudo fornece uma das primeiras comparações diretas de um modelo de raciocínio especializado de código aberto (DeepSeek-R1) contra um modelo multimodal de propósito geral líder (GPT-4o) em um domínio médico especializado.
Evidência de Vantagens de Raciocínio: Os resultados sugerem que modelos otimizados para raciocínio avançado (via aprendizado por reforço) podem superar modelos de propósito geral em tarefas de síntese diagnóstica complexas, particularmente em subespecialidades que exigem a integração de múltiplos sinais clínicos.
Estrutura de Avaliação Padronizada: O estudo utiliza um método de avaliação duplo-cego robusto usando padrões nacionais de exame de residência, oferecendo uma estrutura reprodutível para avaliar LLMs em oftalmologia.

Significância e Alegações
Os autores posicionam este trabalho como uma comparação exploratória de geração de hipóteses, em vez de um benchmark definitivo para implantação clínica.

Natureza Preliminar: O artigo afirma explicitamente que os achados são preliminares devido ao tamanho limitado da amostra (33 casos), à dependência de pontuação subjetiva de especialistas e ao desenho de avaliação apenas textual, que exclui entradas multimodais críticas (imagens) inerentes à oftalmologia.
Não se Alega Superioridade Clínica: Os autores alertam que pontuações médias mais altas nesta avaliação textual específica não implicam aplicabilidade ou superioridade clínica em cenários do mundo real.
Direções Futuras: O estudo destaca a necessidade de validação em maior escala, avaliação formal da confiabilidade interavaliador (ex: coeficientes de correlação intraclasse) e testes em ambientes clínicos multimodais envolvendo fotografias de fundo de olho e exames de OCT.
Contexto Temporal: Os autores observam que os resultados são específicos para as versões dos modelos avaliadas no início de 2025 e podem não se generalizar para futuras iterações desses modelos em rápida evolução.

Em conclusão, embora o DeepSeek-R1 tenha mostrado desempenho superior em tarefas de raciocínio diagnóstico estruturado dentro deste conjunto de dados específico, o artigo conclui que é necessária uma validação adicional antes que esses modelos possam ser considerados confiáveis para suporte à decisão clínica ou educação em oftalmologia.

Mais como este