Comparative performance of DeepSeek-R1 and GPT-4o on standardized ophthalmic diagnostic and treatment tasks

En la clínica moderna, la mente de un médico es una herramienta poderosa, entrenada durante años para conectar la historia de un paciente, los signos físicos y los resultados de las pruebas en una imagen clara de lo que está mal. Este proceso de razonamiento clínico es la columna vertebral de la medicina, pero también es una habilidad que toma mucho tiempo dominar. Recientemente, ha emergido un nuevo tipo de mente digital: los modelos de lenguaje de gran tamaño. Estos son sistemas de inteligencia artificial entrenados en vastas cantidades de texto, capaces de leer, comprender y generar lenguaje humano con una fluidez notable. Han mostrado promesa al ayudar en todo, desde la redacción de cartas hasta la respuesta de preguntas generales. Pero en un campo tan preciso y visual como el cuidado ocular, donde un diagnóstico puede depender de detalles sutiles en una imagen o de un patrón específico de síntomas, sigue sin estar claro qué tan bien comprenden estos asistentes digitales las complejidades de las enfermedades. La pregunta ya no es solo si pueden hablar el lenguaje de la medicina, sino si pueden pensar como un especialista cuando se enfrentan a un caso difícil.

Un equipo de investigadores se propuso probar esta cuestión utilizando dos de los sistemas de inteligencia artificial más avanzados disponibles: DeepSeek-R1 y GPT-4o. Eligieron centrarse en la oftalmología, la rama de la medicina dedicada al ojo, porque requiere un alto nivel de conocimiento especializado y la capacidad de sopesar muchas piezas diferentes de información. Para crear una prueba justa y rigurosa, el equipo no pidió a las computadoras que miraran a pacientes reales o escaneos oculares reales. En su lugar, utilizaron treinta y tres estudios de casos estandarizados extraídos de una base de datos nacional utilizada para entrenar y examinar a médicos oculares en China. Estos casos cubrieron una amplia gama de condiciones, desde enfermedades de la retina y glaucoma hasta lesiones y tumores, representando los tipos de escenarios que un especialista podría encontrar en su trabajo diario. Los investigadores pidieron a ambos modelos de inteligencia artificial que actuaran como médicos oftalmólogos experimentados. Proporcionaron el texto de cada caso y solicitaron un diagnóstico, una lista de otras posibles condiciones que podrían explicar los síntomas y un plan de tratamiento.

Para asegurar que los resultados fueran objetivos, tres médicos oftalmólogos experimentados y certificados por la junta revisaron las respuestas proporcionadas por los dos sistemas de inteligencia artificial. Los expertos no sabían qué modelo había escrito cada respuesta. Calificaron cada respuesta basándose en dos criterios principales: exactitud y completitud. La exactitud medía qué tan correcta era la asesoría médica, mientras que la completitud medía si la respuesta cubría todos los detalles necesarios sin dejar nada fuera. Los expertos utilizaron un sistema de puntuación simple, otorgando puntos según qué tan bien las respuestas coincidían con las soluciones correctas y estándar encontradas en la base de datos de entrenamiento. Este proceso permitió a los investigadores comparar directamente el desempeño de las dos mentes digitales contra el estándar de oro de la experiencia humana.

Los resultados mostraron una diferencia clara entre los dos sistemas. A través de todos los casos revisados, DeepSeek-R1 proporcionó consistentemente respuestas que fueron más exactas y más completas que las de GPT-4o. Cuando los expertos observaron la tarea específica de identificar la enfermedad correcta, DeepSeek-R1 recibió un puntaje promedio de 8.04 sobre 10, mientras que GPT-4o obtuvo 6.46. La brecha fue aún mayor cuando se les pidió a los modelos que enumeraran otras posibles condiciones, una tarea conocida como diagnóstico diferencial. Aquí, DeepSeek-R1 logró un puntaje de 7.52 en comparación con el 5.50 de GPT-4o. En términos de planes de tratamiento, DeepSeek-R1 superó nuevamente al otro modelo, calificando con 7.62 frente a 6.65. La diferencia no estuvo solo en los números finales; los expertos también notaron que las respuestas de DeepSeek-R1 eran más exhaustivas, cubriendo más de los elementos requeridos en sus explicaciones.

El estudio encontró que la ventaja de DeepSeek-R1 fue más pronunciada en áreas del cuidado ocular que requieren un pensamiento complejo y de múltiples pasos. Condiciones tales como enfermedades de la retina, glaucoma, trastornos del nervio óptico y problemas con la alineación ocular y el desarrollo de la visión mostraron la mayor brecha de desempeño. Estos son los tipos de casos donde un médico debe sintetizar muchos indicios diferentes para llegar a una conclusión. Por el contrario, para condiciones con signos más obvios o distintos, como ciertas lesiones oculares o enfermedades de la superficie, la diferencia entre los dos modelos fue menor. Esto sugiere que la forma específica en que DeepSeek-R1 fue entrenado, con un fuerte enfoque en el razonamiento avanzado, puede darle una ventaja en situaciones donde la respuesta no es inmediatamente obvia y requiere una deducción cuidadosa.

A pesar de estos resultados prometedores, los investigadores fueron cuidadosos en presentar sus hallazgos como un paso preliminar en lugar de un veredicto final. El estudio estuvo limitado por el hecho de que solo utilizó casos basados en texto, lo que significa que los sistemas de inteligencia artificial nunca vieron imágenes reales de ojos, las cuales son críticas para el diagnóstico en el mundo real. El tamaño de la muestra de treinta y tres casos también fue relativamente pequeño, y la evaluación dependió de los juicios subjetivos de tres expertos humanos. Los autores enfatizaron que estos resultados no significan que cualquiera de los dos sistemas de inteligencia artificial esté listo para reemplazar a un médico humano o para ser utilizado directamente en un hospital para tomar decisiones por los pacientes. El desempeño de estos modelos puede cambiar rápidamente a medida que se actualizan, y las versiones específicas probadas a principios de 2025 pueden no reflejar las capacidades de sistemas futuros.

En última instancia, este trabajo sirve como un punto de referencia importante para comprender dónde se encuentra la inteligencia artificial en el campo especializado del cuidado ocular. Demuestra que uno de los modelos más nuevos, DeepSeek-R1, ha mostrado una capacidad más fuerte para razonar a través de casos médicos complejos que el establecido GPT-4o en este contexto específico. Sin embargo, el estudio concluye que se necesita mucho más trabajo. La investigación futura debe probar estos sistemas con imágenes reales y en entornos clínicos reales para ver si realmente pueden apoyar a los médicos en la realidad desordenada y compleja del cuidado del paciente. Por ahora, los hallazgos sugieren que, si bien la inteligencia artificial se está convirtiendo en una herramienta poderosa para el razonamiento médico, todavía es un trabajo en progreso, y su papel en la clínica dependerá de la validación continua y la integración cuidadosa con la experiencia humana.