Comparative Performance of General-Purpose Large Language Models and a Specialized Clinical AI Tool on OKAP-Style Ophthalmology Questions

Resumen Técnico: Rendimiento Comparativo de LLM de Propósito General y IA Clínica Especializada en Preguntas de Oftalmología Estilo OKAP

Planteamiento del Problema
Si bien los Modelos de Lenguaje Extensos (LLM) se están integrando cada vez más en la atención médica, existe una brecha crítica en la comprensión de cómo los LLM de propósito general se comparan con las plataformas de IA especializadas y orientadas a la clínica dentro de subespecialidades médicas específicas. En oftalmología, OpenEvidence ha surgido como una herramienta especializada diseñada para el uso clínico con asociaciones de importantes organizaciones médicas (p. ej., NEJM Group, AAO). Sin embargo, la evaluación comparativa reciente sugiere que los modelos de propósito general pueden superar a los especializados en conocimientos médicos generales. Los autores buscaron abordar la falta de evidencia comparativa directa entre OpenEvidence y los LLM de última generación de propósito general específicamente en conocimientos oftalmológicos, evaluando no solo la precisión bruta, sino también métricas de confiabilidad como la calibración y la discriminación basada en la confianza.

Metodología
El estudio empleó un diseño comparativo que evaluó cinco sistemas basados en LLM utilizando un conjunto de datos de 659 preguntas únicas de opción múltiple (MCQ) derivadas del Programa de Evaluación de Conocimientos Oftalmológicos (OKAP) y estructuradas para reflejar el banco de preguntas de OphthoQuestions. Los modelos evaluados fueron:

1. OpenEvidence (versión de marzo de 2026): Una plataforma de IA clínica especializada.
2. ChatGPT-5.4-Pro: LLM de propósito general.
3. Gemini-Pro-3: LLM de propósito general.
4. Claude-Opus-4.6: LLM de propósito general.
5. DeepSeek-v3.2: LLM de propósito general.

Datos y Protocolo de Evaluación:

• Conjunto de Datos: 659 preguntas categorizadas manualmente por subespecialidad (13 dominios), dominio clínico, tipo de pregunta, nivel de la taxonomía de Bloom y dificultad (Fácil a Muy Difícil).
• Acceso: Los modelos se accedieron a través de sus API oficiales (Ejecución Única), excepto OpenEvidence, que se accedió manualmente a través de su interfaz web debido a la falta de una API pública en ese momento.
• Prompts: Los prompts estandarizados requerían respuestas definitivas (A–D). La mayoría de los modelos recibieron instrucciones de proporcionar una puntuación de confianza (0–100); OpenEvidence no proporcionó puntuaciones de confianza.
• Análisis Estadístico: Los resultados primarios incluyeron la precisión binaria. Se utilizaron modelos de regresión logística de Ecuaciones de Estimación Generalizada (GEE) multivariables para evaluar los efectos independientes del tipo de modelo, la dificultad y la taxonomía sobre las respuestas correctas, con corrección de Holm-Bonferroni para comparaciones múltiples. Los análisis secundarios incluyeron las pruebas Q de Cochran y McNemar para comparaciones por pares, análisis ROC para la discriminación basada en la confianza, y el Error de Calibración Esperado (ECE) y las puntuaciones de Brier para la calibración.
• Análisis de Errores: Se realizó un análisis descriptivo post hoc sobre 9 preguntas respondidas incorrectamente por todos los modelos, involucrando una reevaluación estructurada para identificar patrones de falla.

Resultados Clave

• Precisión General: El rendimiento varió significamente entre los modelos. Gemini-Pro-3 logró la mayor precisión con un 95.8% (IC 95%, 93.9–97.0). El ranking fue el siguiente:

  1. Gemini-Pro-3 (95.8%)
  2. Claude-Opus-4.6 (89.2%)
  3. OpenEvidence (88.0%)
  4. ChatGPT-5.4-Pro (84.8%)
  5. DeepSeek-v3.2 (73.7%)
     En el análisis multivariable, todos los demás modelos tuvieron probabilidades ajustadas significativamente menores de una respuesta correcta en comparación con Gemini-Pro-3 ($P < 0.001$). Notablemente, los modelos de propósito general (Gemini-Pro-3 y Claude-Opus-4.6) superaron a la plataforma clínica especializada (OpenEvidence).

• Dificultad y Complejidad: La precisión disminuyó significamente con el aumento de la dificultad de las preguntas. Las preguntas de orden superior de la taxonomía de Bloom y las preguntas lógicas mostraron una menor precisión en comparación con las de orden inferior e informativas, aunque estas últimas no mantuvieron la significancia estadística tras la corrección de Holm.

• Métricas de Confiabilidad:

  • Calibración: Gemini-Pro-3 demostró la mejor calibración (menor puntuación de Brier: 0.038; ECE: 0.008). DeepSeek-v3.2 mostró la peor calibración.
  • Discriminación Basada en la Confianza: Claude-Opus-4.6 y ChatGPT-5.4-Pro mostraron la mayor capacidad para distinguir entre respuestas correctas e incorrectas basadas en la confianza auto-reportada (AUCs más altos: 0.779 y 0.775, respectivamente). DeepSeek-v3.2 mostró una discriminación débil (AUC: 0.607).
  • Umbralización: Con un umbral de confianza $\ge 90\%$, Claude-Opus-4.6 alcanzó una precisión del 99.6% (con una cobertura del 34.3%), mientras que Gemini-Pro-3 mantuvo una precisión del 97.0% con una cobertura del 96.4%.

• Rendimiento por Subespecialidad: Ninguna diferencia de subespecialidad permaneció estadísticamente significativa tras la corrección de Holm, aunque las tendencias descriptivas sugirieron que Retina/Vítreo fue más desafiante y Medicina General tuvo un mejor desempeño relativo a Fundamentos.

• Patrones de Falla: El análisis post hoc de las 9 preguntas fallidas universalmente reveló que las fallas compartidas se concentraron en el razonamiento lógico (64.4% de éxito en la reevaluación) y la validez de la referencia (53.3% de éxito), en lugar de la semántica básica de la pregunta o la comprensión del tema.

Contribuciones Clave y Significado
El artículo afirma varios hallazgos significativos:

1. La Especialización No Garantiza la Superioridad: Una plataforma de IA clínica especializada (OpenEvidence) no superó a los principales LLM de propósito general en conocimientos oftalmológicos; de hecho, Gemini-Pro-3 y Claude-Opus-4.6 la superaron en precisión general.
2. Heterogeneidad del Rendimiento: Existe una variación sustancial en la precisión y las métricas de confiabilidad entre los LLM contemporáneos, lo que requiere la validación específica de cada modelo en lugar de asumir una capacidad uniforme.
3. Confiabilidad Más Allá de la Precisión: El estudio destaca que la precisión por sí sola es insuficiente. El modelo con mayor precisión (Gemini-Pro-3) tuvo la mejor calibración, mientras que otros modelos (Claude-Opus-4.6, ChatGPT-5.4-Pro) destacaron en la discriminación basada en la confianza. Esto sugiere que la confianza auto-reportada puede servir como un filtro de confiabilidad, particularmente en modelos bien calibrados.
4. Naturaleza de los Errores: Los LLM actuales funcionan bien en la recuperación de hechos, pero tienen dificultades con la síntesis de orden superior y la validez de las referencias, aspectos que son críticos para la toma de decisiones clínicas en el mundo real.

Limitaciones y Alcance
Los autores señalan explícitamente que el estudio se limita a preguntas de estilo OKAP basadas en texto y no evalúa la interpretación de imágenes multimodales, la cual es central en la oftalmología. La evaluación fue una ejecución única por pregunta, no capturando la varianza intra-modelo. Además, se accedió a OpenEvidence de forma manual, y su falta de puntuaciones de confianza limitó la comparación directa en las métricas de calibración. Los autores concluyen que, si bien estos modelos muestran promesa, se requieren más estudios utilizando escenarios clínicos del mundo real antes de su implementación en el soporte de decisiones clínicas.