Performance, safety, and repeated-query stability of large language models versus early-career urologists in urological oncology: a source-masked vignette benchmark

Resumen Técnico: Rendimiento, Seguridad y Estabilidad de Consultas Repetidas de los LLM frente a Urólogos en Inicio de Carrera

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Tamaño (LLM) se evalúan cada vez más para el apoyo a la toma de decisiones médicas, las métricas de precisión agregada suelen ocultar errores trascendentales y la variabilidad entre consultas repetidas. En la oncología urológica, donde el manejo depende de la integración matizada del estadio de la enfermedad, los grupos de riesgo y los modificadores específicos del paciente, un alto rendimiento en preguntas de conocimiento estandarizadas no garantiza una toma de decisiones clínicas fiable y sensible al contexto. La literatura existente indica que los LLM pueden no cumplir con los criterios de no inferioridad frente a comités multidisciplinarios de tumores y que los errores críticos de seguridad pueden persistir incluso cuando el rendimiento general parece aceptable. Además, la estabilidad de los resultados de los LLM —si el hecho de repetir una consulta produce la misma clasificación o recomendación— sigue siendo un aspecto poco explorado como una dimensión distinta de la fiabilidad clínica.

Metodología
Este estudio empleó un benchmark comparativo, transversal y basado en viñetas para evaluar tres LLM de consumo frente a dos comparadores fijos de urólogos en inicio de carrera.

• Diseño del Benchmark: El estudio utilizó 100 viñetas clínicas sintéticas que cubrían cinco cánceres urológicos (próstata, vejiga, carcinoma de células renales, cáncer testicular y carcinoma urotelial de vías superiores) y cinco categorías de decisión (diagnóstico/estadiaje, clasificación de riesgo, tratamiento inicial, secuenciación y seguimiento/seguridad).
• Participantes:
  • LLMs: GPT-5.2 Instant, Claude Sonnet 4.5 y Gemini 3 Pro Preview.
  • Comparadores Humanos: Dos urólogos en inicio de carrera (uno con aproximadamente 1 año y otro con aproximadamente 3 meses de experiencia tras la especialización).
  • Evaluadores: Dos urólogos con experiencia en urooncología, con la fuente enmascarada (un profesor y un profesor asociado), calificaron de forma independiente las 500 respuestas.
• Condiciones: Todas las fuentes respondieron a las 100 viñetas utilizando un prompt estandarizado en inglés idéntico sin recursos externos, navegación web o corrección iterativa.
• Marco de Evaluación: Las respuestas se calificaron frente a un marco preespecificado de la Asociación Europea de Urología (EAU) de 2025, anclado en cuatro dominios: concordancia con las guías, seguridad clínica, completitud de la decisión y precisión de riesgo/estadio.
  • Endpoint Primario: Un "éxito compuesto" binario que requiere una puntuación ≥2 en los cuatro dominios y la ausencia de cualquier error clínico descalificador preespecificado.
  • Endpoint de Seguridad: Una evaluación separada de "errores críticos de seguridad", definidos como errores que podrían causar plausiblemente un daño grave, un infra tratamiento mayor o la falta de reconocimiento de la urgencia.
  • Análisis de Estabilidad: Un subconjunto de 20 viñetas fue consultado tres veces por plataforma para evaluar la estabilidad exacta de tres ejecuciones para la clasificación primaria, el estado de seguridad y el perfil completo de puntuación de los cuatro dominios.
• Análisis Estadístico: Las comparaciones utilizaron la prueba Q de Cochran para diferencias generales y pruebas de McNemar para contrastes pareados, con ajuste de Holm para la multiplicidad. Los tamaños del efecto se estimaron mediante el remuestreo bootstrap no paramétrico.

Resultos Clave

• Éxito Compuesto Primario: Los urólogos en inicio de carrera superaron significativamente a los LLM. El Urólogo A logró un 85.0% de éxito y el Urólogo B un 89.0%. En contraste, las tasas de éxito de los LLM fueron del 70.0% (GPT-5.2), 64.0% (Claude) y 60.0% (Gemini). Aunque la comparación entre el Urólogo A y GPT-5.2 no mantuvo la significancia tras el ajuste de Holm (P ajustado = 0.095), todos los demás contrastes entre humanos y LLM fueron significativos.
• Errores Críticos de Seguridad: Se observó una disparidad notable en la seguridad. Los LLM produjeron errores críticos de seguridad en el 25.0% (GPT-5.2), 25.0% (Claude) y 26.0% (Gemini) de las respuestas. Los urólogos produjeron tales errores en solo el 2.0% y 1.0% de los casos, respectivamente. Todos los contrastes de seguridad entre humanos y LLM mantuvieron la significancia tras el ajuste.
• Fenotipos de Error: El error más frecuente de los LLM fue la omisión de un factor que cambia el manejo (CE-6), seguido de omisiones de diagnóstico/estadiaje e infra tratamiento. Las recomendaciones perjudiciales o contraindicadas (CE-9) ocurrieron en 1, 3 y 3 respuestas de los LLM (1%, 3% y 3%, respectivamente) y en ninguno de los comparadores de urólogos.
• Estabilidad de Consultas Repetidas: La estabilidad fue limitada. A través de 60 combinaciones de viñeta-plataforma, la estabilidad exacta de tres ejecuciones para la clasificación primaria fue del 45.0%, y para el estado de seguridad, fue del 48.3%. Solo el 28.3% de las combinaciones mantuvo la estabilidad en el perfil completo de los cuatro dominios. Notablemente, la estabilidad incluyó tanto resultados consistentemente exitosos como consistentemente fallidos (o inseguros).

Contribuciones Clave

1. Desacoplamiento del Rendimiento de la Fiabilidad: El estudio demuestra que las métricas de rendimiento agregado no capturan completamente la fiabilidad de la respuesta. Los promedios altos pueden coexistir con una alta carga de errores críticos de seguridad y una baja repetibilidad.
2. Evaluación con Filtro de Seguridad: Al definir los errores críticos de seguridad por separado de la concordancia general con las guías, el estudio destaca que los LLM generan frecuentemente respuestas que son "ampliamente aceptables" en su estructura, pero clínicamente peligrosas debido a omisiones específicas o contraindicaciones.
3. La Estabilidad como Métrica Clínica: La investigación cuantifica la inestabilidad de los LLM de consumo, mostrando que repetir una consulta a menudo cambia la clasificación clínica o el estado de seguridad, un factor que no se captura mediante medidas de repetibilidad basadas en la correlación.
4. Benchmarking con Fuente Enmascarada: El uso de un diseño equilibrado, con la fuente enmascarada y evaluadores expertos en urooncología, proporciona una comparación rigurosa entre la IA de consumo actual y los clínicos en inicio de carrera en una subespecialidad compleja.

Significancia y Reivindicaciones
El artículo concluye que, si bien los LLM de consumo suelen generar respuestas aceptables a las viñetas sintéticas de oncología urológica, actualmente exhiben una tasa clínicamente relevante de errores críticos de seguridad y una repetibilidad limitada. Los hallazgos sugieren que estos modelos aún no están preparados para el uso clínico autónomo. En su lugar, los resultados respaldan un modelo de apoyo supervisado por el clínico, donde los resultados de los LLM se tratan como sugerencias preliminares que deben ser verificadas frente al contexto clínico completo y las guías actuales.

Los autores enfatizan que el rendimiento, el error consecuente y la repetibilidad deben evaluarse como dimensiones separadas de la fiabilidad. Abogan por la incorporación de endpoints con filtro de seguridad y métricas de estabilidad de consultas repetidas junto con las medidas de precisión convencionales en las futuras evaluaciones clínicas de alto riesgo. El estudio evita explícitamente reclamar una superioridad a nivel poblacional para los comparadores humanos específicos probados, señalando que dos individuos no pueden representar a la población general de urólogos, aunque la dirección de los resultados se alinea con otros estudios que muestran que los LLM tienen dificultades con las decisiones oncológicas complejas y sensibles al contexto.