Retrieval-Augmented Claude Opus 4.7 and GPT-5.5 Surpass Human Performance on the Nuclear Cardiology Board Preparation Exam (and Claude Drafts a Paper About it)

Los modelos de lenguaje grandes de próxima generación, específicamente Claude Opus 4.7 y GPT-5.5, equipados con generación aumentada por recuperación utilizando recursos específicos del dominio de la cardiología nuclear, alcanzaron tasas de precisión medias de aproximadamente el 86% en el Examen de Preparación para la Junta de la ASNC, superando tanto el umbral estimado de aprobación como el rendimiento promedio de los fellows en formación humanos.

Lo esencial

Imagina un examen final de alto riesgo para médicos que se especializan en observar imágenes del corazón utilizando trazadores radiactivos especiales. Este es el "Examen de Certificación en Cardiología Nuclear". Durante años, la Inteligencia Artificial (IA) ha intentado presentarse a esta prueba, pero seguía fallando, obteniendo puntuaciones inferiores al promedio del estudiante de medicina.

Este artículo narra cómo dos nuevos modelos de IA, extremadamente inteligentes, finalmente aprobaron la prueba con honores, superando al estudiante humano promedio.

El Escenario: El Examen y la "Chuleta"

El examen consta de 168 preguntas. Algunas son solo texto (como un cuestionario de cultura general), pero unas 27 requieren observar imágenes médicas complejas de corazones.

En el pasado, cuando la IA intentaba presentarse al examen "en frío" (sin ninguna ayuda), lo mejor que podía lograr era acertar aproximadamente el 63% de las preguntas. Eso es una calificación reprobatoria. El estudiante de medicina promedio (un "médico en formación") obtuvo una puntuación del 78%.

Para este nuevo estudio, los investigadores proporcionaron a la IA una "chuleta" masiva. Esto no fue simplemente una búsqueda rápida en Google; fue un sistema de Generación Aumentada por Recuperación (RAG). Imagínalo como proporcionar a la IA una biblioteca digital perfecta y searchable que contiene los libros de texto oficiales, los atlas y las guías médicas de cardiología nuclear. Cuando la IA ve una pregunta, se sumerge instantáneamente en esta biblioteca, encuentra la página exacta con la respuesta y la utiliza para formular su respuesta.

Los Competidores

Los investigadores probaron dos nuevos modelos de IA de próxima generación:

1. Claude Opus 4.7: Un modelo que utiliza un sistema de búsqueda local y transparente (como un bibliotecario que te muestra exactamente qué libros ha sacado de la estantería).
2. GPT-5.5: Un modelo que utiliza un sistema de búsqueda basado en la nube (como un bibliotecario que encuentra los libros por ti pero no te muestra el proceso).

Los Resultados: La IA Supera al Estudiante Promedio

Cuando estas dos IAs presentaron el examen cinco veces cada una, los resultados fueron sorprendentes:

• Las Puntuaciones: Ambos modelos obtuvieron puntuaciones alrededor del 86% al 87%.
• La Comparación: Esto es significativamente superior a la puntuación promedio del estudiante humano del 78%. De hecho, si se alinearan los 13 estudiantes humanos y las 2 IAs, las IAs se clasificarían entre las 5 primeras, superando a 8 o 9 de los humanos.
• La Velocidad del Progreso: Este es un salto masivo. Hace solo 18 meses, la mejor IA obtuvo un 63%. Ahora, con la "chuleta" (RAG), saltaron 23 puntos porcentuales.

Las Dos Debilidades

Aunque las IAs ganaron, tuvieron dos luchas específicas:

1. El Problema de la "Imagen": Las IAs fueron excelentes en preguntas de texto (obteniendo casi un 89%), pero tropezaron en las preguntas de imágenes. Obtuvieron aproximadamente entre un 73% y un 77% de aciertos en imágenes. Los humanos seguían siendo mejores en esto, con una puntuación del 81,5%.
   • Analogía: Imagina que la IA es un brillante profesor que puede recitar todo el libro de texto de memoria, pero aún se confunde al mirar una radiografía borrosa. Conoce la teoría perfectamente, pero aún está aprendiendo a "ver" la imagen.
2. El "Glitch" de Seguridad (solo GPT-5.5): GPT-5.5 se negó a responder aproximadamente el 7% de las preguntas. Diría: "Lo siento, no puedo ayudarte con eso", aunque las preguntas fueran simplemente preguntas estándar de examen médico sobre fármacos cardíacos o seguridad radiológica.
   • Analogía: Es como un bibliotecario muy cauteloso que se niega a entregarte un libro sobre "cómo construir una bomba" incluso si estás preguntando a un estudiante de física una pregunta de examen legítima sobre energía nuclear. Los filtros de seguridad de la IA eran demasiado sensibles, provocando que perdiera puntos. Claude Opus 4.7 no tuvo este problema; respondió a todo.

Lo Que los Autores Realmente Dicen (y No Dicen)

El artículo es muy cuidadoso sobre lo que esto significa:

• Lo Que ES: Demuestra que, con los materiales de referencia adecuados, la IA puede aprender los hechos y las reglas de la cardiología nuclear mejor que el residente promedio. Los autores sugieren que estas herramientas podrían utilizarse como ayudas educativas para ayudar a los estudiantes a estudiar o como herramientas de referencia para verificar hechos en una sala de lectura.
• Lo Que NO ES: Los autores declaran explícitamente que aprobar un examen de opción múltiple no significa que la IA esté lista para ser médico. La medicina real implica hablar con pacientes, manejar la incertidumbre y tomar decisiones de juicio complejas que un examen de opción múltiple no puede medir. La IA es un libro de referencia poderoso, no un reemplazo para un médico humano.

La Conclusión

En el lapso de un año y medio, la IA ha pasado de reprobar el examen de certificación en cardiología nuclear a superar al estudiante humano promedio, siempre que tenga acceso a los libros de texto adecuados. Sin embargo, aún lucha con la interpretación de imágenes médicas, y uno de los modelos es demasiado "miedoso" para responder ciertas preguntas legítimas. Aunque es un gran salto adelante para las herramientas de educación médica, el artículo concluye que estas máquinas son asistentes, no reemplazos, para los médicos humanos.

Resumen técnico

Resumen Técnico: LLMs con Aumento por Recuperación Superan el Rendimiento Humano en Exámenes de Certificación de Cardiología Nuclear

Planteamiento del Problema
Las evaluaciones anteriores de Modelos de Lenguaje Grande (LLM) en el Examen de Preparación para la Certificación de la Sociedad Americana de Cardiología Nuclear (ASNC) revelaron una brecha significativa de rendimiento entre la inteligencia artificial y los residentes en formación humana. En estudios previos, el modelo de mejor rendimiento sin contexto específico del dominio (GPT-4o) alcanzó una precisión mediana del 63,1%, por debajo del umbral estimado de aprobación del 65% y del puntaje medio del 78,0% de los fellows en formación (FIT) humanos. Aunque proporcionar contexto de libros de texto mejoró el rendimiento basado únicamente en texto de GPT-4o al 73,8%, este siguió por debajo del promedio humano y se restringió a preguntas basadas en texto. El problema central abordado por este estudio es si los LLM de próxima generación equipados con Generación Aumentada por Recuperación (RAG) pueden cerrar o superar esta brecha de rendimiento en todo el espectro del examen, incluidas las preguntas complejas basadas en imágenes.

Metodología
El estudio administró el Examen Completo de Preparación para la Certificación de la ASNC de 2023 (168 preguntas de opción múltiple: 141 solo texto, 27 basadas en imágenes) a dos modelos de próxima generación: Claude Opus 4.7 y GPT-5.5. La evaluación se realizó durante 5 iteraciones para cada modelo.

• Pipelines de Generación Aumentada por Recuperación (RAG): Ambos modelos se fundamentaron en el mismo corpus autoritativo específico del dominio: Nuclear Cardiac Imaging: Principles and Applications (libro de texto), su atlas complementario y las Guías de Práctica Clínica de la ASNC.
  • Claude Opus 4.7: Utilizó una pipeline de recuperación transparente y local basada en FAISS. Los documentos PDF se dividieron en segmentos de 3 páginas, se incrustaron utilizando el transformador de oraciones all-MiniLM-L6-v2 y se indexaron mediante IndexFlatIP (búsqueda exacta de producto interno). Para cada consulta, se recuperaron los 5 fragmentos semánticamente más similares y se añadieron al inicio del prompt.
  • GPT-5.5: Utilizó una Almacenamiento Vectorial de Azure alojado en la nube, accedido a través de la API de Respuestas de Azure OpenAI. El mecanismo de recuperación (modelo de incrustación, métrica de similitud, cantidad de fragmentos) fue gestionado por la infraestructura de Azure y no fue directamente configurable por los investigadores.
• Configuración Experimental: Ambos modelos recibieron un prompt de sistema estandarizado que les instruía actuar como estudiantes de cardiología nuclear y seleccionar las dos respuestas más probables con explicaciones. Las preguntas basadas en imágenes se procesaron mediante APIs de visión (codificación base64 para Claude, URIs de datos para GPT-5.5).
• Puntuación: La respuesta principal seleccionada por el modelo se comparó con la respuesta correcta de la ASNC. Las denegaciones de seguridad (por ejemplo, "No puedo ayudar con esa solicitud") y las respuestas vacías se puntuaron como incorrectas.
• Comparadores: Los resultados se compararon con datos históricos de estudios anteriores (GPT-4o sin contexto, GPT-4o con contexto) y con una cohorte de 13 FIT humanos que realizaron el examen con tiempo y recursos ilimitados.

Resultados Clave

• Rendimiento General: Ambos modelos superaron la media de los FIT humanos (78,0%) y el umbral estimado de aprobación (65%).
  • Claude Opus 4.7: Alcanzó una precisión media del 86,3% (DE 1,4%).
  • GPT-5.5: Alcanzó una precisión media del 86,7% (DE 2,2%).
  • Esto representa una mejora de aproximadamente 23 puntos porcentuales sobre el mejor resultado previo de un LLM (GPT-4o al 63,1% sin contexto) en aproximadamente 18 meses.
• Desglose por Tipo de Pregunta:
  • Solo Texto: Ambos modelos alcanzaron una alta precisión (Claude: 88,8%; GPT-5.5: 88,5%).
  • Basadas en Imágenes: El rendimiento disminuyó significativamente pero se mantuvo por encima del umbral de aprobación (Claude: 73,3%; GPT-5.5: 77,0%). Esto indica una brecha persistente donde los residentes en formación humanos (81,5% en imágenes) aún superan a los modelos en la interpretación visual.
• Denegaciones de Seguridad: Se observó una diferencia operativa crítica. GPT-5.5 se negó a responder un promedio de 12,2 preguntas por iteración (7,3%), puntuando estas como incorrectas. Estas denegaciones cubrieron contenido médico legítimo (radiofármacos, seguridad radiológica, protocolos clínicos). Claude Opus 4.7 tuvo cero denegaciones.
• Acuerdo entre Modelos: Los dos modelos mostraron una concordancia sustancial, respondiendo correctamente las mismas preguntas en un 78,0–83,0% de los casos por iteración. Los desacuerdos a menudo involucraron distinciones sutiles en definiciones técnicas.

Contribuciones Clave

1. Demostración de Competencia a Nivel Humano: Este es el primer estudio que muestra que los LLM mejorados con RAG pueden superar el rendimiento promedio de los fellows en formación en cardiología nuclear en un examen integral de preparación para la certificación.
2. Cuantificación del Impacto de RAG: El estudio aísla el impacto de los modelos de próxima generación combinados con RAG, mostrando un salto dramático del 63,1% (sin contexto) a ~86,5% (RAG) en un corto período de tiempo.
3. Identificación de Limitaciones de Seguridad: El artículo destaca una barrera práctica significativa en GPT-5.5, donde clasificadores de seguridad excesivamente conservadores se niegan a responder preguntas legítimas de exámenes médicos, deprimiendo artificialmente la precisión observada y limitando la utilidad en contextos educativos.
4. Persistencia de la Brecha en Imágenes: El estudio confirma que, aunque la recuperación de conocimiento basada en texto ha madurado, la interpretación de imágenes médicas (SPECT, PET, multimodalidad) sigue siendo un dominio desafiante donde los LLM (73–77%) aún se quedan atrás respecto a los residentes en formación humanos (~81,5%).

Significado y Afirmaciones
El artículo afirma que los LLM mejorados con RAG han alcanzado un nivel de conocimiento en cardiología nuclear suficiente para servir como ayudas educativas para la preparación de exámenes y herramientas de referencia de conocimiento en entornos clínicos. Los autores sugieren que estos modelos pueden ayudar a verificar recursos de formación y complementar la enseñanza.

Sin embargo, los autores mantienen una postura modesta respecto a la implementación clínica. Afirman explícitamente que el rendimiento en exámenes no equivale a competencia clínica. La cardiología nuclear en el mundo real requiere integrar el contexto específico del paciente, gestionar la incertidumbre y ejercer juicio; capacidades que no son evaluadas por preguntas de opción múltiple. En consecuencia, el artículo concluye que los LLM deben considerarse como herramientas complementarias para aumentar la experiencia del médico en lugar de reemplazarla. El estudio también señala que la brecha persistente en la interpretación de imágenes sugiere que estos modelos aún no están listos para reemplazar la experiencia humana en la lectura de imágenes diagnósticas.