MRI-Eval: A Tiered Benchmark for Evaluating LLM Performance on MRI Physics and GE Scanner Operations Knowledge

Resumen Técnico de MRI-Eval: Una Evaluación por Niveles para Evaluar el Rendimiento de los LLM en Conocimiento de Física de MRI y Operaciones de Escáneres GE

Enunciado del Problema

Aunque los Modelos de Lenguaje Grande (LLM) se utilizan cada vez más en la investigación de MRI para el diseño de protocolos, la selección de parámetros y la resolución de problemas, su fiabilidad en roles específicos del dominio sigue sin verificarse. Las evaluaciones de MRI existentes, como las basadas en libros de revisión de tecnólogos de 1995, han alcanzado techos de rendimiento para los modelos propietarios más avanzados (por ejemplo, o1 Preview obtuvo 94%), ofreciendo un poder discriminatorio limitado. Crucialmente, ninguna evaluación sistemática ha puesto a prueba a los LLM en contenidos operativos específicos del fabricante, centrales en el trabajo diario de investigación en MRI, que incluyen parámetros específicos de protocolos, comportamientos de secuencias de pulsos y operaciones de consola. Además, las altas puntuaciones en Preguntas de Opción Múltiple (MCQ) pueden reflejar el reconocimiento de opciones en lugar de un recuerdo generativo genuino, una distinción no probada en evaluaciones anteriores específicas de MRI.

Metodología

El estudio introduce MRI-Eval, una evaluación por niveles que comprende 1.365 ítems puntuados (1.355 MCQs y 10 preguntas sobre conceptos erróneos) distribuidos en nueve categorías técnicas y tres niveles de dificultad.

• Fuentes de Datos: Los ítems se extrajeron de libros de texto autorizados, manuales de aplicación de escáneres GE SIGNA Works, materiales del Curso de Programación GE EPIC y 35 preguntas generadas por expertos que abordan lagunas de conocimiento.
• Categorías: Las nueve categorías incluyen operaciones de escáner GE/protocolo (n=406), secuencias de pulsos (n=330), conocimiento específico de GE (n=155), seguridad, espacio k/formación de imagen, artefactos, relajación T1/T2, relación señal-ruido/calidad de imagen e imagen paralela.
• Niveles de Dificultad: El Nivel 1 (83,1%) prueba el recuerdo de un solo concepto; el Nivel 2 (15,6%) requiere la integración de conceptos cruzados; el Nivel 3 (1,3%) plantea escenarios de integración experta (notado como una limitación debido al tamaño pequeño de la muestra).
• Modelos Evaluados: Se probaron cinco modelos de familias distintas: GPT-5.4, Claude Opus 4.6, Claude Sonnet 4.6, Gemini 2.5 Pro y Llama 3.3 70B.
• Condiciones de Evaluación:
  1. MCQ Principal: Formato de cero disparos, cuatro opciones con respuestas desordenadas.
  2. Solo Tallo (Texto Libre): Opciones eliminadas; los modelos generaron respuestas en texto libre calificadas por un juez LLM independiente (Grok). Gemini 2.5 Pro fue excluido aquí debido a que los tokens de razonamiento obligatorios afectaban el formato.
  3. Diagnóstico Primado: Se presentó a los modelos una afirmación de respuesta incorrecta y se les pidió que estuvieran de acuerdo o en desacuerdo, probando la sycophancia o la asistencia de recuperación.
• Puntuación y Análisis: El análisis estadístico incluyó intervalos de confianza de la puntuación de Wilson, pruebas de McNemar para comparaciones por pares y kappa de Cohen para la repetibilidad. Una auditoría post-hoc reveló pistas omnipresentes sobre la longitud de las opciones (las opciones correctas eran >1,3 veces la longitud media de los distractores en el 84,9% de los ítems).

Contribuciones Clave

1. Construcción de Evaluación por Niveles: Un conjunto de datos especializado que incorpora contenido operativo específico de fabricantes (GE) subrepresentado, diseñado para localizar los límites del conocimiento en lugar de simplemente confirmar la competencia.
2. Formatos de Evaluación Complementarios: La inclusión de una condición de solo tallo junto con MCQs para cuantificar la brecha entre el reconocimiento de opciones y el recuerdo generativo, junto con una condición de diagnóstico primado.
3. Comparación Rigurosa de Modelos: Una comparación de cinco modelos con pruebas estadísticas por pares y evaluación de repetibilidad de ejecución a ejecución (kappa de Cohen 0,983–0,998 para los modelos probados).
4. Reproducibilidad: Liberación pública del sistema de evaluación y scripts de análisis, reteniendo el banco completo de preguntas para evitar la contaminación de los datos de entrenamiento.

Resultados

• Rendimiento en MCQ: La precisión general fue alta y comprimida, oscilando entre 93,2% (Llama 3.3 70B) y 97,1% (GPT-5.4). La dispersión entre los cuatro modelos de vanguardia fue de solo 2,4 puntos porcentuales.
• Varianza por Categoría: Las operaciones de escáner GE fueron la categoría con la puntuación más baja para todos los modelos (88,2%–94,6%), mientras que los fundamentos de física (por ejemplo, relajación T1/T2) se acercaron al rendimiento máximo.
• Degradación en Solo Tallo: Eliminar las opciones provocó una caída drástica en la precisión para todos los modelos. Los modelos de vanguardia bajaron al 58,4%–61,1% (una caída de 35,5–36,8 puntos porcentuales), mientras que Llama 3.3 70B bajó al 37,1% (una caída de 56,1 puntos porcentuales).
• Recuerdo Específico del Fabricante: En la condición de solo tallo, la precisión para las operaciones de escáner GE colapsó al 13,8%–29,8%, lo que indica que el rendimiento casi máximo en MCQ no se tradujo en un fuerte recuerdo en texto libre para contenido específico del fabricante.
• Condición Primada: Las sugerencias de respuestas incorrectas generalmente aumentaron la precisión (efecto de pista de respuesta), aunque Llama 3.3 70B mostró una precisión reducida en niveles de dificultad más altos bajo primado, lo que sugiere que los modelos más débiles pueden aceptar primas incorrectas cuando el conocimiento es insuficiente.
• Repetibilidad: La repetibilidad de ejecución a ejecución fue casi perfecta en todos los modelos, con desacuerdos concentrados en la categoría de operaciones de escáner GE.

Significado y Afirmaciones

El artículo argumenta que un fuerte rendimiento en MCQ sobre contenido de MRI puede enmascarar un recuerdo generativo débil, particularmente para el conocimiento operativo específico del fabricante. La evaluación sirve principalmente como una herramienta de comparación relativa de modelos en lugar de una medida absoluta de competencia o preparación para implementación.

Las conclusiones clave incluyen:

• Limitaciones de los MCQ: Las altas puntuaciones en MCQ en dominios especializados pueden reflejar el reconocimiento de opciones y pistas de longitud en lugar de una comprensión profunda.
• Riesgo Operativo: La pronunciada disminución en el rendimiento de solo tallo para el contenido específico de GE respalda la precaución contra la dependencia de salidas crudas de LLM para la orientación de protocolos específicos del fabricante en entornos de investigación.
• Direcciones Futuras: Los hallazgos motivan el desarrollo de sistemas aumentados por recuperación o fundamentados en documentos como el siguiente paso necesario, ya que el conocimiento paramétrico puro parece insuficiente para tareas operativas.
• Estándares de Evaluación: Las futuras evaluaciones específicas del dominio deberían incorporar formatos de respuesta abierta o de solo tallo para distinguir mejor entre modelos, ya que los MCQ estándar comprimen el rendimiento cerca del techo.

Los autores enfatizan que estos hallazgos se basan en comparaciones controladas entre modelos y no constituyen una calibración contra el rendimiento de expertos humanos ni una estimación directa de la preparación para la implementación clínica.