MedCalc-Bench Doesn't Measure What You Think: A Benchmark Audit and the Case for Open-Book Evaluation

Este artículo audita el benchmark MedCalc-Bench, revelando errores en su implementación y demostrando que el rendimiento de los modelos mejora drásticamente con un enfoque de "libro abierto", lo que sugiere que la métrica actual evalúa principalmente la memorización de fórmulas y el uso de herramientas en lugar del razonamiento clínico.

Lo esencial

Imagina que el MedCalc-Bench es como un examen de matemáticas muy estricto para médicos inteligentes (en este caso, Inteligencias Artificiales). El objetivo del examen es que la IA calcule riesgos de salud usando fórmulas médicas complejas, como si fuera una calculadora humana.

El problema es que, hasta ahora, estas IAs estaban "reprochando" el examen. Incluso las más avanzadas apenas lograban un 35% de aciertos. La comunidad científica pensaba: "¡Wow! Estas IAs son muy malas razonando clínicamente".

Pero este paper, escrito por Artus Krohn-Grimberghe, llega y dice: "Esperen un momento. No es que las IAs sean malas; es que el examen está mal diseñado".

Aquí tienes la explicación sencilla, con analogías para entenderlo mejor:

1. El Examen de "Memoria de Elefante" vs. "Uso de Herramientas"

Imagina que le pides a un médico que calcule la dosis de un medicamento.

• El método antiguo (Lo que hacía el examen): Le decías al médico: "No te permito llevar tu libreta de notas ni tu calculadora. Tienes que memorizar la fórmula exacta, recordar cada número y hacer las matemáticas en tu cabeza".
  • Resultado: El médico se equivoca porque se le olvidó un número o hizo mal una multiplicación. El examen dice: "Este médico es incompetente".
• La realidad: En la vida real, ningún médico memoriza fórmulas complejas. Usan una calculadora o una app. Lo importante no es la memoria, sino saber qué datos meter en la calculadora.

El paper demuestra que el MedCalc-Bench estaba midiendo la memoria de la IA, no su capacidad de razonamiento clínico.

2. La "Auditoría": Encontrando los errores en el propio examen

El autor no solo criticó el examen, sino que lo revisó de arriba a abajo (como un inspector de calidad). Descubrió que el propio "libro de respuestas" del examen estaba lleno de errores:

• Había 20 errores en las fórmulas oficiales.
• Algunos números estaban mal escritos (como un error de dedo en una calculadora).
• Algunas reglas estaban incompletas.
• Analogía: Es como si el examen de matemáticas tuviera las respuestas correctas escritas con tinta que se borra o con errores de cálculo. ¡Claro que nadie podía sacar un 100%!

3. La Solución Mágica: "Examen Abierto" (Open-Book)

El autor probó una idea simple: ¿Qué pasa si le damos a la IA la fórmula escrita en el examen?

• En lugar de pedirle que memorice, le dijimos: "Aquí tienes la fórmula, aquí tienes los datos del paciente. Solo tienes que leer, entender y calcular".
• El resultado: ¡La IA saltó del 35% al 85%!
• La moraleja: No necesitaban entrenar a la IA durante meses ni usar superordenadores. Solo necesitaban dejarla usar "sus apuntes". Esto demuestra que la IA sí sabe razonar, pero el examen le estaba poniendo trabas artificiales.

4. El Límite Superior: ¿Podrían sacar un 100%?

El autor usó la IA más potente del mundo (GPT-5.2) para ver cuánto podían mejorar si arreglaban también los errores del examen.

• Descubrieron que, si se arreglan los errores de las respuestas y se les da la fórmula, la IA podría acertar casi todo (entre un 95% y 97%).
• Los pocos errores que quedaban no eran por falta de inteligencia, sino porque las preguntas del examen eran ambiguas o confusas (como un problema de matemáticas mal redactado).

5. ¿Qué significa esto para el futuro?

El paper concluye que debemos cambiar la forma de evaluar a las IAs en medicina:

• Antes: "¿Puedes memorizar esta fórmula compleja?" (Prueba de memoria).
• Ahora: "¿Puedes leer la historia de un paciente, elegir la herramienta correcta y usarla bien?" (Prueba de uso de herramientas).

En resumen:
Este paper es como si un maestro de escuela se diera cuenta de que sus alumnos no son malos en matemáticas, sino que el examen les prohíbe usar calculadoras y tiene errores en las respuestas. Al quitar esas prohibiciones y corregir los errores, los alumnos (las IAs) demuestran que son genios.

El autor nos dice: "Dejemos de probar la memoria de las IAs y empecemos a probar cómo usan sus herramientas, que es como funcionan los médicos reales".

Resumen técnico

Resumen Técnico: Auditoría de MedCalc-Bench y Evaluación de Libro Abierto

1. El Problema

MedCalc-Bench es un benchmark ampliamente utilizado para evaluar el rendimiento de los Modelos de Lenguaje Grande (LLM) en tareas de cálculo clínico (p. ej., puntuaciones de riesgo, ajustes de dosis, clasificaciones de enfermedad). El objetivo es que, dada una viñeta clínica, el modelo identifique la calculadora relevante, extraiga los parámetros y calcule el resultado correcto.

Sin embargo, los resultados actuales son preocupantemente bajos:

• Las técnicas de prompting directo alcanzan solo un 34.8% de precisión en la división "Verified".
• Incluso los enfoques más avanzados (Reforzamiento por Aprendizaje con recompensas verificables, marcos de agentes, ejecución de código) apenas superan el 74%.

Los autores postulan que la dificultad del benchmark no radica en el razonamiento clínico, sino en una restricción artificial: exigir que el modelo memorice fórmulas exactas desde su memoria paramétrica y ejecute aritmética de alta precisión (logaritmos, exponentes) sin ayuda externa. En la práctica clínica real, los médicos utilizan calculadoras validadas, no memorizan fórmulas.

2. Metodología

El estudio se basa en tres pilares metodológicos principales:

• Auditoría Sistemática del Benchmark:

  • Se revisaron las 55 implementaciones de calculadoras del repositorio oficial de MedCalc-Bench.
  • Se compararon contra fuentes clínicas primarias (publicaciones originales, documentación de MDCalc).
  • Se utilizaron pruebas automatizadas, revisión manual y análisis asistido por LLM (GPT-5.2-Thinking, Claude Opus 4.5) para detectar errores.

• Intervención de "Libro Abierto" (Open-Book Prompting):

  • Se propuso una intervención mínima: adjuntar la especificación completa de la calculadora (fórmula, definiciones de parámetros, reglas de puntuación y unidades) al prompt del modelo durante la inferencia.
  • Esto elimina la necesidad de "recordar" la fórmula, reduciendo la tarea a: 1) Identificar el caso, 2) Extraer parámetros, 3) Aplicar la fórmula provista, 4) Calcular.
  • Se evaluaron variantes: Vanilla (sin fórmula), Open-book (con fórmula) y Open-book + guía estructurada (con chain-of-thought).

• Análisis del Límite Superior (Upper-Bound):

  • Se utilizó GPT-5.2-Thinking (con esfuerzo de razonamiento alto y herramientas de búsqueda) en los casos donde los modelos base fallaron bajo la condición de "libro abierto".
  • El objetivo fue determinar cuántos errores restantes se debían a limitaciones del modelo y cuántos a ambigüedades o errores en los datos de referencia (ground truth).

3. Contribuciones Clave

1. Corrección de Errores en el Dataset:

   • Se identificaron y documentaron más de 20 errores en las implementaciones oficiales, incluyendo:
     • Coeficientes de fórmulas incorrectos (CKD-EPI, MELD-Na, Child-Pugh).
     • Criterios de puntuación faltantes (SIRS, SOFA).
     • Errores tipográficos en claves de diccionario que anulaban silenciosamente puntos (ej. liver_diease en lugar de liver_disease en el índice CCI).
     • Rutas de archivo rotas y problemas de conversión de unidades.
   • Muchos de estos errores afectaban directamente las etiquetas de verdad fundamental (ground truth), invalidando parcialmente las evaluaciones anteriores.

2. Eficacia del Prompting de Libro Abierto:

   • Se demostró que proporcionar la especificación de la calculadora eleva drásticamente el rendimiento sin necesidad de fine-tuning ni RAG (Generación Aumentada por Recuperación).
   • Resultados:
     • GLM-4.6V: De 51.9% (Vanilla) a 81.5% (Open-book).
     • GLM-4.7: De 36.0% (Vanilla) a 85.5% (Open-book).
   • Estos resultados superan a todos los enfoques publicados, incluidos sistemas entrenados con Reforzamiento por Aprendizaje (RL) y marcos de agentes complejos.

3. Establecimiento de un Límite Superior Realista:

   • Al aplicar GPT-5.2-Thinking a los errores residuales, se resolvió el 70.7% de los casos fallidos.
   • Se atribuyeron los errores restantes a: problemas de ground truth (19 casos), ambigüedad genuina (10 casos) y fallos del modelo (29 casos).
   • Esto establece un límite superior de precisión del 94.7% (conservador) al 97.4% (optimista), indicando que el benchmark es resoluble casi en su totalidad si se eliminan las barreras de memoria y precisión aritmética.

4. Resultados Principales

Modelo	Condición	Precisión	Comparativa
GLM-4.6V	Vanilla (Sin ayuda)	51.9%	Superado por RL y Agentes
GLM-4.6V	Open-Book	81.5%	Supera a MedCalc-R1 (74%)
GLM-4.7	Open-Book	85.5%	Nuevo récord sin fine-tuning
GPT-5.2-Thinking	Límite Superior	~95-97%	Potencial máximo del dataset

• Análisis de Errores: Bajo el enfoque "Vanilla", los fallos se debían principalmente a errores aritméticos en operaciones reales y versiones de fórmulas incorrectas. Bajo "Open-Book", los errores se desplazaron casi exclusivamente a la extracción de parámetros y precisión aritmética, eliminando el factor de "memorización de fórmulas".

5. Significado y Conclusiones

• Reevaluación del Propósito del Benchmark: El artículo concluye que MedCalc-Bench, en su configuración actual, mide principalmente la memorización de fórmulas y la precisión aritmética, no el razonamiento clínico. Un médico que no recuerda la fórmula APACHE-II no es incompetente, pero sí lo sería si extrajera el valor de laboratorio incorrecto de una historia clínica.
• Reencuadre como Evaluación de Uso de Herramientas: Se propone que el benchmark debe reorientarse como una evaluación de uso de herramientas (tool-use). La tarea debería ser: "Dada la viñeta y la especificación de la calculadora, extraer los parámetros correctos y calcular el resultado".
• Impacto en la Investigación:
  • Los autores liberan las implementaciones corregidas de las calculadoras y las plantillas de prompting.
  • Demuestran que un flujo de trabajo de investigación asistido por IA (utilizando modelos de gama media para la evaluación masiva y modelos de vanguardia para la auditoría y corrección) puede realizar auditorías de benchmarks complejos de manera eficiente y con bajo costo computacional.
• Implicación Futura: Para que los LLMs sean útiles en medicina, la evaluación debe centrarse en la capacidad de integrar herramientas externas y extraer información precisa de contextos complejos, en lugar de probar la capacidad de memorización interna de fórmulas médicas.