Resumen Técnico: SurgiQ

Declaración del Problema

La evaluación fiable de los modelos de lenguaje de gran tamaño (LLMs) en el dominio de la cirugía sigue estando poco desarrollada. Si bien los benchmarks médicos existentes (por ejemplo, MedQA-USMLE, MedMCQA) evalúan eficazmente los conocimientos clínicos y biomédicos generales, a menudo no logran capturar las complejidades específicas del razonamiento quirúrgico. La cirugía requiere secuenciación de procedimientos, conocimiento anatómico intraoperatorio, juicio intraoperatorio, gestión perioperatoria y la capacidad de seleccionar la opción óptima entre alternativas clínicamente plausibles. Además, los benchmarks quirúrgicos recientes se han centrado principalmente en la percepción multimodal (comprensión visual de escenas, instrumentos y flujos de trabajo quirúrgicos) en lugar de la evaluación textual basada en fuentes para el conocimiento quirúrgico y la toma de decisiones operativas entre especialidades. Existe una falta de un benchmark de gran escala, exclusivamente textual, capaz de evaluar el razonamiento y la calibración quirúrgica en LLMs de pesos abiertos.

Metodología

Construcción del Conjunto de Datos (SurgiQ)

Los autores presentan SurgiQ, un benchmark de texto puro, basado en fuentes, que consta de 13.055 preguntas de opción múltiple (MCQs) con cuatro opciones.

• Fuentes: El conjunto de datos se construye a partir de 27 libros de texto de cirugía, 635 artículos de investigación de acceso abierto y materiales de exámenes quirúrgicos.
• Dominios: Las preguntas abarcan seis especialidades quirúrgicas: Cirugía General (53,2%), Neurocirugía (16,9%), Cirugía Robótica (12,6%), Cirugía Ortopédica (9,1%), Cuidados Críticos/Emergencias (4,5%) y Cirugía Laparoscópica (3,8%).
• Formatos de Pregunta: El conjunto de datos incluye cuatro formatos distintos para probar diferentes capacidades de razonamiento:
  1. Basado en casos: Escenarios clínicos que requieren una decisión.
  2. Razonamiento: Preguntas que requieren una deducción lógica de múltiples pasos.
  3. Mejor opción: Seleccionar la opción óptima entre alternativas parcialmente correctas.
  4. Negativo: Identificar afirmaciones inconsistentes con la evidencia actual (manejo de la negación).

Pipeline de Generación

El conjunto de datos fue generado utilizando un pipeline de múltiples etapas construido sobre Gemini 2.5 Flash:

1. Extracción: El contenido textual bruto se extrae de los documentos fuente, se organiza en segmentos estructurados (capítulos/páginas) y se limpia de elementos no textuales.
2. Extracción de Hechos y Generación: Se extraen hechos de alto rendimiento de los segmentos de texto, que luego se utilizan para generar MCQs clínicamente fundamentados. Los prompts están diseñados para fomentar el razonamiento de múltiples pasos y evitar la recuperación trivial.
3. Verificación y Filtrado: Un pipeline unificado realiza la verificación de respuestas, el filtrado de calidad, las comprobaciones basadas en reglas y la deduplicación.
   • La generación inicial produjo 17.068 candidatos.
   • 4.013 candidatos (23,5%) fueron eliminados debido a problemas como falta de fundamentación en la fuente, ambigüedad, opciones mal formadas o inconsistencias entre la respuesta y la etiqueta.
   • El conjunto final contiene 13.055 preguntas.
4. Control de Calidad: Una auditoría médica de 300 preguntas muestreadas al azar confirmó un 92% de corrección en las respuestas y un 90% de claridad. El acuerdo entre anotadores fue sustancial (κ de Fleiss = 0,84 para la corrección).

Protocolo de Evaluación

Los autores evaluaron 35 LLMs de pesos abiertos bajo un marco unificado y determinista de zero-shot y few-shot.

• Modelos: La evaluación cubrió familias de propósito general, biomédicas y orientadas al razonamiento (por ejemplo, Qwen2.5, basados en LLaMA, Mistral, DeepSeek-R1-Distill, MedGemma).
• Puntuación: Las predicciones se computaron utilizando la log-verosimilitud (log-likelihood) sobre las opciones de respuesta (A, B, C, D) en lugar del muestreo autorregresivo para asegurar el determinismo. Se seleccionó la opción con la mayor probabilidad logarítmica.
• Métricas: La métrica principal es la precisión (accuracy). Los análisis secundarios incluyen la calibración (Error de Calibración Esperada, puntuación de Brier), el rendimiento por dominio y el análisis de patrones de error.

Contribuciones Clave

1. Conjunto de Datos: SurgiQ proporciona 13.055 MCQs quirúrgicos basados en fuentes con metadatos, cubriendo seis dominios y cuatro tipos de preguntas, publicado como un recurso público versionado.
2. Validación: La calidad del benchmark se establece mediante auditorías médicas, baselines de cirujanos humanos, análisis de duplicados cercanos y pruebas de robustez, confirmando que el conjunto de datos no puede ser resuelto mediante heurísticas superficiales.
3. Evaluación: Una evaluación exhaustiva de 35 LLMs de pesos abiertos utilizando un protocolo de log-verosimilitud unificado, acompañado de análisis de calibración, de dominio y de errores.
4. Hallazgos: El estudio revela que los modelos de propósito general suelen superar a los modelos especializados en biomedicina en el razonamiento quirúrgico, y que incluso los modelos de alto rendimiento tienen dificultades con la calibración ante distractores clínicamente plausibles.

Resultados

Rendimiento de los Modelos

• Mejores Desempeños: Qwen2.5-72B logró la mayor precisión general con un 68,1%, seguido de HuatuoGPT-o1-70B (65,45%) y Meerkat-70B (65,19%).
• General vs. Especializado: Los modelos de propósito general (específicamente Qwen2.5) superaron a la mayoría de los modelos especializados en biomedicina. Esto sugiere que la especialización médica actual aún no proporciona una cobertura quirúrgica suficientemente amplia y que la capacidad de razonamiento amplio es crítica.
• Escala del Modelo: Los modelos más grandes generalmente superaron a los más pequeños. Los modelos más pequeños (2B–9B de parámetros) a menudo se situaron cerca del baseline aleatorio del 25%, lo que resalta la dificultad de la tarea.
• Baseline Humano: En un subconjunto de 300 preguntas auditado manualmente, los cirujanos humanos alcanzaron un 89,1% de precisión, superando significativamente al mejor LLM (51,3% en el mismo subconjeto), lo que indica que el benchmark está lejos de estar saturado.

Análisis de Tipo de Pregunta y Dominio

• Tipos de Pregunta: Las preguntas de "Mejor opción" fueron consistentemente las más desafiantes debido a la presencia de múltiples alternativas parcialmente correctas. Las preguntas "Negativas" mostraron una alta varianza entre modelos, indicando dificultades para manejar la negación lógica.
• Dominios: La Cirugía Ortopédica fue el dominio con menor puntuación (precisión media del 49,23% entre los modelos), significativamente más baja que otros dominios. La Cirugía Laparoscópica también puntuó más bajo que la Neurocirugía.

Calibración y Análisis de Errores

• Calibración: Incluso los modelos fuertes exhibieron brechas de calibración. Qwen2.5-72B fue ligeramente subconfiado, mientras que Meerkat-70B fue sustancialmente sobreconfiado (ECE = 0,120).
• Patrones de Fallo: El análisis cualitativo de los errores reveló que los fallos rara vez se debieron a una simple recuperación de hechos. En su lugar, los principales modos de error fueron:
  1. Confusión entre distractores de "mejor opción" clínicamente plausibles (39%).
  2. Fallos de negación/excepción (34%).
  3. Anclaje de pistas superficiales (21%).
• Aprendizaje Few-Shot: Añadir ejemplos de few-shot proporcionó ganancias inconsistentes; para algunos modelos (por ejemplo, Qwen2.5-72B), un solo ejemplo mejoró el rendimiento al alinear el formato, pero ejemplos adicionales no produjeron mejoras consistentes.

Significado y Reivindicaciones

El artículo posiciona a SurgiQ como un eje de evaluación complementario a los benchmarks quirúrgicos multimodales existentes. Su principal significado radica en:

• Identificación de Brechas: Demostrar que la especialización médica actual en los LLM es insuficiente para el razonamiento quirúrgico y que el razonamiento general amplio es actualmente más efectivo.
• Preocupaciones de Fiabilidad: Destacar que una alta precisión no equivale a fiabilidad, ya que los modelos fuertes frecuentemente cometen "errores de confianza" ante distractores clínicamente plausibles.
• Estándar de Benchmark: Proporcionar un entorno controlado y basado en texto para medir la capacidad prerrequisito de discriminar entre decisiones quirúrgicas, distinta de la preparación para el despliegue.

Los autores declaran explícicamente que SurgiQ no es un sistema de apoyo a la decisión clínica y que el rendimiento en estas MCQs no establece la competencia clínica ni la seguridad para entornos quirúrgicos del mundo real. El benchmark está destinado a impulsar el desarrollo de LLMs quirúrgicos con una cobertura más amplia y una mejor fiabilidad mediante una evaluación rigurosa basada en fuentes.