SiMing-Bench: Evaluating Procedural Correctness from Continuous Interactions in Clinical Skill Videos

Resumen Técnico: SiMing-Bench

1. El Problema

Los benchmarks actuales para Modelos de Lenguaje Multimodal Grandes (MLLMs) en video se centran principalmente en el reconocimiento de eventos, el ordenamiento temporal y la recuperación de contexto a largo plazo. Sin embargo, existe una brecha crítica: la incapacidad de estos modelos para realizar juicios procedimentales expertos.

En entornos clínicos, la corrección de una acción no depende solo de lo que se ve en un instante, sino de cómo las interacciones continuas (entre el estudiante, el paciente, los instrumentos y el entorno) actualizan el "estado procedimental" y condicionan la validez de los pasos subsiguientes. Por ejemplo, en una sutura o reanimación, el uso incorrecto de un instrumento en un paso temprano puede invalidar todo el procedimiento posterior, incluso si los movimientos locales parecen correctos. Los benchmarks existentes no evalúan si un modelo puede rastrear esta evolución de estados basada en interacciones para determinar la corrección global.

2. Metodología

A. Introducción de SiMing-Bench y SiMing-Score
Los autores presentan SiMing-Bench, el primer benchmark diseñado para evaluar la capacidad de los MLLMs de juzgar la corrección procedimental a partir de interacciones continuas en videos clínicos completos.

• Dataset (SiMing-Score): Compuesto por 200 videos completos de exámenes de habilidades clínicas reales (no demostraciones de expertos), grabados en tres hospitales.
• Tareas Cubiertas: Reanimación Cardiopulmonar (CPR), uso de Desfibrilador Externo Automático (AED) y ventilación con bolsa-mascarilla (BMV).
• Duración y Estructura: Los videos duran entre 2 y 4 minutos, capturando flujos de trabajo completos en una sola escena.
• Annotación: Cada video está emparejado con una rúbrica estandarizada definida por médicos y etiquetado por dos médicos expertos de forma independiente.
  • Se asignan puntuaciones por paso (niveles ordinales: correcto, parcialmente correcto, deficiente, fallido).
  • Se calcula una puntuación global agregada.
  • Se resolvió la discrepancia entre expertos mediante un proceso de adjudicación (solo el 1.06% de los casos requirió adjudicación).

B. Definición de la Tarea
El objetivo es un problema de predicción estructurada: dado un video completo $V$ y una rúbrica $R$, el modelo debe predecir una secuencia de puntuaciones por paso $\hat{s}$ y una puntuación global $\hat{y}$.

• Evaluación: Se mide la consistencia a dos niveles:
  1. Puntuación Global: Correlación de Pearson (PLCC) y Spearman (SRCC) con la puntuación de consenso de los expertos.
  2. Nivel de Paso: Coeficiente Kappa de Cohen ponderado cuadráticamente para medir el acuerdo en las categorías ordinales de cada paso.

C. Configuración Experimental
Se evaluaron 12 MLLMs diversos, incluyendo:

• Modelos de código abierto (LLaVA-Video, LLaVA-OneVision, Qwen3-VL).
• Modelos médicos especializados (UniMed-VL, MedGemma, MediX-R1).
• Modelos comerciales y "Omni" (GPT-4o, GPT-5.2, Gemini-3 Pro, Doubao).
• Se probaron escenarios de "video completo" y "clips alineados por paso" para diagnosticar si el fallo se debía a la búsqueda temporal o a la comprensión del estado.

3. Resultados Clave

• Fallo Generalizado: Existe una brecha persistente y significativa entre el juicio de los modelos y el de los expertos.
  • El modelo más fuerte, GPT-4o, alcanzó solo un PLCC de 0.158 en la puntuación global y un Kappa de 0.000 a nivel de paso.
  • En contraste, el acuerdo entre los dos médicos expertos fue de 0.871 (PLCC) y 0.732 (Kappa).
• Ilusión de Rendimiento Global: Se observó que una correlación global aceptable (aunque baja) puede coexistir con un acuerdo casi nulo en los pasos intermedios definidos por la rúbrica. Esto indica que las evaluaciones globales sobreestiman drásticamente la capacidad real de los modelos para entender el proceso.
• Independencia de la Especialización Médica: Los modelos especializados en medicina no mostraron ventajas consistentes sobre los modelos generales, lo que sugiere que el problema no es el reconocimiento de terminología médica, sino la modelización del estado procedimental.
• Análisis Diagnóstico:
  • Juicio Binario: Incluso simplificando la tarea a "correcto/incorrecto" (binario), el mejor modelo (GPT-5.2) solo alcanzó un MCC de 0.132.
  • Localización Temporal: Al proporcionar clips pre-segmentados (eliminando la necesidad de buscar en el video completo), el rendimiento mejoró marginalmente pero siguió siendo muy bajo (Kappa máximo de 0.075).
  • Conclusión del Diagnóstico: El cuello de botella no es la granularidad de la puntuación ni la localización temporal, sino la incapacidad de los modelos para inferir cómo las interacciones previas reconfiguran las condiciones de validez para las acciones futuras.

4. Contribuciones Principales

1. SiMing-Bench: El primer benchmark que evalúa el juicio procedimental basado en interacciones continuas en videos clínicos de flujo completo, llenando un vacío en la evaluación de MLLMs.
2. SiMing-Score: Un dataset de alta calidad con 200 videos anotados por expertos con rúbricas estandarizadas, diseñado específicamente para evaluar la evolución del estado procedimental.
3. Hallazgo Fundamental: Demostración empírica de que los MLLMs actuales, incluso los más avanzados, fallan sistemáticamente en modelar la causalidad temporal de las interacciones en procedimientos largos, lo que limita su utilidad como "modelos del mundo" en escenarios críticos.

5. Significado e Impacto

• Para la IA Multimodal: El trabajo expone una limitación fundamental en los modelos actuales: pueden reconocer "qué pasó" y "cuándo", pero no entienden "por qué una acción invalida la siguiente" basándose en el estado acumulado de la interacción. Esto señala la necesidad de avanzar desde el reconocimiento de eventos hacia la modelización de estados del mundo evolutivos.
• Para la Educación Médica: Aunque el benchmark no está diseñado para el despliegue clínico inmediato (debido a la brecha de rendimiento), establece un estándar riguroso para evaluar el potencial de la IA en la automatización de la retroalimentación formativa en exámenes clínicos (OSCE).
• Ética: Se enfatiza que, debido a la alta tasa de error, estos modelos no deben usarse actualmente para certificaciones o decisiones clínicas reales, sino como herramientas de investigación para mejorar la comprensión procedimental de la IA.

En resumen, SiMing-Bench demuestra que la capacidad de los MLLMs para actuar como modelos del mundo en entornos procedimentales complejos es actualmente insuficiente, y que la evaluación debe ir más allá de la comprensión global para centrarse en la coherencia de las interacciones paso a paso.