SurgCheck: Do Vision-Language Models Really Look at Images in Surgical VQA?

Resumen Técnico: SurgCheck

Enunciado del Problema
A pesar del rendimiento prometedor de los Modelos Visuales-Lingüísticos (VLM) en la Respuesta a Preguntas Visuales Quirúrgicas (VQA), existe una incertidumbre crítica sobre si estos modelos poseen capacidades genuinas de razonamiento visual o si simplemente explotan "atajos lingüísticos". Los conjuntos de datos existentes de VQA quirúrgica a menudo contienen preguntas donde la redacción restringe implícitamente el espacio de respuestas (por ejemplo, nombrando explícitamente un instrumento como "bipolar" en la pregunta). En tales casos, los modelos pueden inferir respuestas basándose en correlaciones estadísticas entre el texto de la pregunta y las respuestas, en lugar de analizar la evidencia visual. En entornos quirúrgicos críticos para la seguridad, no está claro si la precisión reportada en los puntos de referencia refleja una comprensión visual real o una dependencia de estos sesgos textuales.

Metodología
Para abordar esta brecha de evaluación, los autores presentan SurgCheck, un punto de referencia diagnóstico diseñado para cuantificar la dependencia de atajos lingüísticos mediante un diseño de preguntas emparejadas con control de sesgos.

• Construcción del Conjunto de Datos: SurgCheck se basa en el conjunto de datos Endoscapes-SG201, utilizando sus anotaciones de escena-grafo a nivel de cuadro (instrumentos, estructuras anatómicas y relaciones). Comprende 1.933 cuadros y 29.635 pares de preguntas y respuestas (QA) en ocho categorías de tareas: Conteo de Instrumentos, Anatomía, Instrumento, Acción, Objetivo, Triplete, Salto de Anatomía y Vista Crítica de Seguridad (CVS).
• Diseño de Preguntas Emparejadas: Para cada cuadro quirúrgico, se generan dos preguntas semánticamente equivalentes:
  1. Pregunta Original: Sigue la redacción quirúrgica convencional con nombres explícitos de entidades (por ejemplo, "¿Qué acción está realizando el bipolar?").
  2. Pregunta Menos Sesgada: Elimina los nombres explícitos de entidades mientras preserva el contenido visual idéntico y la respuesta de verdad fundamental.
• Pistas de Anclaje: Para asegurar que las preguntas menos sesgadas permanezcan bien definidas sin nombres de entidades, se incorporan cuatro pistas de anclaje para referenciar el objeto objetivo:
  1. Caja delimitadora: Localización visual mediante un cuadro rojo.
  2. Flecha: Localización visual mediante una flecha roja.
  3. Posición Espacial: Descripción textual de la ubicación (por ejemplo, "parte inferior derecha de la imagen").
  4. Perífrasis: Descripción contextual (por ejemplo, "herramienta utilizada por la mano derecha del operador").
• Protocolo de Evaluación: El estudio evalúa cinco VLM (tres de propósito general: Qwen2.5-VL, LLaVA-OneVision, PaliGemma2; dos específicos de cirugía: PitVQA-Net, EndoChat) en configuraciones tanto de cero disparos (zero-shot) como de ajuste fino.
  • Para respuestas abiertas de cero disparos, se emplea un protocolo de LLM como Juez (utilizando GPT-5-mini) para evaluar semánticamente las respuestas frente a una rúbrica, asignando puntuaciones de 1 a 5.
  • Para modelos de ajuste fino que producen salidas categóricas, se utilizan la precisión de coincidencia exacta estándar y las puntuaciones F1.
• Estudio de Ablación: Se realiza una ablación solo de texto donde se elimina la entrada visual durante la inferencia para aislar la contribución de las pistas lingüísticas frente a la evidencia visual.

Contribuciones Clave

1. Punto de Referencia de Preguntas Emparejadas con Control de Sesgos: SurgCheck introduce un marco novedoso donde las preguntas originales y las menos sesgadas comparten entradas visuales y respuestas idénticas, diferenciándose únicamente en la presencia de atajos lingüísticos. Esto permite una señal diagnóstica directa de la dependencia de atajos.
2. Análisis Cuantitativo de Brechas de Rendimiento: Los autores proporcionan una evaluación sistemática de cinco VLM, midiendo la degradación del rendimiento entre preguntas originales y menos sesgadas para cuantificar la extensión de la dependencia de atajos.
3. Diagnóstico de Atajos Lingüísticos mediante Ablación Solo de Texto: Al eliminar la entrada visual, el estudio demuestra que el alto rendimiento en preguntas originales para ciertas tareas está impulsado principalmente por el texto y no por el razonamiento visual.

Resultados

• Rendimiento de Cero Disparos: Todos los modelos mostraron una degradación del rendimiento en preguntas menos sesgadas en comparación con las preguntas originales, lo que indica dependencia de atajos lingüísticos incluso antes del ajuste fino específico del dominio. Por ejemplo, Qwen2.5-VL-7B vio una caída de precisión del 28,06% al 24,62%.
• Rendimiento de Ajuste Fino: Aunque el ajuste fino mejoró la precisión general, la brecha de rendimiento persistió. Los modelos consistentemente obtuvieron peores resultados en preguntas menos sesgadas a pesar de las entradas visuales idénticas. LLaVA-OV-1.5-8B mostró una caída significativa de precisión del 71,19% al 63,19%.
• Sensibilidad Específica de la Tarea:
  • Tareas de Acción y Objetivo: Estas categorías mostraron las mayores caídas en la puntuación F1 cuando se eliminaron las pistas lingüísticas. La ablación solo de texto reveló que el rendimiento en estas tareas se mantuvo alto incluso sin imágenes, confirmando que las predicciones estaban impulsadas por atajos lingüísticos.
  • Tareas de Salto de Anatomía y Triplete: Estas tareas, que requieren razonamiento espacial, mostraron una degradación mínima en preguntas menos sesgadas y se desempeñaron significativamente mejor con imágenes que solo con texto, lo que indica una dependencia de evidencia visual genuina.
• Análisis de Pistas de Anclaje: Las pistas visuales explícitas (cajas delimitadoras, flechas) no mitigaron completamente la caída de rendimiento; los modelos aún tuvieron dificultades para asociar evidencia visual localizada con acciones/objetivos sin nombres de entidades. Las pistas de perífrasis mostraron la menor degradación, lo que sugiere que las descripciones contextuales fomentan una mejor integración visual que las coordenadas espaciales simples.

Significado
El documento concluye que un fuerte rendimiento en puntos de referencia en VQA quirúrgica no implica necesariamente una comprensión visual fiel. SurgCheck proporciona un marco diagnóstico controlado que expone modos de fallo enmascarados por el sesgo lingüístico en los puntos de referencia existentes. Los hallazgos subrayan la necesidad de una evaluación consciente de los sesgos en la VQA quirúrgica para asegurar que los modelos dependan de la evidencia visual en lugar de explotar los priores de la pregunta, lo cual es crítico para la seguridad y la fiabilidad de los sistemas de apoyo a la toma de decisiones intraoperatorias.