Sum-of-Checks: Structured Reasoning for Surgical Safety with Large Vision-Language Models

Resumen Técnico: Sum-of-Checks: Razonamiento Estructurado para la Seguridad Quirúrgica con Modelos de Lenguaje y Visión de Gran Escala (LVLMs)

1. El Problema: Falta de Fiabilidad y Auditabilidad en IA Quirúrgica

La evaluación precisa de la Vista Crítica de Seguridad (CVS) durante una colecistectomía laparoscópica es fundamental para prevenir lesiones en el conducto biliar, una complicación con alta morbilidad y mortalidad. Aunque los Modelos de Lenguaje y Visión de Gran Escala (LVLMs) ofrecen una gran flexibilidad para el razonamiento clínico, presentan dos problemas críticos en entornos de alta seguridad:

• Inestabilidad y falta de fiabilidad: Los modelos suelen fallar en tareas que requieren razonar sobre evidencia visual interdependiente (anatomía, espacio, visibilidad) en lugar de simples reconocimientos de objetos.
• Opacidad (Caja Negra): Los métodos actuales de razonamiento (como Chain-of-Thought) son difíciles de auditar sistemáticamente; un clínico no puede verificar fácilmente si el modelo consideró todos los elementos de seguridad necesarios antes de emitir un juicio.

2. Metodología: El Marco "Sum-of-Checks"

Los autores proponen un marco de trabajo que separa la elicitación de evidencia de la toma de decisiones final. En lugar de pedirle al modelo que prediga directamente si se cumple la CVS, el proceso se descompone de la siguiente manera:

1. Descomposición en Verificaciones (Checks): Colaborando con cirujanos, cada uno de los tres criterios de la CVS se descompone en un conjunto de "verificaciones de razonamiento" (reasoning checks) basadas en evidencia visual clínica (ej. visibilidad de la anatomía, obstrucción por instrumentos, relaciones espaciales).
2. Evaluación de Verificaciones: Ante un fotograma quirúrgico ($x$), el LVLM evalúa cada verificación individual ($R_j$), produciendo una justificación textual y un juicio binario ($r_j \in \{0, 1\}$). La ambigüedad se trata como una respuesta negativa para garantizar la seguridad.
3. Agregación Ponderada (Sum-of-Checks): El puntaje final del criterio ($\hat{y}$) no es una decisión subjetiva del modelo, sino una suma ponderada determinista de los resultados de las verificaciones:
   $$\hat{y}(i) = \sum_{j=1}^{m(i)} w_j^{(i)} \cdot r_j^{(i)}$$
   Donde los pesos ($w$) son asignados por expertos según la importancia clínica de cada verificación.

3. Contribuciones Clave

• Desarrollo de un marco de razonamiento estructurado: Operacionaliza el conocimiento experto mediante unidades de decisión intermedias explícitas.
• Separación de procesos: Demuestra que separar la recolección de evidencia de la puntuación final mejora la precisión y la interpretabilidad.
• Análisis de fiabilidad: Identifica que, mientras los LVLMs son buenos en verificaciones observacionales (exposición de cámara, obstrucción), aún muestran variabilidad en verificaciones de evidencia anatómica crítica.

4. Resultados Principales

El estudio evaluó el método en el benchmark Endoscapes2023 utilizando tres modelos de vanguardia (GPT-4.1-mini, Claude Haiku 4.5 y Claude Opus 4.5). Los hallazgos fueron:

• Mejora de Precisión: Sum-of-Checks superó a todos los métodos base (Direct Prompting, Chain-of-Thought y Sub-Question Decomposition), mejorando el mAP (precisión media promedio) a nivel de fotograma entre un 12% y 14%.
• Necesidad de Componentes: Los experimentos de ablación demostraron que tanto el uso de ejemplos de pocos disparos (few-shot) como la agregación ponderada determinista son esenciales. El uso de un LLM para agregar los resultados (en lugar de la suma ponderada) degradó el rendimiento.
• Interpretabilidad: El modelo permite realizar inspecciones granulares; si una predicción de seguridad falla, el cirujano puede identificar exactamente qué verificación específica no se cumplió.

5. Significado e Impacto

Este trabajo marca un avance importante hacia la implementación de la IA en la cirugía de alta complejidad. Al transformar el razonamiento de un proceso de "caja negra" a un proceso de verificación estructurada y auditable, el marco Sum-of-Checks proporciona una vía para que los sistemas de IA sean más transparentes, confiables y, por lo tanto, más aceptables para el uso clínico real donde la seguridad del paciente es la prioridad absoluta.