Resumen Técnico: Entrenamiento de LLMs con Aprendizaje por Refuerzo sobre Representaciones de Gemelos Digitales para VideoQA Quirúrgico de Razonamiento Intensivo

Declaración del Problema

El VideoQA (Preguntas y Respuestas sobre Video) quirúrgico tiene como objetivo interpretar consultas en lenguaje natural sobre videos quirúrgicos para apoyar el análisis del flujo de trabajo y la educación. Sin embargo, los enfoques actuales enfrentan limitaciones significativas al manejar tareas de razonamiento intensivo que requieren inferencia semántica, espacial y temporal de múltiples pasos.

Los métodos existentes suelen tratar el VideoQA como una tarea directa de emparejamiento visual o comprimen el video continuo en representaciones de tokens discretos. Este enfoque arquitectónico fragmenta las relaciones espacio-temporales continuas, lo que restringe la capacidad del modelo para realizar razonamientos complejos tales como:

• Razonamiento Semántico: Comprender las funciones de los instrumentos y la lógica procedimental.
• Razonamiento Espacial: Analizar relaciones geométricas y de profundidad.
• Razonamiento Temporal: Rastrear trayectorias de movimiento y fases del flujo de trabajo.

Además, los Modelos de Lenguaje-Visión (VLMs) generales requieren una adaptación específica al dominio que es costosa, mientras que los modelos específicos de cirugía suelen vincular la percepción visual y el razonamiento dentro de un solo modelo. Este acoplamiento obliga al modelo a aprender simultáneamente la extracción de características finas y el razonamiento de alto nivel, introduciendo objetivos de optimización contrapuestos que requieren conjuntos de datos anotados a gran escala.

Metodología

Los autores proponen un marco de Aprendizaje por Refuerzo (RL) que desacopla la percepción visual del razonamiento. En lugar de procesar el video bruto directamente, un Modelo de Lenguaje Grande (LLM) planifica y opera sobre representaciones intermedias estructuradas llamadas representaciones de Gemelo Digital (DT).

1. Secuencia de Ejecución Estructurada

El LLM genera una secuencia de salida estructurada para resolver una consulta $Q$ dado un video $V$:

1. Razonamiento Inicial ($R_0$): El LLM genera una cadena de pensamiento para descomponer la consulta e identificar la información requerida.
2. Plan de Construcción del DT ($G$): El LLM genera un Grafo Acíclico Dirigido (DAG) que especifica qué modelos fundacionales quirúrgicos invocar y sus dependencias de ejecución.
3. Representación del DT ($D$): Tras la ejecución del plan, el sistema añade la representación estructurada del DT que contiene entidades extraídas, relaciones y estimaciones de incertidumbre.
4. Razonamiento Basado en DT ($R_1$): El LLM razona sobre el DT construido para formular la respuesta final.
5. Respuesta Final ($A$): El LLM genera la respuesta.

2. Representaciones de Gemelo Digital Jerárquicas y Probabilísticas

La representación del DT se construye invocando modelos fundacionales específicos (por ejemplo, SurgSAM-2, DepthAnything2, RASO, OWLv2) basados en el plan del LLM. Las características clave incluyen:

• Estructura Jerárquica: Para acomodar la dinámica temporal multiescala, el DT se organiza en tres niveles:
  • Nivel de Fotograma: Observaciones instantáneas (máscaras, profundidad, etiquetas, cajas delimitadoras).
  • Nivel de Ventana Temporal: Una ventana deslizante que agrega fotogramas recientes para preservar la dinámica a corto plazo (trayectorias, deformaciones) mediante identificadores de seguimiento.
  • Nivel de Procedimiento: Estadísticas agregadas que resumen el contexto a largo plazo (transiciones de fase, uso acumulado) mediante un LLM externo.
• Incertidumbre Probabilística: Para manejar la ambigüedad perceptual, las entidades y relaciones se formulan con atributos probabilísticos. Las estimaciones de incertidumbre (por ejemplo, confianza de segmentación, confianza de reconocimiento semántico, desviación de profundidad) se derivan de los resultados inherentes de los modelos fundacionales.

3. Diseño de la Recompensa

El marco emplea una función de recompensa basada en reglas $R(Y)$ que combina la validación de formato y la evaluación de precisión:

• Recompensa de Formato ($R_{format}$): Asegura que la secuencia de ejecución contenga todos los pares de tokens requeridos en el orden correcto.
• Recompensa de Precisión ($R_{acc}$):
  • Evalúa la equivalencia semántica entre la respuesta generada y la verdad de campo utilizando un LLM como juez.
  • Verificación de Plausibilidad Clínica: Penaliza respuestas que contengan afirmaciones clínicamente implausibles (por ejemplo, funciones de instrumentos contradictorias o secuencias inseguras).
  • Calibración Consciente de la Incertidumbre: La magnitud de la recompensa se modula por un factor de confianza $\gamma$, calculado como la confiabilidad promedio de las instancias específicas referenciadas en la respuesta. Esto escala la recompensa basándose en la fiabilidad de las observaciones visuales.
• Entrenamiento: El LLM se entrena utilizando Optimización de Política Relativa de Grupo (GRPO).

4. Conjunto de Datos: REAL-Colon-Reason

Para apoyar esta investigación, los autores introdujeron REAL-Colon-Reason, un benchmark de colonoscopia que contiene 2,000 pares de pregunta-respuesta. El conjunto de datos se deriva del conjunto de datos REAL-Colon y presenta tres niveles de complejidad:

• Nivel 1: Inferencia básica de un solo paso.
• Nivel 2: Requiere dos operaciones de razonamiento intermedias.
• Nivel 3: Demanda cadenas que exceden los tres pasos de deducción lógica.

Contribuciones Clave

1. Marco de RL para el Razonamiento Desacoplado: Un marco novedoso que entrena LLMs para planificar y razonar sobre representaciones de Gemelo Digital construidas por modelos fundacionales quirúrgicos, separando efectivamente la percepción del razonamiento.
2. DT Probabilístico Jerárquico: El diseño de representaciones de DT que codifican estructuras temporales multiescala y estimaciones de incertidumbre probabilística para abordar las ambigüedades inherentes y las jerarquías temporales de los videos quirúrgicos.
3. Recompensa de Validez Clínica: Un mecanismo de recompensa que impone la plausibilidad clínica y calibra la confianza de la respuesta frente a la incertidumbre visual, eliminando la necesidad de cadenas de razonamiento anotadas manualmente.
4. Benchmark REAL-Colon-Reason: Un nuevo conjunto de datos diseñado específicamente para el VideoQA quirúrgico de razonamiento intensivo, cubriendo diversos niveles de complejidad.

Resultados Experimentales

El método fue evaluado en REAL-Colon-Reason, REAL-Colon-VQA y EndoVis18-VQA.

• REAL-Colon-Reason: El método propuesto logró un rendimiento estado del arte con un puntaje de Coincidencia Exacta (EM) general de 0.584 y un puntaje SMILE de 0.646. Esto superó al segundo mejor método (Qwen3-VL-8B) en un 17.2% en EM y un 17.3% en SMILE. La brecha de rendimiento se amplió significativamente en los niveles de mayor complejidad (Nivel 3), demostrando la capacidad superior del método en el razonamiento de múltiples pasos.
• Benchmarks Existentes: En REAL-Colon-VQA y EndoVis18-VQA, el método logró los mejores puntajes BLEU-4 (75.42% y 87.20% respectivamente para in-template) y superó significativamente a los métodos existentes en precisión de palabras clave, indicando un mejor anclaje factual.
• Estudio de Ablación: Eliminar la representación del DT redujo el rendimiento a una línea base de 0.242 EM. El modelo completo entrenado con RL (0.584 EM) superó significativamente a la línea base de ajuste fino supervisado (0.325 EM), confirmando la eficacia del diseño de la recompensa y el entrenamiento con RL.

Significancia y Reivindicaciones

El artículo afirma que, al desacoplar la percepción visual del razonamiento y utilizar representaciones de Gemelos Digitales estructuradas, el marco propuesto preserva la información espacio-temporal fina que los métodos de compresión basados en tokens fragmentan. Este enfoque permite que los LLM realicen un razonamiento complejo de múltiples pasos requerido para aplicaciones quirúrgicas avanzadas, como anticipar eventos adversos o proporcionar guía en situaciones intraoperatorias ambiguas, sin depender de cantidades masivas de datos de razonamiento anotados manualmente. Los resultados sugieren que las estructuras de razonamiento explícitas sobre representaciones jerárquicas y probabilísticas son esenciales para manejar escenarios quirúrgicos de razonamiento intensivo donde los VLMs de propósito general y los enfoques de un solo fotograma fallan.