See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection

A continuación se presenta un resumen técnico detallado del artículo "See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection" (Ver más lejos, pensar más profundo: Avanzando la capacidad de razonamiento de los LVM con pistas visuales de bajo nivel y reflexión).

1. Declaración del Problema

Aunque los Modelos de Lenguaje y Visión (LVM) han mejorado significativamente con el Aprendizaje por Refuerzo (RL), los métodos existentes enfrentan dos limitaciones críticas en tareas complejas de razonamiento visual:

• Negligencia de la Información Visual de Bajo Nivel: Los modelos actuales a menudo dependen de la comprensión semántica de alto nivel, pasando por alto características visuales finas (por ejemplo, bordes, cambios sutiles de color, detalles de textura) cruciales para tareas como la detección de anomalías. El razonamiento basado únicamente en texto conduce a errores cuando los detalles visuales son ambiguos.
• Falta de Retroalimentación Visual Efectiva (Razonamiento en Bucle Abierto): La mayoría de los LVM operan de manera en bucle abierto, donde el proceso de razonamiento es lineal ("Razonamiento $\to$ Respuesta"). Una vez generada una respuesta, el modelo no la reexamina frente a la evidencia visual. Existe una falta de un mecanismo en bucle cerrado donde el modelo pueda verificar sus propias predicciones utilizando retroalimentación visual para corregir errores.

2. Metodología: El Marco ForeSight

Los autores proponen ForeSight, un marco unificado de razonamiento entrelazado multimodal impulsado por RL. Permite a los LVM "Ver más lejos" (a través de herramientas de bajo nivel) y "Pensar más profundo" (mediante reflexión visual).

A. Componentes Principales

1. Herramientas Visuales de Bajo Nivel:
   El marco integra un conjunto de herramientas fundamentales de procesamiento de imágenes que el modelo puede invocar autónomamente durante el proceso de Cadena de Pensamiento (CoT):

   • Herramienta Canny: Detecta bordes para clarificar los límites de los objetos y los contornos estructurales.
   • Herramienta de Zoom (ROI): Permite al modelo enfocarse en regiones específicas para extraer detalles finos cuando el contexto global es insuficiente.
   • Herramienta de Color: Mejora el contraste de color para distinguir objetos basándose en el tono o la saturación.
   • Mecanismo: El modelo decide dinámicamente cuándo y qué herramienta utilizar basándose en el estado actual del razonamiento, en lugar de usar una tubería fija.

2. Reflexión Visual Basada en Máscaras:
   Para transformar el razonamiento de bucle abierto a bucle cerrado, ForeSight introduce un mecanismo de reflexión:

   • Después de generar una respuesta preliminar (incluyendo una caja delimitadora y una descripción de caracteres), el modelo crea una máscara que cubre la región predicha en la imagen original.
   • La imagen enmascarada (que muestra solo las partes sin enmascarar) se retroalimenta al modelo.
   • El modelo analiza el área sin enmascarar para verificar si el objeto predicho es realmente único en comparación con el resto. Si se encuentran inconsistencias, el modelo refina iterativamente su respuesta.
   • Esto crea un ciclo: Razonamiento $\to$ Respuesta Preliminar $\to$ Retroalimentación Visual (Máscara) $\to$ Reflexión $\to$ Respuesta Final.

B. Estrategia de Entrenamiento

El marco emplea una tubería de entrenamiento de dos etapas basada en la Optimización de Política Relativa de Grupo (GRPO):

1. Etapa 1: Ajuste Fino Supervisado (SFT) e Inicio en Frío:
   • Se construye un nuevo conjunto de datos, CG-SalBench, basado en el conjunto de datos SalBench. Contiene tareas de "El que no encaja" que requieren una localización precisa de cajas delimitadoras e identificación de caracteres.
   • Los datos se dividen en subconjuntos "sin herramientas" y "dependientes de herramientas" basándose en el rendimiento del modelo.
   • Un modelo más grande (Qwen2.5-VL-72B) genera anotaciones de alta calidad de CoT con uso de herramientas y trazas de reflexión, que se limpian para formar un conjunto de datos de inicio en frío para el modelo de 7B.
2. Etapa 2: Aprendizaje por Refuerzo (RL):
   • El modelo se optimiza utilizando una función de recompensa compuesta que incluye:
     • Consistencia de Formato: Garantizar una salida estructurada.
     • Recompensa IoU: Maximizar la superposición de la caja delimitadora con la verdad fundamental.
     • Recompensa F1: Mejorar la precisión de la identificación de caracteres.
     • Recompensa de Herramienta: Fomentar la invocación correcta de herramientas y penalizar el uso excesivo o formatos inválidos.
     • Recompensa de Verificación: Alinear la lógica de reflexión (por ejemplo, si el borrador es incorrecto, la reflexión debe identificar el error).

3. Contribuciones Clave

• Razonamiento Visual en Bucle Cerrado: Primeros en introducir la reflexión basada en retroalimentación visual en el razonamiento de LVM, cambiando de un bucle abierto a un proceso de autocorrección en bucle cerrado.
• Integración Visual de Bajo Nivel: Propone un mecanismo impulsado por RL para la invocación autónoma de herramientas visuales de bajo nivel (Canny, Zoom, Color), permitiendo a los modelos "ver" activamente detalles que previamente ignoraban.
• Nuevo Punto de Referencia (CG-SalBench): Introduce un conjunto de datos especializado para evaluar la anclaje "El que no encaja" y la identificación de caracteres, cerrando la brecha entre tareas de saliencia visual sintéticas y del mundo real.
• Eficiencia sobre Escala: Demuestra que un modelo de 7 mil millones de parámetros (ForeSight-7B) puede superar a modelos mucho más grandes (por ejemplo, 72B) y a modelos SOTA de código cerrado mediante una arquitectura de razonamiento superior en lugar de solo escalar parámetros.

4. Resultados Experimentales

Los experimentos se realizaron en el punto de referencia CG-SalBench y en tareas generales de VQA (MME, MMBench).

• Rendimiento en CG-SalBench:
  • ForeSight-7B logró un IoU del 62.24% y una puntuación F1 del 84.24%.
  • Superó significativamente al Qwen2.5-VL-7B base (IoU +29.68%, F1 +19.27%).
  • Superó al Qwen2.5-VL-72B (66.00% IoU) en puntuación F1 y superó al mejor modelo de código cerrado (Doubao-Seed-1.6) en IoU en más del 14%.
  • Superó notablemente a GPT-5, que tenía un F1 alto pero un IoU muy bajo (7.85%), lo que indica capacidades de localización superiores de ForeSight.
• Estudios de Ablación:
  • Herramientas + Reflexión: El uso de ambos componentes juntos produjo el rendimiento más alto, confirmando su naturaleza complementaria (Herramientas para percepción, Reflexión para verificación).
  • Etapa de Entrenamiento: La combinación de SFT (inicio en frío) y RL fue esencial; RL por sí solo fue inestable, y SFT por sí solo carecía del refinamiento del uso dinámico de herramientas.
• Generalización: ForeSight mostró mejoras significativas en puntos de referencia de anclaje (serie RefCOCO) y en el punto de referencia VQA MME, validando su robustez en diferentes tareas visuales.

5. Significado

Este artículo desafía el paradigma predominante de la "ley de escala" en los LVM, sugiriendo que la innovación arquitectónica en los procesos de razonamiento (específicamente la integración de pistas de bajo nivel y autoverificación) es más efectiva que simplemente aumentar el tamaño del modelo. Al permitir que los modelos "Vean más lejos" (percepción activa) y "Pienso más profundo" (verificación iterativa), ForeSight proporciona un plano para construir agentes multimodales más robustos, alineados con humanos y confiables, capaces de manejar tareas complejas de razonamiento visual fino.