Resumen Técnico: FOCUS – Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

1. Definición del Problema y Motivación

La Localización de Objetos en Contexto (ICOL, por sus siglas en inglés) es la tarea de identificar y localizar un objeto objetivo específico en una imagen de consulta basándose únicamente en un pequeño conjunto de ejemplos visuales de apoyo (imágenes con cuadros delimitadores o bounding boxes) proporcionados en el momento de la inferencia, sin realizar actualizaciones de parámetros ni entrenamiento sobre el objetivo específico.

Aunque los Modelos de Visión y Lenguaje (VLM) han avanzado significablemente, presentan dificultades en la ICOL en entornos realistas y agnósticos a la categoría. Los métodos existentes, como IPLoc, a menudo dependen de prioris semánticos (por ejemplo, nombres de categorías o etiquetas pseudo-etiquetas) en lugar de evidencia visual pura. Esto conduce a dos modos de falla críticos:

1. Sesgo de Categoría: Los modelos tienden a localizar la instancia más prototípica o visualmente prominente de una categoría en lugar de la instancia específica definida por el ejemplo de apoyo (por ejemplo, localizar cualquier "cuenco" en lugar del "cuenco" específico mostrado en el apoyo).
2. Anclaje Visual Débil: Los mecanismos de atención en los modelos actuales suelen distribuir el enfoque de manera difusa a través de la imagen de consulta o dependen fuertemente de los tokens de categoría, fallando al concentrarse en las pistas geométricas y espaciales proporcionadas por los cuadros delimitadores de apoyo.

El artículo argumenta que, para aplicaciones como la búsqueda visual personalizada y la edición de imágenes específica de una instancia, los modelos deben inferir el objetivo basándose únicamente en la correspondencia visual y el razonamiento espacial, completamente desacoplados de las etiquetas de categoría textuales.

2. Metodología: El Marco de Trabajo FOCUS

Los autores proponen FOCUS, un marco de entrenamiento de dos etapas diseñado para forzar el anclaje visual y eliminar el sesgo de categoría. El enfoque opera bajo una premisa agnóstica a la categoría: el modelo recibe únicamente entradas visuales (imágenes de apoyo y sus cuadros delimitadores) y la imagen de consulta, sin nombres de categoría en el prompt.

Etapa 1: Optimización de Cuadros Delimitadores Basada en la Atención (Ajuste Fino Supervisado)

La primera etapa aborda el problema de la "atención débil" mediante la optimización explícita de los mapas de atención latentes del modelo para priorizar las anotaciones espaciales.

• Especificación del Prompt: La entrada es una secuencia intercalada de una instrucción en lenguaje natural, imágenes de apoyo con sus cuadros delimitadores (serializados como tokens de texto) y la imagen de consulta. Crucialmente, no se incluyen nombres de categoría.
• Pérdida de Atención ($L_{bbox}$): Los autores introducen una función de pérdida que obliga a los pesos de atención de los tokens de la imagen de consulta a concentrarse en los tokens de anotación de los cuadros delimitadores (BBOX) de las imágenes de apoyo.
  • Una máscara binaria distingue entre los tokens BBOX y los tokens no-BBOX.
  • La pérdida minimiza una pérdida de margen (margin-based hinge loss), fomentando que el modelo asigne una mayor masa de atención a los tokens BBOX ($p^+$) que a los tokens no-BBOX ($p^-$).
  • Esto asegura que el modelo aprenda a "mirar" las restricciones geométricas proporcionadas por los ejemplos de apoyo en lugar de depender de atajos semánticos.
• Implementación: Esta etapa utiliza el Ajuste Fino Supervisado (SFT) con LoRA (Adaptación de Bajo Rango) sobre un VLM base (por ejemplo, Qwen2-VL-7B).

Etapa 2: Aprendizaje por Refuerzo con Optimización de Política Relativa de Grupo (GRPO)

La segunda etapa refina la precisión de los cuadros delimitadores predichos.

• Objetivo: Minimizar el error de localización (IoU) y asegurar la corrección sintáctica de la salida.
• Función de Recompensa: Se utiliza una recompensa combinada $R$:
  1. Recompensa de IoU ($r_{iou}$): La Intersección sobre la Unión entre el cuadro predicho y el real (ground truth).
  2. Recompensa de Formato ($r_{fmt}$): Una recompensa binaria que asegura que la salida siga el formato requerido (por ejemplo, <answer>[x_min, y_min, x_max, y_max]</answer>).
• Optimización: Se emplea GRPO para actualizar la política. A diferencia de PPO, GRPO no requiere un crítico aprendido; en su lugar, calcula las ventajas comparando las salidas muestreadas dentro de un grupo en relación con la recompensa media del grupo. Esto estabiliza el entrenamiento en entornos de pocos ejemplos (few-shot) y optimiza directamente para un alineamiento de alta calidad.

3. Contribuciones Clave

1. Marco Agnóstico a la Categoría: El artículo introduce un entorno de localización en contexto puramente visual que elimina todos los nombres de categoría de los prompts, obligando al modelo a depender exclusivamente de la apariencia visual y la geometría.
2. Optimización del Mapa de Atención: Se propone una novedosa función de pérdida que alinea explícitamente la atención del modelo con los tokens de los cuadros delimitadores de apoyo, corrigiendo la tendencia de los VLM a ignorar las restricciones espaciales en favor de los prioris semánticos.
3. Refinamiento Basado en GRPO: La integración de la Optimización de Política Relativa de Grupo permite la minimización directa del error de localización (IoU) y fuerza un formato de salida estricto, mejorando la precisión a nivel de instancia.
4. Eficiencia y Escalabilidad: Los autores demuestran que un modelo de 7 mil millones (7B) de parámetros entrenado con estos objetivos supera significativamente a modelos mucho más grandes (hasta 72B de parámetros), probando que los objetivos de localización conscientes del contexto son más críticos que el mero escalado del modelo.

4. Resultados Experimentales

Los autores evaluaron FOCUS en un conjunto diverso de evaluaciones, incluyendo TAO, GOT-10k, LaSOT, PerSeg y PerMIRS.

• Rendimiento vs. Baselines: FOCUS (basado en Qwen2-VL-7B) logró resultados de vanguardia (state-of-the-art), superando significativamente a bases sólidas como IPLoc (7B), Qwen2-VL-72B e InternVL2-76B.
  • En GOT-10k (generalización de categoría zero-shot), FOCUS alcanzó un 82.6% (4-shot), superando al modelo Qwen2-VL de 72B parámetros (59.9%) por un amplio margen.
  • En TAO (mundo abierto, múltiples objetos), FOCUS alcanzó un 68.5% (4-shot), comparado con el 55.6% de Qwen2-VL-72B.
• Generalización: El modelo mostró una robusta generalización a categorías no vistas y cambios de dominio (por ejemplo, datos sintéticos en PerSeg), manteniendo un alto rendimiento donde los modelos dependientes de la categoría fallaron en la desambiguación de instancias.
• Estudios de Ablación:
  • Eliminar la pérdida de atención resultó en una caída significativa del rendimiento, confirmando la necesidad de forzar la atención hacia los tokens BBOX.
  • Añadir GRPO sobre SFT + Pérdida de Atención proporcionó una ganancia adicional del 11.4% en el escenario de 4-shot en TAO.
  • Se encontró que aplicar la pérdida de atención a las primeras cinco capas del transformador era lo más efectivo para el anclaje, sugiriendo que las capas tempranas son cruciales para establecer la correspondencia espacial.

5. Significado y Reivindicaciones

El artículo afirma que FOCUS logra reencuadrar la localización en contexto como una tarea de razonamiento visual en lugar de una tarea de recuperación semántica. Al eliminar la supervisión de categorías y forzar una correspondencia visual estricta mediante restricciones de atención y optimización de política, el método logra un anclaje robusto a nivel de instancia.

Los autores enfatizan que su enfoque demuestra que los objetivos de entrenamiento especializados pueden producir un rendimiento superior en comparación con el simple escalado del tamaño del modelo. Un modelo de 7B con FOCUS supera a modelos de 72B, resaltando que los "objetivos de localización conscientes del contexto" son un camino más eficiente para resolver el problema de la localización de objetos agnóstica a la categoría que depender únicamente de conteos masivos de parámetros. El trabajo sugiere que, para aplicaciones impulsadas por el usuario y específicas de una instancia, los modelos deben ser entrenados para ignorar los prioris semánticos y centrarse estrictamente en la evidencia visual.