Personalized Object Identification and Localization via In-Context Inference with Vision-Language Models

Resumen Técnico: Identificación y Localización de Objetos Personalizados mediante Inferencia en Contexto con Modelos de Visión-Lenguaje

1. Definición del Problema

El artículo aborda las limitaciones de la Localización de Objetos Personalizados (POL), una tarea iniciada por el método IPLoc. Aunque IPLoc utiliza con éxito Modelos de Visión-Lenguaje (VLM) para localizar una instancia de objeto específica en una imagen de consulta basándose en imágenes de referencia e anotaciones de cajas delimitadoras (bounding-box), opera bajo un supuesto crítico: la imagen de consulta siempre contiene el objeto objetivo.

En escenarios del mundo real (por ejemplo, recuperación de imágenes, grounding de video), las imágenes de consulta a menudo no contienen el objeto de referencia. Bajo estas condiciones, IPLoc falla al no poder rechazar la imagen y, en su lugar, genera una caja delimitadora de falso positivo. Esta limitación restringe severamente la aplicabilidad práctica de la POL.

Para abordar esto, los autores formulan una nueva tarea: Identificación y Localización de Objetos Personalizados (POIL). POIL extiende el marco de trabajo de POL requiriendo que el modelo:

1. Localice la instancia de objeto específica condicionada por la referencia si existe en la imagen de consulta.
2. Rechace la imagen de consulta (generando ninguna caja delimitadora) si la instancia del objeto de referencia está ausente.

Esta tarea difiere de la Detección de Objetos de Pocos Disparos (FSOD) estándar, que opera a nivel de categoría (detectando cualquier objeto de una clase), al requerir una discriminación a nivel de instancia y la capacidad de distinguir entre la instancia objetivo y los distractores dentro de la misma clase.

2. Metodología: IPLoc-ID

Los autores proponen IPLoc-ID, un algoritmo de inferencia en contexto diseñado para resolver la tarea POIL utilizando VLMs sin realizar un ajuste fino (fine-tuning) sobre los datos de prueba. El método aprovecha las capacidades de generación autorregresiva de los VLMs para realizar la localización y la identificación de forma secuencial dentro de una única secuencia de texto.

Componentes Clave:

• Generación Secuencial: A diferencia de IPLoc, que solo devuelve una caja delimitadora ($\langle B \rangle$), IPLoc-ID genera una secuencia de tres partes:
  1. Caja Delimitadora Candidata ($\langle B \rangle$): Una caja candidata condicionada por la referencia en la imagen de consulta.
  2. Consulta Auto-planteada ($\langle Q \rangle$): Una consulta intermedia fija que conecta la caja candidata con los datos de referencia (por ejemplo, "¿Tienen todas estas cajas el mismo objeto?").
  3. Respuesta de Identificación ($\langle A \rangle$): Una respuesta binaria ("Sí" o "No") que determina si la candidata corresponde a la instancia de referencia.
• Objetivo de Entrenamiento Unificado: El modelo se ajusta utilizando una función de pérdida unificada que maximiza la verosimilitud de la secuencia completa ($B, Q, A$). Esto permite que el modelo aprenda conjuntamente la localización de candidatos y la identificación a nivel de instancia.
• Manejo de Ejemplos Negativos: Durante el entrenamiento, el modelo es expuesto tanto a ejemplos positivos (donde el objetivo existe) como a ejemplos negativos (donde no existe). Para los ejemplos negativos, el modelo aún genera una caja candidata (que representa el objeto más plausible) pero se entrena para devolver un "No" en el paso de identificación, aprendiendo efectivamente a rechazar la imagen.
• Interpretación: Un intérprete de post-procesamiento extrae las coordenadas y la decisión de "Sí/No". Si la respuesta es "No", el resultado final es un rechazo ($\emptyset$); de lo contrario, se devuelve la caja delimitadora.

Detalles de Implementación:

• El método emplea LoRA (Low-Rank Adaptation) para el ajuste fino eficiente de parámetros de los backbones de los VLM (por ejemplo, Qwen2-VL, Qwen3-VL).
• Los conjuntos de datos se construyen a partir de fuentes de seguimiento de video públicas (LaSOT, PDM, GOT-10K, VastTrack) mediante el muestreo de fotogramas de referencia y la creación de pares de imágenes de consulta positivas y negativas.

3. Contribuciones Clave

1. Formulación de la Tarea: La introducción de POIL, una definición de tarea rigurosa que combina la localización a nivel de instancia con el rechazo de consultas negativas, cerrando la brecha entre la POL y las necesidades de aplicación práctica.
2. Construcción de Datasets: La creación de datasets de POIL personalizados que contienen imágenes de consulta tanto positivas como negativas, diseñados específicamente para incluir distractores desafiantes dentro de la misma clase para evaluar la discriminación a nivel de instancia.
3. Algoritmo (IPLoc-ID): Un nuevo marco de inferencia en contexto que integra un mecanismo de consulta auto-planteada. Este diseño conecta el paso de localización con el paso de identificación, permitiendo al modelo verificar sus propias predicciones dentro de un único proceso de generación autorregresiva.
4. Validación Empírica: Experimentos exhaustivos que demuestran que IPLoc-ID suprime significativamente los falsos positivos en imágenes negativas mientras mantiene la precisión de localización del IPLoc original.

4. Resultados Experimentales

Los autores evaluaron IPLoc-ID frente a líneas base de vanguardia, incluyendo la Detección de Objetos (OD) convencional, la Detección de Objetos de Pocos Disparos (FSOD) y el IPLoc original, a través de cuatro conjuntos de datos (LaSOT, PDM, GOT-10K, VastTrack) y diversas configuraciones de N-disparos (N-shot).

• Rendimiento de Localización (mIoU): IPLoc-ID mantiene un rendimiento de localización comparable o ligeramente superior al de IPLoc en todos los datasets y backbones.
• Rendimiento de Identificación (F1-Score):
  • Los métodos de solo localización (IPLoc, OD, FSOD) alcanzan consistentemente un F1-score cercano a 0.667 (el baseline teórico para predecir siempre "positivo" en un dataset balanceado), lo que indica un fallo al rechazar imágenes negativas.
  • IPLoc-ID logra F1-scores significativamente más altos (a menudo superando el 0.90 y alcanzando el 0.99 en divisiones específicas), demostrando un rechazo efectivo de las imágenes de consulta negativas.
• Estudios de Ablación:
  • Unificado vs. Dos Etapas: Un objetivo de entrenamiento unificado supera a un enfoque de dos etapas (entrenar primero la localización, luego la identificación), el cual sufre de olvido catastrófico de las capacidades de localización.
  • Consulta Auto-planteada: La redacción específica de la consulta auto-planteada tiene un impacto mínimo en el rendimiento, lo que sugiere que el modelo aprende el rol estructural de la consulta durante el ajuste fino.
  • Escalabilidad del Backbone: El rendimiento mejora con tamaños de modelo más grandes (por ejemplo, Qwen3-VL-235B), confirmando la escalabilidad del enfoque.

5. Significado y Reivindicaciones

El artículo afirma que IPLoc-ID aborda eficazmente la tarea práctica de POIL a nivel de instancia, un problema que no puede ser resuelto suficientemente por:

• OD/FSOD Convencional: Que operan a nivel de categoría y fallan al distinguir instancias específicas.
• IPLoc de Solo Localización: Que carece de un mecanismo para rechazar imágenes donde el objetivo está ausente, lo que conduce a altas tasas de falsos positivos en escenarios del mundo real.

Al introducir la consulta auto-planteada y el componente de identificación, los autores demuestran que los VLMs pueden ser guiados para realizar una verificación a nivel de instancia junto con la localización. Los autores posicionan este trabajo como un paso fundamental para futuras tareas de visión personalizada, incluyendo recuperación, grounding y seguimiento, bajo configuraciones de consulta realistas donde el objeto objetivo puede no estar presente.

Limitaciones Reconocidas:

• El marco actual se centra en la localización de un objeto único por imagen de consulta y no maneja múltiples objetos objetivo simultáneamente.
• La inferencia se realiza en imágenes individuales; la consistencia temporal en secuencias de video no se utiliza explícitamente, aunque los autores señalan esto como una dirección para trabajos futuros.