Resumen Técnico: De la Web a los Píxeles: Integrando la Búsqueda Agéntica en la Percepción Visual

1. Definición del Problema: Investigación Profunda de Percepción

El artículo identifica una brecha crítica en los sistemas actuales de percepción visual. Si bien los modelos de lenguaje grandes multimodales (MLLM) existentes han avanzado desde el reconocimiento de categorías visibles hasta la localización de objetivos implícitos basándose en conocimiento interno, luchan en escenarios de mundo abierto. En estos casos, el objeto objetivo es visible en una imagen, pero la evidencia decisiva requerida para identificarlo reside fuera de la imagen y más allá del conocimiento paramétrico congelado del modelo.

Los autores formalizan este desafío como Investigación Profunda de Percepción. A diferencia de la comprensión estándar de expresiones de referencia o la segmentación de razonamiento, donde las pistas son visuales o internas, este entorno requiere que un modelo:

1. Resuelva una identidad objetivo a partir de hechos externos (por ejemplo, eventos recientes, entidades de cola larga, relaciones de múltiples saltos, afiliaciones de creadores).
2. Vincule esta identidad resuelta a una instancia visual concreta (caja, máscara o respuesta a nivel de región) dentro de la imagen.

La dificultad central radica en el acoplamiento de dos pasos: transformar pistas fácticas indirectas en una hipótesis de objetivo explícita y, a continuación, verificar que esta hipótesis sea compatible con la región visual observada, distinguiéndola de distractores u objetos visualmente similares.

2. Metodología

2.1 El Punto de Referencia WebEyes

Para medir el progreso en este dominio, los autores presentan WebEyes, un punto de referencia anclado a objetos diseñado con evidencia verificable y anotaciones precisas.

• Construcción: El conjunto de datos sigue un flujo de trabajo "objeto primero". Los anotadores seleccionan imágenes con múltiples instancias, marcan objetos de primer plano y luego utilizan un agente para realizar búsquedas web encadenadas y recopilar evidencia (roles, fechas de lanzamiento, afiliaciones de marca) antes de generar consultas intensivas en conocimiento.
• Escala: Comprende 120 imágenes, 473 instancias de objetos anotadas y 645 pares únicos de preguntas y respuestas, resultando en 1.927 muestras de tareas.
• Vistas de Tarea: WebEyes evalúa tres tareas complementarias:
  1. Localización basada en Búsqueda: Predecir un cuadro delimitador a partir de una consulta que requiere conocimiento externo.
  2. Segmentación basada en Búsqueda: Predecir una máscara a nivel de píxel.
  3. VQA basada en Búsqueda: Seleccionar la descripción rica en conocimiento correcta para una región resaltada.
• Control de Calidad: El proceso incluye filtrado automatizado para eliminar "atajos" (preguntas resolubles con conocimiento de libro cerrado o visión únicamente) y verificación manual para asegurar la corrección de la evidencia y la unicidad del objetivo.

2.2 Pixel-Searcher: Un Flujo de Trabajo de Búsqueda Agéntica a Píxel

Los autores proponen Pixel-Searcher, un flujo de trabajo de referencia que descompone la tarea en un bucle agéntico en lugar de una predicción directa de extremo a extremo. Opera en dos fases:

1. Búsqueda Agéntica y Resolución de Objetivo:

   • El agente analiza la consulta y la descompone en subobjetivos buscables.
   • Ingresa en un bucle de Búsqueda-Razonamiento, alternando entre la recuperación de evidencia externa (mediante herramientas de búsqueda), el razonamiento sobre los hechos acumulados y la resolución de una hipótesis estructurada $h = \{e, c, K\}$, donde $e$ es el nombre de la entidad, $c$ es la categoría visual y $K$ representa pistas verificables en la imagen.
   • El agente verifica que la entidad resuelta no sea una pista intermedia, sino el objetivo visible final.

2. Localización Agéntica y Uso de Herramientas:

   • Utilizando la hipótesis resuelta $h$, el agente guía herramientas de localización visual.
   • Para Localización/Segmentación: Identifica regiones candidatas, las verifica contra la evidencia resuelta e invoca una herramienta de segmentación con prompts (SAM3) para el refinamiento de la máscara.
   • Para VQA: Invierte el proceso, resolviendo cada opción de respuesta en pistas conscientes de la evidencia y seleccionando la que mejor coincide con la región visual localizada.

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Investigación Profunda de Percepción: Una nueva formulación para la percepción visual de mundo abierto donde los modelos deben buscar activamente evidencia externa para resolver identidades ocultas antes de localizarlas.
2. Punto de Referencia WebEyes: Un conjunto de datos que presenta evidencia externa verificable, consultas intensivas en conocimiento y anotaciones precisas en las vistas de localización, segmentación y VQA, diseñado específicamente para probar la capacidad de convertir conocimiento web en salidas a nivel de píxel.
3. Pixel-Searcher: Un flujo de trabajo agéntico que demuestra la eficacia del razonamiento de búsqueda a píxel. Los autores proporcionan experimentos diagnósticos que revelan que los cuellos de botella del rendimiento residen principalmente en la adquisición de evidencia, la resolución de identidad y la vinculación de instancias visuales, y no en el paso final de refinamiento de la máscara.

4. Resultados Experimentales

Se realizaron experimentos en WebEyes utilizando diversos modelos de código abierto y cerrado sin ajuste fino específico de la tarea.

• Rendimiento: Pixel-Searcher logra el mejor rendimiento entre todos los métodos de código abierto en las tres vistas de tarea.
  • En Localización basada en Búsqueda, mejora el IoU de la línea base Qwen3-VL-8B del 26,81% al 34,17% y el Recall@0,5 del 32,61% al 41,30%.
  • En Segmentación basada en Búsqueda, mejora el gIoU del 35,78% al 39,17% y el cIoU del 25,94% al 32,41%.
  • En VQA basada en Búsqueda, alcanza una precisión del 42,24%, superando a otros modelos de código abierto.
• Comparación: Aunque Pixel-Searcher lidera a los métodos de código abierto, persiste una brecha de rendimiento en comparación con los modelos de código cerrado de primer nivel (por ejemplo, Doubao-Seed, Gemini), lo que sugiere que la selección de evidencia y la resolución de entidades siguen siendo desafiantes incluso para agentes avanzados.
• Análisis de Ablación y Fallos:
  • Eliminar las pistas de localización directa provoca las caídas de rendimiento más significativas.
  • Modos de Fallo: Aproximadamente el 78% de los fallos (304 de 389) ocurren en la fase de búsqueda/resolución de entidad (identificación incorrecta de la entidad o planificación de búsqueda). Solo una pequeña fracción (10 casos) se debe a errores de transferencia de caja a máscara. Esto confirma que el cuello de botella principal es identificar la entidad correcta y no refinar el límite visual.

5. Significado y Afirmaciones

El artículo afirma que WebEyes proporciona la infraestructura necesaria para evaluar y avanzar en la "Investigación Profunda de Percepción", llevando la percepción visual más allá del análisis de imágenes estáticas hacia una interacción dinámica y guiada por el conocimiento.

El significado de Pixel-Searcher radica en demostrar que la búsqueda agéntica es un mecanismo viable y necesario para la percepción visual de mundo abierto. Los autores argumentan que para tareas donde la identidad del objetivo está oculta detrás de hechos externos, confiar simplemente en atributos visuales o en el conocimiento congelado del modelo es insuficiente. El flujo de trabajo demuestra que resolver el "quién" (identidad) antes de determinar el "dónde" (ubicación) es crítico, y que los fallos en este dominio son predominantemente semánticos (errores de búsqueda/razonamiento) y no geométricos (errores de refinamiento de máscara).

El artículo concluye que esta dirección requiere que los modelos busquen activamente evidencia externa y verifiquen las identidades frente a instancias visuales, ofreciendo un punto de partida simple pero efectivo para estudiar cómo la búsqueda agéntica puede cerrar la brecha entre el conocimiento web y la percepción a nivel de píxel.