Resumen Técnico: InterLV-Search

Enunciado del Problema

Las evaluaciones existentes para la búsqueda agéntica multimodal evalúan principalmente la adquisición de evidencia textual o tratan la información visual como una entrada estática o un punto final de respuesta. En estos marcos, la evidencia visual se limita ya sea a la consulta inicial del usuario o se recupera únicamente para responder una pregunta visual local, tras lo cual la trayectoria de búsqueda termina. Esta formulación pasa por alto una capacidad crítica en la búsqueda de información realista: la evidencia visual como pivote de búsqueda. En tareas complejas de mundo abierto, las observaciones visuales (por ejemplo, logotipos, inscripciones, relaciones espaciales o entidades visuales específicas) a menudo contienen pistas de granularidad fina que desambiguan el estado actual y determinan el siguiente objetivo de búsqueda, consulta o decisión de ramificación. Los sistemas actuales luchan con la búsqueda multimodal entrelazada, donde los agentes deben cambiar dinámicamente entre la adquisición de evidencia visual y textual, utilizando evidencia de una modalidad para condicionar las acciones de recuperación en la otra.

Metodología

La Evaluación InterLV-Search

Los autores introducen InterLV-Search, una evaluación compuesta por 2.061 ejemplos diseñada para evaluar la Búsqueda Agéntica Entrelazada de Lenguaje y Visión. La evaluación se estructura en tres niveles de dificultad progresiva:

1. Nivel 1: Búsqueda Activa de Evidencia Visual

   • Objetivo: Evaluar la capacidad primitiva de buscar evidencia visual a partir de necesidades de información textual.
   • Tarea: Formulada como una tarea de "Búsqueda a VQA" (Visual Question Answering). El agente recibe una descripción textual de una consulta visual sobre un objetivo implícitamente especificado. Debe inferir la entidad oculta, recuperar la imagen correspondiente y responder una pregunta visual de granularidad fina (por ejemplo, color, material, patrón) fundamentada en dicha imagen.
   • Construcción: Pipeline totalmente automatizado utilizando MMKG-W (un grafo de conocimiento multimodal basado en Wikimedia con ~15K entidades). El proceso implica generar subconsultas de búsqueda de objetivos implícitos y subconsultas VQA correspondientes, compuestas en preguntas en lenguaje natural.

2. Nivel 2: Búsqueda Multimodal Entrelazada Controlada Offline

   • Objetivo: Evaluar la búsqueda de evidencia entrelazada de múltiples saltos en un entorno controlado, aislando la capacidad de utilizar la evidencia visual como pivotes intermedios.
   • Tarea: Requiere al menos dos rondas de recuperación de evidencia visual. El agente debe fundamentar una pista visual, convertirla en el siguiente objetivo de recuperación y, finalmente, fundamentar una imagen terminal para responder.
   • Tipos:
     • Sondeo visual inicial: La exploración visual se inyecta al inicio de la cadena de razonamiento.
     • Sondeo visual intermedio: Se requiere fundamentación visual en una etapa intermedia, donde una entidad "puente" (visualmente similar a un nodo intermedio) redirige la ruta de búsqueda.
   • Construcción: Pipeline totalmente automatizado que aprovecha las anotaciones de entidad-relación en MMKG-W para construir rutas verificables de múltiples saltos y oscurecer las cadenas de búsqueda.

3. Nivel 3: Búsqueda Multimodal Entrelazada en Web Abierta

   • Objetivo: Evaluar las mismas capacidades en un entorno de web abierta ruidoso y dinámico.
   • Tarea: Los agentes operan sobre páginas web reales y resultados de búsqueda. Este nivel incluye tanto ejemplos estándar de cadena única como ejemplos de múltiples ramas, donde los agentes deben explorar rutas de razonamiento paralelas, recopilar evidencia, comparar entidades y seleccionar una rama para continuar.
   • Construcción: Pipeline liderado por máquinas y supervisado por humanos. GPT-5.4-Thinking genera preguntas semilla y cadenas candidatas, las cuales son verificadas y refinadas por anotadores humanos de nivel doctoral para garantizar validez, capacidad de respuesta y estructura entrelazada. Un optimizador CP-SAT selecciona el subconjunto final para equilibrar la dificultad y minimizar la solvabilidad "sin búsqueda".

Marco InterLV-Agent

Para estandarizar la evaluación, los autores proporcionan InterLV-Agent, un marco de referencia que presenta:

• Bucle Razón-Acciona-Observa: Los agentes planifican, invocan herramientas y observan resultados.
• Suite de Herramientas: Incluye búsqueda de imágenes, búsqueda inversa de imágenes, búsqueda web, navegación por páginas web, recorte de imágenes y ejecución de código.
• Memoria: Un sistema de memoria ligero de dos niveles (corto plazo para interacciones recientes, largo plazo para historial resumido) para mantener el estado de búsqueda a lo largo de trayectorias largas.
• Protocolo de Evaluación: Utiliza la precisión de la respuesta final juzgada por equivalencia semántica (permitiendo alias y parafraseos) con presupuestos de interacción específicos (3, 7 y 10 pasos para los Niveles 1, 2 y 3, respectivamente).

Contribuciones Clave

1. Evaluación InterLV-Search: La primera evaluación que cubre conjuntamente la búsqueda de texto a visual, la recuperación visual de múltiples saltos, el entrelazamiento recurrente visión-texto y la búsqueda multimodal de múltiples ramas. Cambia el paradigma de "evidencia visual como punto final" a "evidencia visual como pivote de búsqueda".
2. Construcción de Datos Escalable: Pipelines automatizados para los Niveles 1 y 2, y un pipeline semi-automatizado con intervención humana para el Nivel 3, permitiendo la generación de datos de búsqueda multimodal entrelazada de alta calidad.
3. Evaluación Exhaustiva: Un marco estandarizado (InterLV-Agent) y experimentos extensos tanto en agentes multimodales propietarios como de código abierto.

Resultados Experimentales

Los experimentos en modelos propietarios (por ejemplo, GPT-5.4, Gemini-3.1-Pro, Claude-Sonnet-4.6) y agentes de código abierto (por ejemplo, MMSearch-R1, SenseNova-MARS-32B) revelan:

• Brecha de Rendimiento: Los sistemas actuales están lejos de resolver la búsqueda multimodal entrelazada. Incluso el modelo de mejor rendimiento logra menos del 50% de precisión general.
• Necesidad de Búsqueda: El rendimiento sin herramientas es limitado (mejor ~20% en el Nivel 3), confirmando que el conocimiento paramétrico por sí solo es insuficiente.
• Variación en el Uso de Herramientas: Mientras que los modelos propietarios muestran ganancias consistentes con el uso de herramientas, los agentes orientados a búsqueda de código abierto a menudo muestran ganancias insignificantes o degradación del rendimiento, lo que indica limitaciones en la planificación de búsqueda y la fundamentación visual.
• Progresión de Dificultad: El rendimiento disminuye del Nivel 1 al Nivel 3. Dentro del Nivel 3, los agentes tienen un rendimiento significativamente peor en tareas de múltiples ramas en comparación con las de cadena única, destacando las dificultades con el control de búsqueda no lineal.
• Cuello de Botella de Recuperación: El análisis de descomposición muestra que, aunque los agentes pueden responder correctamente una vez recuperada la entidad objetivo (alta precisión dada la recuperación), la precisión de recuperación (R@5) sigue siendo baja, particularmente en el Nivel 2. La localización de evidencia objetivo es un gran cuello de botella.
• Pivotes Visuales: El análisis de trayectorias confirma que los agentes exitosos utilizan frecuentemente la evidencia visual como pivotes de búsqueda, pero muchos modelos no logran mantener este patrón entrelazado de manera efectiva.

Significancia

El artículo afirma que InterLV-Search expone desafíos no capturados por las evaluaciones existentes. Los resultados demuestran que el éxito en la búsqueda multimodal de mundo abierto no depende meramente de acceder a herramientas externas, sino de la capacidad de:

1. Localizar la evidencia visual pretendida.
2. Utilizar esa evidencia como un pivote dinámico para guiar las decisiones de recuperación subsiguientes.
3. Mantener un estado de búsqueda coherente a lo largo de trayectorias largas o ramificadas.

Las brechas sustanciales de rendimiento observadas sugieren que los agentes multimodales actuales aún no son lo suficientemente robustos para la búsqueda multimodal compleja y entrelazada, y la evaluación proporciona una base necesaria para el trabajo futuro en agentes que puedan adquirir, conectar y actuar sobre evidencia multimodal de manera confiable durante la búsqueda.