Resumen Técnico: UNIBROWSE

Planteamiento del Problema

Las tareas de BrowseComp multimodales requieren que los agentes resuelvan preguntas donde las respuestas no están disponibles directamente, sino que deben componerse a partir de múltiples fragmentos de evidencia web dinámica. A diferencia de las tareas estándar de búsqueda de hechos, estos problemas demandan un razonamiento de largo horizonte, el uso de herramientas y la integración de modalidades textuales y visuales. La navegación en el mundo real implica tres patrones distintos de flujo de información:

1. Solo texto: Las respuestas se componen únicamente de evidencia textual.
2. Imagen a texto: Una pista de imagen inicial debe resolverse para iniciar la navegación textual.
3. Texto a imagen: La navegación textual reduce el objetivo, requiriendo una recuperación visual para la verificación final.

Los métodos de construcción de datos existentes para entrenar tales agentes sufren de tres limitaciones críticas:

• Cobertura de patrones incompleta: Los conjuntos de datos previos (por ejemplo, WebWatcher, Vision-DeepResearch) cubren predominantemente el patrón de imagen a texto, descuidando el patrón de texto a imagen, que es igualmente importante, donde el razonamiento textual precede a la verificación visual.
• Compromisos de paradigma: Los métodos que dependen de grafos de conocimiento curados carecen de diversidad web, mientras que aquellos que utilizan caminatas web aleatorias introducen un ruido masivo y evidencia falsa.
• Entrenamiento ineficiente: Los trabajos previos aplican el aprendizaje por refuerzo (RL) directamente a datos sintéticos sin filtrar, desperdiciando recursos computacionales en trayectorias de baja señal que carecen de caminos de razonamiento diversos.

Metodología

Los autores proponen UNIBROWSE, un marco unificado de datos a agente que comprende un nuevo pipeline de construcción de datos y una estrategia de entrenamiento para un agente de navegación multimodal de escala 35B.

1. Pipeline de Construcción de Datos

El pipeline genera datos de entrenamiento de alta calidad uniendo el conocimiento estructurado con la recuperación web en vivo:

• KG Textual con Expansión Web: El proceso comienza con un grafo de conocimiento textual ($G_{KG}$) para definir rutas de razonamiento estructuradas. Para cada entidad semilla, se construye un subgrafo conectado. Para asegurar el realismo, el pipeline aumenta estos nodos del grafo con atributos extraídos de la recuperación web en vivo, reteniendo solo aquellos corroborados por múltiples resultados de búsqueda.
• Expansión de Patrones Multimodales Unificados: El pipeline evalúa los subgrafos de evidencia generados para dar soporte a los tres patrones de flujo de información:
  • Imagen a texto: Adjunta nodos de imagen recuperables a las entidades semilla iniciales.
  • Texto a imagen: Anexa nodos de imagen a la entidad de la respuesta final si dicha entidad posee un atributo visualmente verificable y distintivo que no está presente en el texto.
  • Solo texto: Genera preguntas basadas puramente en la estructura de evidencia por capas.
    Estos patrones pueden combinarse dentro de una misma pregunta (por ejemplo, comenzando con una imagen y terminando con una verificación visual).
• Selección Impulsada por la Exploración: Para mejorar la eficiencia del RL, el pipeline introduce una métrica de Grado de Exploración ($E(q)$). Esta métrica mide la varianza en la longitud de las trayectorias de navegación exitosas a través de múltiples ejecuciones (rollouts). Un alto grado de exploración indica que las respuestas correctas pueden alcanzarse mediante diversos caminos (por ejemplo, directo vs. retroceso), proporcionando señales contrastivas más ricas para el aprendizaje de la política. Se filtran las instancias de baja señal.

2. Entrenamiento del Agente

El marco entrena un agente de escala 35B (basado en Qwen3.5-35B-A3B) en dos etapas:

• Ajuste Fino Supervisado (SFT) de Inicio en Frío (Cold-Start): Utiliza ~8,000 trayectorias de uso de herramientas para establecer una gramática de acción estable y un prior consciente de los patrones.
• Aprendizaje por Refuerzo (RL) Consciente de la Exploración: Optimiza el modelo SFT utilizando ~10,000 pares de QA seleccionados del top 30% de las instancias basadas en la métrica de grado de exploración. El agente interactúa con las herramientas SEARCH (texto, imagen a texto, texto a imagen) y LINKSUMMARY utilizando un proceso de decisión secuencial estilo ReAct. La función de recompensa combina la corrección de la respuesta y el cumplimiento del formato, optimizada mediante la Optimización de Política Relativa de Grupo (GRPO).

Contribuciones Clave

1. Pipeline de Datos Unificado: UNIBROWSE es el primer marco que genera simultáneamente datos de entrenamiento que cubren los patrones de solo texto, imagen a texto y texto a imagen, mientras aumenta los grafos de conocimiento con recuperación web en vivo para mejorar la fidelidad.
2. Filtrado Consciente de la Exploración: La introducción de la métrica de grado de exploración permite la selección de instancias de RL de alto valor, mejorando significativamente la eficiencia del entrenamiento al enfocarse en problemas con señales de razonamiento ricas y diversas.
3. Agente de Vanguardia (State-of-the-Art): El agente UNIBROWSE resultante logra un rendimiento superior en benchmarks de navegación multimodal, demostando la eficacia del enfoque de datos a agente.

Resultados Experimentales

El agente UNIBROWSE fue evaluado en cinco benchmarks diversos: BrowseComp-VL (BC-VL), MM-BrowseComp (MM-BC), MMSearch+, MMSearch y FVQA.

• Rendimiento: El modelo final (SFT + RL) alcanzó una precisión promedio del 54.4% en los cinco benchmarks.
• Mejora: Esto representa una mejora de 10.5 puntos porcentuales sobre el modelo base (Qwen3.5-35B-A3B, 43.9%).
• Comparación: El agente supera varios flujos de trabajo de código cerrado, incluyendo GPT-5 (42.9%), Gemini-2.5 Pro (44.8%) y Gemini-2.5 Flash (41.3%). También supera a los baselines de código abierto previos como WebWatcher-32B (31.7%) y Vision-DeepResearch-30B-A3B.
• Estudios de Ablación:
  • Cobertura de Patrones: Entrenar en los tres patrones produjo resultados significativamente mejores que entrenar solo en texto o en imagen a texto, particularmente en el desafiante benchmark MM-BC.
  • Estrategia de Selección: Filtrar los datos de RL al top 30% por grado de exploración produjo el mejor rendimiento; el filtrado demasiado estricto (top 10%) o demasiado laxo (top 100%) resultó en puntuaciones más bajas.

Significado

El artículo postula que la construcción de datos multimodales controlable y el post-entrenamiento consciente de la exploración son esenciales para construir agentes de navegación efectivos. Al abordar la brecha en la cobertura de patrones (específicamente la modalidad de texto a imagen) y optimizar la señal de entrenamiento de RL a través de la diversidad de exploración, UNIBROWSE demuestra que los modelos de código abierto pueden lograr un rendimiento competitivo y de vanguardia en tareas complejas de razonamiento web multimodal. El marco reduce la brecha de rendimiento entre los agentes de código abierto y los flujos de trabajo propietarios más fuertes en más de la mitad, validando el paradigma "de datos a agente" como un camino escalable hacia el futuro.