🤖 AI

SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation

SearchEyes introduce un mundo de búsqueda simulado y unificado construido sobre un grafo de conocimiento tipado que integra datos, entorno y señales de recompensa a través de Cadenas de Percepción-Conocimiento y Optimización de Política Anclada en Saltos, permitiendo un rendimiento de razonamiento multi-salto de vanguardia en agentes de búsqueda multimodales sin depender de motores externos o modelos de recompensa separados.

Autores originales: Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu

Publicado 2026-07-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu Ma, Yifan Zhang, Xiangyu Yue

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot muy inteligente cómo resolver un misterio complejo. El robot necesita mirar una imagen, leer algunos documentos y conectar los puntos para encontrar una respuesta. Esto es lo que el artículo llama un "agente de búsqueda multimodal".

Sin embargo, los autores de este artículo, SearchEyes, descubrieron que la forma en que solemos enseñar a estos robots está rota. Es como intentar enseñar a alguien a conducir dándole un mapa, un coche y un examen de conducir, pero asegurándose de que ninguno de ellos coincida.

El Mapa (Datos de entrenamiento): Les das una lista de preguntas y respuestas, pero desechas los pasos del "cómo hacerlo".
El Coche (Entorno): Los dejas conducir en una carretera pública real e impredecible (el internet real) donde los semáforos pueden cambiar o la carretera puede desaparecer.
La Prueba (Recompensas): Solo les dices "Buen trabajo" o "Mal trabajo" al final. Si cometieron un error en el paso 1, pero tuvieron suerte en el paso 10, aun así reciben un "Buen trabajo". Nunca aprenden dónde se equivocaron.

SearchEyes soluciona esto construyendo una simulación perfecta y autocontenida donde el mapa, el coche y la prueba se construyen a partir del mismo plano.

Así es como lo hicieron, usando analogías sencillas:

1. El Plano: Un "Grafo de Conocimiento Tipado"

En lugar de usar el internet real y desordenado, el equipo construyó una biblioteca gigante y organizada de hechos llamada Grafo de Conocimiento. Piensa en esto como un enorme árbol genealógico de la información del mundo, pero con reglas estrictas:

Cada persona (entidad) tiene una foto, una biografía y una lista de relaciones.
Solo mantienen a las personas "famosas" que tienen las tres cosas (foto, biografía y conexiones) para que el robot pueda practicar mirando imágenes y leyendo texto.

2. El Curso de Entrenamiento: "Cadenas de Percepción-Conocimiento" (PKC)

Para entrenar al robot, no escribieron preguntas aleatorias. Utilizaron una receta especial llamada Cadenas de Percepción-Conocimiento (PKC).

La Analogía: Imagina una búsqueda del tesoro donde debes alternar entre mirar una foto y leer una pista.
- Paso 1 (Percepción): "Mira esta foto de un hombre. ¿Quién es él?" (El robot debe identificar a la persona a partir de la imagen).
- Paso 2 (Conocimiento): "Ahora, busca para qué equipo jugó". (El robot debe buscar texto).
- Paso 3 (Percepción): "Busca una foto del estadio donde juega ese equipo".
La Magia: El sistema genera estas preguntas automáticamente pero mantiene una "hoja de trucos" (la ruta exacta de los hechos) oculta en segundo plano. Esto asegura que el robot deba tomar la ruta larga y de múltiples pasos para resolver el rompecabezas, en lugar de adivinar la respuesta inmediatamente.

3. El Simulador de Conducción: Un "Mundo de Búsqueda Autocontenido"

En el mundo real, si le pides algo a un motor de búsqueda, los resultados pueden cambiar mañana. En el mundo de SearchEyes, el "motor de búsqueda" es en realidad una base de datos gigante y precargada de la biblioteca que construyeron.

El Beneficio: Es 100% reproducible. Si el robot busca "Cristiano Ronaldo", siempre obtendrá exactamente los mismos 5 resultados principales. Esto elimina el caos del internet real, permitiendo que el robot aprenda la lógica de la búsqueda sin distraerse con enlaces rotos o sitios web que cambian.

4. El Entrenador: Retroalimentación "Anclada a Saltos" (HaPO)

Esta es la innovación más importante. En el entrenamiento normal, el entrenador solo dice "¡Lograste la respuesta correcta!" al final.

El Problema: Si el robot tomó 10 pasos para llegar allí, el entrenador no sabe qué paso fue brillante y cuál fue un golpe de suerte.
La Solución de SearchEyes: Debido a que conservaron la "hoja de trucos" (la ruta exacta de los hechos), pueden actuar como un entrenador que observa cada paso.
- "¡Buen trabajo encontrando la foto del estadio en el Paso 3!"
- "Vaya, elegiste el equipo equivocado en el Paso 2. Intentémoslo de nuevo".
La Metáfora: En lugar de calificar todo el examen con una sola puntuación, dan una calificación para cada una de las preguntas del examen. Esto ayuda al robot a aprender mucho más rápido porque sabe exactamente dónde mejorar.

Los Resultados

Cuando probaron este nuevo método (llamado SearchEyes) en seis pruebas diferentes y difíciles que involucraban imágenes y texto:

Superó a todos los otros robots de código abierto que intentan hacer lo mismo.
Su robot más pequeño (27 mil millones de "células cerebrales") tuvo un mejor desempeño que robots mucho más grandes y costosos de las grandes empresas tecnológicas.
Demostró que, al darle al robot un mundo de entrenamiento estructurado y paso a paso junto con una retroalimentación precisa, no necesitas una supercomputadora masiva para obtener grandes resultados.

En resumen: SearchEyes dejó de intentar enseñar a los robots lanzándolos al caótico internet real. En su lugar, construyeron un gimnasio de entrenamiento perfecto y controlado donde el robot practica habilidades específicas, es calificado en cada movimiento y aprende a resolver misterios visuales complejos con una eficiencia increíble.

Resumen Técnico: SearchEyes

Declaración del Problema

El entrenamiento de agentes de búsqueda multimodales capaces de realizar razonamiento de largo alcance y de múltiples saltos (multi-hop) enfrenta una desconexión estructural fundamental en los procesos actuales. Los enfoques existentes construyen los datos de entrenamiento, los entornos de búsqueda y las señales de recompensa de forma independiente, lo que genera tres problemas críticos:

Desacoplamiento Datos-Entorno: La síntesis de datos de entrenamiento suele descartar la metadata estructural intermedia (p. ej., estructura de rutas, IDs de entidades), mientras que los entornos de búsqueda dependen de motores externos irreproducibles con APIs no deterministas.
Escasez de Recompensa: Las señales de aprendizaje por refuerzo (RL) se calculan típicamente solo a nivel de trayectoria (basándose en la respuesta final). Para el razonamiento de múltiples saltos, la probabilidad de una respuesta final correcta disminuye drásticamente con el número de saltos, lo que hace que las recompensas a nivel de trayectoria sean demasiado escasas para una optimización de política efectiva.
Fallo de Asignación de Crédito: Sin señales a nivel de paso, los agentes tienen dificultades para aprender qué acciones específicas en una cadena larga contribuyeron al éxito o al fracaso, especialmente en tareas multimodales complejas que requieren tanto percepción visual como recuperación de conocimiento textual.

Metodología: SearchEyes

SearchEyes aborda estos cuellos de botella unificando la síntesis de datos, la simulación del entorno y el entrenamiento de RL a través de un mundo de búsqueda simulado construido sobre un grafo de conocimiento tipado (Wikidata5M). El marco consta de tres componentes estrechamente acoplados:

1. Simulación de Mundo de Búsqueda Unificado

El sistema construye un entorno de búsqueda autocontenido utilizando un grafo de conocimiento tipado $G = (V, R, T, \phi)$ derivado de Wikidata5M, Wiki6M (texto) y Wikipedia images.

Recuperación Autocontenida: En lugar de APIs externas, el entorno utiliza un motor de recuperación híbrido (embeddings densos + BM25) fusionado mediante RRF (Reciprocal Rank Fusion) sobre una colección de documentos pre-indexada. Esto garantiza una recuperación determinista, reproducible y auditable.
Conjunto de Herramientas: Los agentes interactúan mediante herramientas deterministas: text_search, visual_search (recorte de imagen + recuperación de embeddings), lookup, summarize y python_interpreter.

2. Síntesis de Cadena Percepción-Conocimiento (PKC)

Para generar datos de entrenamiento de alta calidad, SearchEyes introduce un pipeline que muestrea rutas de múltiples saltos restringidas sobre la intersección de entidades visuales y de conocimiento:

Muestreo de Rutas Restringidas: Las rutas se muestrean mediante caminatas aleatorias con restricciones estrictas:
- Alternancia P-K: Imposición de la alternancia entre saltos de Percepción (identificación de entidades visuales a partir de imágenes) y saltos de Conocimiento (búsqueda basada en texto).
- Restricciones de Desambiguación: Introducción de predicados "uno-a-pocos" y aristas de restricción para evitar soluciones triviales de una sola ruta, aumentando el ancho de banda (treewidth) del grafo de razonamiento.
- Diversidad de Dominio: Garantizar que las rutas atraviesen múltiples dominios semánticos (Persona, Obra, Organización, Geografía).
- Filtrado Anti-Atajos: Exclusión de entidades "hub" y predicados de meta-nivel para evitar rutas adivinables.
Ocultación de Información: Las preguntas se generan de tal manera que los nombres de las entidades y las secuencias completas de relaciones permanecen ocultos. La entidad ancla se presenta únicamente mediante una imagen, y las relaciones intermedias se ofuscan con pistas de nivel de dominio, obligando al agente a realizar un razonamiento genuino de múltiples pasos.
Destilación de Datos SFT: Las trayectorias expertas se sintetizan utilizando un entorno "privilegiado" con potenciadores de recuperación y eliminación de ruido en las observaciones. Estas trayectorias se exportan posteriormente con observaciones crudas y ruidosas para el Ajuste Fino Supervisado (SFT), enseñando al modelo a razonar sobre resultados de recuperación realistas.

3. Optimización de Política Anclada a Saltos (HaPO)

Para resolver el problema de la escasez de recompensa, SearchEyes propone HaPO, un algoritmo de post-entrenamiento que reutiliza la secuencia de entidades de oro (gold) de la síntesis PKC para la asignación de crédito a nivel de paso sin necesidad de un modelo de recompensa de proceso separado.

Grupos Anclados a Saltos: Las trayectorias se agrupan por las entidades de oro que recuperan exitosamente. Dentro de estos grupos, las ventajas se calculan en relación con el resultado del grupo, aislando el efecto de las acciones tomadas tras alcanzar un estado intermedio específico.
Ventaja Combinada: La señal de ventaja final interpola entre las ventajas a nivel de trayectoria y las ventajas a nivel de paso ancladas a saltos.
Enmascaramiento de Fatalidad: El algoritmo detecta y enmascara sufijos de trayectoria degenerados causados por errores consecutivos de herramientas, evitando que el ruido del gradiente corrompa las actualizaciones de la política.
Puerta Asimétrica Suave: Reemplaza el recorte duro (hard clipping) con una puerta basada en sigmoide para estabilizar la optimización de largo alcance, aplicando un mayor amortiguamiento a las ventajas negativas.

Principales Contribuciones

Simulación de Mundo de Búsqueda Unificado: Un marco novedoso que utiliza un grafo de conocimiento tipado para co-diseñar la síntesis de datos, la simulación del entorno y el entrenamiento de RL, eliminando la desconexión entre datos-entorno-recompensa.
Síntesis de Cadena Percepción-Conocimiento (PKC): Un pipeline impulsado por KG que genera preguntas visual-lingüísticas de múltiples saltos y restringidas con garantías estructurales estrictas (alternancia P-K, desambiguación) y ocultación de información.
Pipeline de Post-Entrenamiento Agéntico (HaPO): Un algoritmo de entrenamiento que aprovecha la metadata estructural retenida (IDs de entidades de oro) para permitir la asignación de crédito a nivel de paso, combinando señales ancladas a saltos y de trayectoria sin requerir un modelo de recompensa de proceso entrenado.
VisSearch Bench: Un nuevo benchmark introducido para evaluar la búsqueda visual de múltiples saltos con estructuras de alternancia P-K.

Resultados Experimentales

SearchEyes fue evaluado en seis benchmarks multimodales de conocimiento intensivo (SimpleVQA, VDR, MMSearch, LiveVQA, BC-VL, FVQA) y en el nuevo VisSearch Bench.

Rendimiento: SearchEyes-27B logró el estado del arte en rendimiento entre los agentes de búsqueda multimodales de código abierto, mejorando al baseline de código abierto más fuerte en 6.2 puntos en promedio.
Eficiencia de Parámetros: SearchEyes-9B igualó el rendimiento de baselines de escala 30B (p. ej., OpenSearch-VL-30B) utilizando 3.3 veces menos parámetros, demostando una eficiencia de datos superior.
Estudios de Ablación:
- Eliminar las restricciones de PKC (p. ej., alternancia P-K, filtrado anti-atajos) causó caídas significativas en el rendimiento (hasta -7.7 puntos promedio), confirmando la necesidad de las restricciones estructurales para aprender un razonamiento de múltiples pasos genuino.
- Reemplazar HaPO con GRPO estándar resultó en una caída de -4.0 puntos promedio, validando que la asignación de crédito a nivel de paso es el principal cuello de botella en la búsqueda de múltiples saltos.

Significado

El artículo argumenta que la limitación principal en los agentes de búsqueda multimodales actuales no es la capacidad del modelo, sino la desconexión estructural entre los datos, el entorno y la recompensa. Al tratar el grafo de conocimiento como un núcleo unificado, SearchEyes demuestra que el co-diseño de datos-entorno-algoritmo es esencial para entrenar agentes efectivos de largo alcance. Los resultados sugieren que retener la metadata estructural a lo largo del pipeline de entrenamiento permite una asignación de crédito precisa a nivel de paso, permitiendo que modelos más pequeños alcancen un rendimiento competitivo con sistemas propietarios mucho más grandes. El trabajo proporciona una receta reproducible y de código abierto para construir agentes de búsqueda multimodales robustos sin depender de APIs externas y no deterministas.