Resumen Técnico: Buscar más allá de lo que se puede enseñar: Evolucionando el límite del conocimiento en la generación visual agéntica

1. Planteamiento del problema: El cuello de botella del conocimiento del mundo

Los generadores visuales sobresalen al renderizar conceptos conocidos, pero fallan catastróficamente en peticiones que requieren un conocimiento del mundo ilimitado, evolutivo y de cola larga (por ejemplo, eventos recientes, símbolos culturales de nicho o personajes de propiedad intelectual específicos). Este es un cuello de botella estructural: los generadores están entrenados con corpus fijos con cortes de conocimiento inherentes, mientras que las peticiones de los usuarios son abiertas.

El artículo identifica que los generadores actuales carecen de un mecanismo para reconocer lo que no saben. En consecuencia, "fabrican con confianza" respuestas en lugar de admitir ignorancia o buscar información externa. Los benchmarks existentes no logran capturar esta dinámica, ya que prueban principalmente el renderizado dentro de conceptos conocidos. Al ser probados en prompts intensivos en búsqueda, los generadores de pesos abiertos de frontera colapsan, puntuando solo 21–28 de 100, una caída de hasta 40 puntos en comparación con su rendimiento en prompts estándar.

Un remedio ingenuo —dotar a los generadores con herramientas de búsqueda— falla porque introduce ruido de búsqueda. La recuperación ciega de información para cada prompt degrada la calidad al inyectar detalles visuales irrelevantes, contaminación estilística o estructuras espurias en la entrada del generador. El desafío central no es solo recuperar conocimiento, sino definir un límite de conocimiento evolutivo y específico del generador: la división entre lo que un generador puede interiorizar mediante el entrenamiento y lo que debe permanecer en el contexto externo.

2. Metodología

El artículo propone SearchGen, un marco para la generación visual agéntica que emplea un razonador agéntico resistente al ruido y un marco de co-entrenamiento para descubrir y respetar el límite del conocimiento.

2.1 Construcción del conjunto de datos y del benchmark

Para estudiar este problema sistemáticamente, los autores construyeron:

• SEARCHGEN-20K: Un conjunto de datos de 20.839 prompts fundamentados en conocimiento del mundo que abarca 12 categorías de fallo y 22 dominios (p. ej., eventos temporales, entidad/IP, especificidad cultural). Incluye 34.694 ranuras de referencia visual y 16.345 ranuras de conocimiento textual.
• SEARCHGEN-BENCH: Un benchmark derivado del conjunto de datos para evaluar la fundamentación del conocimiento del mundo.
• SEARCHGEN-CORPUS-1M: Un corpus multimodal pre-ejecutado y congelado que contiene 145.642 sesiones de búsqueda archivadas y 370.733 descargas en caché. Esto permite una investigación reproducible y offline sin depender de APIs en vivo o resultados de búsqueda erráticos.

2.2 Razonador agéntico resistente al ruido

Para evitar que el ruido de búsqueda corrompa la generación, los autores introducen un protocolo de tres etapas Gate–Filter–Integrate (Puerta–Filtro–Integración):

1. Gate (Puerta): El razonador (un VLM) analiza el prompt para identificar brechas de conocimiento. Clasifica las brechas por tipo y severidad, activando la búsqueda solo para brechas "críticas" o "importantes". Decide la modalidad (imagen vs. texto web) para cada consulta.
2. Filter (Filtro): Tras recuperar los resultados, el razonador selecciona las referencias que llenan específicamente la brecha identificada, minimizando el contenido extra (p. ej., filtrando imágenes completas para extraer solo las características visuales necesarias).
3. Integrate (Integración): En lugar de pasar imágenes puras directamente, el razonador convierte las referencias visuales en citas de lenguaje natural fundamentadas (p. ej., "renderiza el personaje con una túnica verde azulado y oro siguiendo la Imagen I"). Esto preserva el conocimiento faltante mientras descarta el ruido a nivel de píxel que causa filtración de estilo o mezcla de identidad.

2.3 Marco de co-entrenamiento: "Enseñar, luego buscar"

Los autores definen el Límite del Conocimiento $B(\theta)$ como la partición entre el conocimiento interiorizable ($K_{int}$) y el conocimiento contextual ($K_{ctx}$). Este límite es específico del generador y se desplaza a medida que el modelo mejora. Proponen un bucle de co-entrenamiento de dos fases para descubrir este límite:

• Fase 1: Teach (Enseñar - DPO iterativo online)
  El generador visual es entrenado con entradas aumentadas por búsqueda utilizando Optimización de Preferencia Directa (DPO). El generador toma múltiples muestras de imágenes por prompt, y los pares de preferencia se construyen basados en puntuaciones de calidad. Esta fase sirve a dos propósitos:

  1. Interiorización: Empuja el límite hacia afuera, permitiendo que el generador interiorice conocimiento visual estable que antes requería búsqueda.
  2. Robustez al ruido: Al entrenar con entradas imperfectas aumentadas por búsqueda, el generador aprende a incorporar referencias sin ser dominado por su ruido.

• Fase 2: Search (Buscar - Ajuste fino por muestreo de rechazo)
  Una vez que el límite del generador se ha desplazado, el razonador se recalibra. Utilizando el Ajuste Fino por Muestreo de Rechazo (RFT), el razonador es entrenado en trayectorias donde la política de búsqueda mejoró el resultado (ventaja positiva) frente a aquellas donde lo degradó. El razonador aprende a abstenerse de buscar conceptos que el generador ya ha interiorizado, "moviendo efectivamente la política de búsqueda hacia adentro" para coincidir con el nuevo límite.

3. Resultados clave

El artículo valida el marco en dos generadores de pesos abiertos (Flux.2-Klein-4B y Bagel-7B) utilizando SEARCHGEN-BENCH.

• Mejora monotónica: La progresión de No Search $\to$ Blind Search (razonador SFT) $\to$ Generator-Adaptive Search (razonador RFT) produce ganancias consistentes y monotónicas en todos los niveles de dificultad.
• Selectividad: El razonador calibrado recupera con éxito el rendimiento en prompts que no requieren búsqueda (estrato NoSearch), donde la búsqueda ingenua previamente causaba degradación. Por ejemplo, en el conjunto NoSearch, el razonador adaptativo mejoró las puntuaciones de 49.9 (línea base de No Search) a 56.9, mientras que la Blind Search redujo las puntuaciones a 60.4.
• Especificidad del generador: La política de búsqueda óptima es específica para la capacidad actual del generador. Un razonador calibrado para un generador fortalecido por DPO funciona significativamente peor cuando se empareja con el generador base, confirmando que el límite es una propiedad conjunta del par.
• Brechas de rendimiento:
  • Los generadores abiertos con búsqueda ingenua colapsan a ~22–28/100 en prompts intensivos en búsqueda.
  • El sistema co-entrenado (razonador de 8B + generador de 4B) alcanza 31.8/100, superando ligeramente a un oráculo de frontera (Gemini-3-Flash) emparejado con el mismo generador (31.2/100).
  • Aunque todavía por debajo de los sistemas comerciales con búsqueda integrada (p. ej., GPT-Image-2 con 71.2), el marco demuestra que un agente pequeño y co-entrenado puede acercarse al rendimiento de razonadores mucho más grandes y genéricos.

4. Significado y afirmaciones

El artículo afirma que el desafío central en la generación visual agéntica no es simplemente recuperar información, sino saber lo que uno no sabe.

• Límite descubrible: El límite del conocimiento no es una propiedad fija de la distribución de prompts, sino una cantidad dinámica y descubrible que se desplaza con el entrenamiento del generador.
• Necesidad de co-entrenamiento: Los autores argumentan que las políticas de búsqueda no pueden optimizarse contra un generador fijo; el generador debe ser enseñado a interiorizar el conocimiento primero, y luego el razonador debe recalibrarse para el nuevo límite.
• Receta minimalista: El marco valida que una "receta minimalista" (un paso de DPO, un paso de RFT, un razonador de 8B y un generador de 4B) es suficiente para establecer este bucle de automejora.
• Escalabilidad: El trabajo sugiere que, si bien los modelos más grandes pueden interiorizar más conocimiento, el límite nunca desaparecerá debido a la naturaleza infinita del mundo real. El co-entrenamiento proporciona un mecanismo para adaptar continuamente la política de búsqueda a la capacidad evolutiva del generador.

Los autores liberan el conjunto de datos completo, el corpus de co-entrenamiento y el corpus de búsqueda para servir como un "arnés reproducible" para futuras investigaciones en la generación visual fundamentada en el conocimiento del mundo y aumentada por herramientas.