🤖 AI

SearchMaster: Grounded and Regulated Self-Play for Search Agents

SearchMaster es un marco de autoaprendizaje que entrena agentes de búsqueda basados en LLM mediante la generación y resolución de tareas en un entorno local, utilizando un Generador de Cadenas de Evidencia, una Recompensa de Profundidad de Búsqueda y una Penalización por Apertura Excesiva para asegurar datos de alta calidad y fundamentados que mejoran significamente el rendimiento en evaluaciones de búsqueda profunda sin depender de ejemplos etiquetados por humanos.

Autores originales: Wentao Tan, Qiong Cao, Jiaqi Wang, Nan Duan

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Wentao Tan, Qiong Cao, Jiaqi Wang, Nan Duan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo charlan, sino que realmente salen a explorar el internet para encontrar respuestas, de forma muy parecida a un detective que busca pistas en una biblioteca. Este es el reino de los "agentes de búsqueda", programas inteligentes construidos sobre Modelos de Lenguaje Extensos (LLM) que pueden leer páginas web, hacer clic en enlaces y unir información para resolver acertijos complejos. Durante mucho tiempo, enseñar a estos detectives digitales a hacer bien su trabajo fue un dolor de cabeza. Normalmente requería de costosos profesores humanos para escribir ejemplos perfectos de cómo buscar, o incluso modelos de IA más fuertes para mostrar el camino. Pero, ¿qué pasaría si la IA pudiera enseñarse a sí misma? Ese es el sueño del "auto-juego" (self-play), un concepto donde una IA genera sus propios desafíos y aprende resolviéndolos. Es como un personaje de un videojuego que crea sus propios niveles y luego los juega para mejorar. La gran pregunta, sin embargo, es: ¿qué pasa si la IA toma atajos? ¿Qué pasa si crea un rompecabezas que parece difícil pero que en realidad es un truco, o si resuelve un problema pasando por encima de la superficie en lugar de profundizar? Este artículo aborda exactamente ese problema, preguntándose cómo podemos entrenar a estos agentes de búsqueda para que sean honestos, minuciosos y verdaderamente inteligentes sin necesidad de una mano humana que guíe cada uno de sus pasos.

Presentamos SearchMaster, un nuevo y astuto marco de trabajo diseñado para solucionar el problema de "tomar atajos" en el auto-juego de la IA. Piensa en SearchMaster como un entrenador estricto pero justo para un equipo de detectives de IA. En lugar de dejar que la IA deambule sin rumbo, SearchMaster le da tres reglas específicas que debe seguir, asegurando que los datos de entrenamiento que crea sean realmente útiles.

Primero, la IA tiene que construir una Cadena de Evidencia. Imagina que la IA está tratando de resolver un misterio. En lugar de simplemente adivinar la respuesta tras leer una sola página, debe vincular físicamente las pistas de diferentes documentos, como si conectara puntos en un mapa. Si no puede mostrar un camino claro de evidencia de un documento a otro, la tarea es rechazada. Esto evita que la IA invente preguntas "falsas" que difíciles que en realidad podrían responderse con un solo vistazo rápido.

Segundo, la IA recibe una Recompensa de Profundidad de Búsqueda. En el pasado, si una IA resolvía un problema, recibía una estrella dorada, sin importar cuánto se esforzara. SearchMaster cambia las reglas del juego: la IA solo recibe una gran recompancia si realmente tuvo que profundizar. Si la IA resuelve un rompecabezas simplemente escaneando una sola página, recibe una puntuación baja. Pero si tiene que buscar a través de muchas páginas para encontrar la respuesta, es elogiada. Esto la incentiva a crear y resolver tareas que requieran una investigación real de múltiples pasos en lugar de una suposición superficial.

Tercero, existe una Penalización por Apertura Excesiva. A veces, una IA podría ser ineficiente o estar confundida y simplemente abrir un millón de documentos sin leerlos realmente, con la esperanza de tropezar con la respuesta. SearchMaster castiga este comportamiento. Es como un entrenador diciendo: "No puedes simplemente abrir todas las puertas de la casa; tienes que buscar la llave correcta". Esto obliga a la IA a ser eficiente, abriendo documentos solo cuando realmente necesita nueva información.

Los resultados de este entrenamiento estricto son impresionantes. Cuando los investigadores probaron su método en un modelo de IA estándar (específicamente un núcleo Qwen3.5-9B), la capacidad del modelo para resolver problemas de búsqueda profunda saltó del 38.19% al 51.52% en promedio. En una prueba particularmente difícil llamada BrowseComp-Plus, la mejora fue masiva, aumentando en 30.1 puntos (del 30.12% al 60.24%). ¿Lo mejor de todo? La IA aprendió todo esto por sí misma, utilizando un entorno de búsqueda local sin ningún ejemplo escrito por humanos ni demostraciones de expertos. Al fundamentar el aprendizaje de la IA en cadenas de evidencia reales y regular su comportamiento, SearchMaster demuestra que la IA puede enseñarse a sí misma a ser un detective mucho mejor, siempre y cuando se le enseñe a jugar bajo las reglas.

Resumen Técnico: SearchMaster

Declaración del Problema

El entrenamiento de agentes de búsqueda basados en Grandes Modelos de Lenguaje (LLM) requiere datos de alta calidad que presenten tareas de recuperación de múltiples saltos (multi-hop) genuinas y trayectorias que utilicen eficazmente las herramientas de búsqueda. Los pipelines existentes suelen depender de la anotación humana costosa, demostraciones de expertos o modelos maestros más fuertes para generar estos datos. Si bien el auto-juego (self-play) ofrece una solución potencial para generar datos de forma autónoma, los métodos actuales de auto-juego para agentes de búsqueda sufren de modos de fallo distintivos:

Preguntas de Pseudo Multi-salto: Los modelos pueden generar preguntas que parecen complejas pero que son contestables desde un solo documento o desde el texto semilla, fallando en requerir evidencia de documentos cruzados.
Señales de Dificultad Engañosas: Depender únicamente de las tasas de éxito de la ejecución (rollout) para estimar la dificultad de la tarea suele fallar al distinguir entre tareas de búsqueda superficial y aquellas que requieren una búsqueda profunda y de múltiples pasos.
Deriva por Apertura Excesiva (Over-Opening Drift): Los modelos pueden depender excesivamente de la herramienta open, revisitando documentos ya vistos en lugar de adquirir evidencia nueva y dirigida, lo que conduce a trayectorias de navegación largas pero superficiales.

El desafío central no es simplemente generar más datos, sino estabilizar el bucle de auto-juego para asegurar que las señales de entrenamiento refuercen las tareas fundamentadas en evidencia, la búsqueda de múltiples pasos y el uso eficiente de herramientas.

Metodología: Marco de Trabajo SearchMaster

SearchMaster es un marco de auto-juego fundamentado y regulado que entrena una única política de LLM ( $\pi_\theta$ ) que actúa tanto como Propositor (generador de tareas) como Solucionador (respondedor de tareas) dentro de un entorno de búsqueda local. Una copia congelada del modelo inicial sirve como Verificador. El marco emplea tres mecanismos específicos para abordar los modos de fallo del auto-juego estándar:

1. Generador de Cadenas de Evidencia (ECG)

Para prevenir las preguntas de pseudo multi-salto, se requiere que el Propositor construya explícitamente una cadena de evidencia de documentos cruzados durante la exploración.

Proceso: Partiendo de un documento semilla, el Propositor selecciona iterativamente entidades/hechos, busca documentos conectados y extiende la cadena ( $c_j = e_{j,1} \to \dots \to e_{j,n}$ ).
Restricción: La pregunta final ( $q_j$ ) se deriva estrictamente de esta cadena completa, con requisitos explícitos de que la respuesta no puede encontrarse en un solo documento.
Filtrado: Los candidatos pasan por cuatro filtros (uso de herramientas, formato, validez y conocimiento paramétrico) para asegurar que la pregunta sea válida, esté respaldada por la cadena y no pueda ser respondida sin herramientas.

2. Recompensa de Profundidad de Búsqueda (SDR)

Para abordar la limitación de la estimación de dificultad basada en la tasa de éxito, SearchMaster recompensa las tareas basándose en la profundidad de búsqueda de las ejecuciones exitosas, en lugar de solo en el resultado binario de éxito.

Métrica: La dificultad de la tarea se califica mediante la profundidad de búsqueda mínima ( $h_{min}$ ) entre todas las ejecuciones exitosas del Solucionador. Si una tarea puede resolverse con una búsqueda superficial, recibe una recompensa menor, evitando que el modelo aprenda tareas de "atajo".
Función: La recompensa se satura en una profundidad objetivo ( $H_{sdr}$ ), asegurando que se favorezcan las tareas que requieren una profundidad de búsqueda no trivial sin recompensar búsquedas arbitrariamente largas.

3. Penalización por Apertura Excesiva (OOP)

Para regular el uso de herramientas y prevenir la apertura redundante de documentos, se aplica una OOP tanto a las recompensas del Propositor como del Solucionador.

Mecanismo: La penalización se calcula basándose en la relación entre las acciones de open y las acciones de search ( $\rho_{oop}$ ). Penaliza las trayectorias donde el número de aperturas excede significativamente al número de búsquedas, desalentando la revisión de documentos ya vistos mientras permite la exploración legítima de múltiples documentos.
Aplicación: La penalización se resta de la recompensa base para ambos roles, ya que comparten la misma política.

Optimización

El marco utiliza la Optimización de Política Relativa de Grupo (GRPO).

Flujo de Datos: Para cada documento semilla, el Propositor genera $K_P$ tareas candidatas. Las tareas que pasan son resueltas por el Solucionador ( $K_S$ ejecuciones).
Selección: Solo se retienen las ejecuciones del Solucionador para la tarea de mayor recompensa que haya pasado los filtros; todas las ejecuciones del Propositor se retienen para el grupo del Propositor.
Actualización: La política compartida se actualiza conjuntamente utilizando ventajas a nivel de token derivadas de las recompensas normalizadas, que incluyen los componentes SDR y OOP.

Contribuciones Clave

Formulación de Auto-juego Fundamentado: El artículo formula el auto-juego de agentes de búsqueda como un problema de fundamentar y regular la supervisión autogenerada, convirtiendo un bucle potencialmente ruidoso en un mecanismo de entrenamiento fiable.
Mecanismo de Control de Tres Partes: La introducción de ECG, SDR y OOP aborda explícitamente los modos de fallo específicos del auto-juego de búsqueda (pseudo multi-salto, estimación de dificultad superficial y mal uso de herramientas).
Entrenamiento Libre de Humanos: El marco demuestra que se pueden generar y utilizar datos de entrenamiento efectivos para agentes de búsqueda sin pares de QA etiquetados por humanos o demostraciones de expertos, basándose únicamente en un entorno de búsqueda local.

Resultados Experimentales

Los autores evaluaron SearchMaster utilizando un núcleo Qwen3.5-9B a través de seis benchmarks de búsqueda profunda.

Ganancia de Rendimiento: El marco mejoró la precisión promedio del 38.19% al 51.52% (+13.3 puntos).
Benchmark Específico: En el benchmark BrowseComp-Plus, el modelo logró una ganancia de 30.1 puntos, subiendo del 30.12% al 60.24%.
Eficiencia de Datos: Estos resultados se lograron utilizando solo 1,280 documentos semilla calificados generados a lo largo de 20 iteraciones, sin datos humanos externos.

Significancia y Reclamaciones

El artículo afirma que SearchMaster proporciona una solución escalable para entrenar agentes de búsqueda al estabilizar el bucle de auto-juego. Al hacer que la construcción de evidencia, la dificultad de la tarea (vía profundidad de búsqueda) y el equilibrio del uso de herramientas sean partes explícitas del objetivo de entrenamiento, el marco permite la "auto-evolución" de los agentes de búsqueda. Los resultados sugieren que el auto-juego fundamentado y regulado puede producir datos de entrenamiento de alta calidad que rivalizan con los métodos dependientes de la anotación humana o de modelos maestros más fuertes, mejorando significamente la capacidad del modelo para realizar una recuperación de múltiples saltos genuina y un uso eficiente de herramientas.