Resumen Técnico: Search-E1

Enunciado del Problema

Aunque los modelos de lenguaje grandes (LLM) han logrado capacidades de razonamiento sólidas, siguen limitados por el conocimiento de preentrenamiento y no pueden incorporar información que surge después del entrenamiento. Los agentes de razonamiento aumentados con búsqueda abordan esto intercalando el razonamiento interno con llamadas de recuperación externa. Sin embargo, las pipelines de postentrenamiento actuales para estos agentes dependen del aprendizaje por refuerzo (RL) a nivel de resultado, típicamente utilizando la Optimización de Política Relativa por Grupos (GRPO) con una recompensa basada únicamente en la corrección de la respuesta final.

Esta supervisión a nivel de trayectoria crea una limitación crítica: cada token en una trayectoria recibe la misma señal de gradiente, independientemente de si una consulta de búsqueda específica estaba bien formulada o era redundante. Para superar esto, trabajos recientes han introducido maquinaria elaborada, que incluye:

• Supervisión Externa: Destilar subpreguntas de docentes más fuertes (por ejemplo, modelos de 72B) o derivar recompensas paso a paso a partir de anotaciones de modelos como GPT-4o.
• Módulos Auxiliares: Adjuntar modelos de recompensa de proceso, críticos retrospectivos o estimadores intrínsecos que requieren fases de entrenamiento separadas o suposiciones restrictivas.
• Cambios Estructurales: Reestructurar las trayectorias mediante búsqueda en árbol o currículos de múltiples etapas.
• Recompensas Diseñadas a Mano: Ajustar bonificaciones y penalizaciones para pasos de recuperación específicos.

Aunque estos métodos generan mejoras, inflan la pipeline de entrenamiento y atan la receta a recursos o diseños que pueden no estar universalmente disponibles. El artículo pregunta si tal maquinaria es necesaria y propone un método para lograr supervisión paso a paso utilizando únicamente los datos de la propia política.

Metodología: Search-E1

Search-E1 es una pipeline de autoevolución que alterna entre GRPO estándar y Auto-Distilación Offline (OFSD). No requiere docente externo, ni módulos auxiliares, ni anotaciones más allá de los pares estándar pregunta-respuesta.

1. La Ronda GRPO (Exploración)

La pipeline comienza con una ronda GRPO estándar utilizando una recompensa de resultado de coincidencia exacta.

• Para cada pregunta $q$, se muestrea un grupo de $G$ trayectorias de la política actual $\pi_{\theta}$.
• Se asignan recompensas basadas en la corrección de la respuesta final.
• La política se actualiza utilizando la pérdida GRPO estándar, donde la ventaja se comparte entre todos los tokens en una trayectoria. Esta etapa explora el espacio de trayectorias pero carece de señales densas paso a paso.

2. La Ronda OFSD (Consolidación)

Después de que una ronda GRPO converge, la política realiza un paso de auto-distilación offline para extraer señales densas a nivel de token de sus propias trayectorias.

• Minería de Pares: Del grupo de trayectorias de la política convergida, se construyen pares de trayectorias $(\tau_{ref}, \tau_{stu})$ para cada pregunta.
  • Referencia ($\tau_{ref}$): La trayectoria correcta ($R=1$) con la menor cantidad de llamadas de recuperación.
  • Estudiante ($\tau_{stu}$): Una trayectoria incorrecta ($R=0$) que difiere máximamente de la referencia, o la trayectoria correcta más distinta si no existe un hermano incorrecto.
• Condicionamiento Asimétrico: Los mismos parámetros de política $\theta$ actúan como docente y estudiante pero operan bajo diferentes prompts:
  • Estudiante: Condicionado al prompt de inferencia estándar $P_S(q) = [\text{instrucción}] \parallel q$.
  • Docente: Condicionado a un prompt privilegiado $P_T(q, \tau_{ref}) = [\text{instrucción}] \parallel q \parallel \tau_{ref}$, que expone la trayectoria de referencia eficiente como una guía experta.
• Objetivo KL Forward a Nivel de Token: El estudiante se entrena para alinear su distribución en tiempo de inferencia con la distribución del docente bajo el contexto privilegiado.
  • La pérdida se calcula sobre las posiciones generadas por la política (excluyendo el texto recuperado).
  • Un mecanismo de recorte punto a punto ($\tau_{clip}$) limita la contribución de tokens de alta divergencia para evitar la dominación del gradiente por valores atípicos raros.
  • El objetivo es: $L_{OFSD} = \frac{1}{|R_\tau|} \sum_{p \in R_\tau} \sum_{v} \min(P^{tch}_p(v) \cdot \log \frac{P^{tch}_p(v)}{P^{stu}_p(v)}, \tau_{clip})$.
• Implementación: OFSD se realiza mediante un adaptador LoRA adjunto al punto de control GRPO. El paso de docente utiliza los pesos base congelados, mientras que el paso de estudiante utiliza los pesos LoRA activos.

3. El Bucle Alternado

La pipeline itera:

1. Ronda GRPO: Actualiza la política mediante RL a nivel de resultado.
2. Ronda OFSD: Extrae pares de las trayectorias de la política actualizada y entrena un adaptador LoRA para minimizar la divergencia KL, fusionando el adaptador de nuevo en los pesos base.
   Este ciclo se repite, con cada iteración proporcionando ganancias positivas hasta que el modelo se acerca al techo de capacidad del núcleo.

Contribuciones Clave

1. Pipeline Search-E1: Un marco de autoevolución que alterna GRPO vanilla con auto-distilación offline, eliminando la necesidad de docentes externos, módulos auxiliares o anotaciones no estándar.
2. Objetivo OFSD: Un mecanismo de auto-distilación offline emparejado donde la política sirve como docente y estudiante bajo diferentes contextos de condicionamiento. Utiliza un KL forward a nivel de token con recorte punto a punto para proporcionar supervisión densa paso a paso derivada enteramente de las trayectorias GRPO de la propia política.
3. Rendimiento Empírico: Demostrado en siete benchmarks de preguntas y respuestas (tanto de un solo salto como de múltiples saltos), Search-E1 logra resultados de vanguardia entre métodos de código abierto sin supervisión externa.

Resultados Experimentales

El método se evaluó en siete benchmarks de preguntas y respuestas utilizando Qwen2.5-3B-Instruct y Qwen2.5-7B-Instruct.

• Rendimiento General: Search-E1 logró una Coincidencia Exacta (EM) promedio de 0.440 con el modelo de 3B, superando a todos los baselines de código abierto a esa escala.
• Comparación con Baselines de Recompensa de Resultado: Superó al baseline de recompensa de resultado más fuerte (AutoRefine-Base) en 3.5 puntos de promedio. Las ganancias fueron particularmente pronunciadas en conjuntos de datos de múltiples saltos (por ejemplo, +12.0 en Bamboogle, +6.6 en 2Wiki), lo que sugiere que la alineación paso a paso es más beneficiosa cuando las trayectorias involucran cadenas de búsqueda complejas y de múltiples pasos.
• Comparación con Baselines de Supervisión de Proceso: Search-E1 superó a los métodos que dependen de anotaciones externas (StepSearch) y agrupación basada en estados (GiGPO) en seis de los siete benchmarks.
  • Superó a StepSearch en los cuatro benchmarks de múltiples saltos sin utilizar anotaciones de GPT-4o.
  • Superó a GiGPO en 2Wiki, MuSiQue y HotpotQA. La única excepción fue Bamboogle, lo cual los autores atribuyen al pequeño tamaño de la división de prueba y a la naturaleza específica de las consultas de entidad puente que favorecen la agrupación de estado ancla de GiGPO.
• Ablación: Los resultados confirman que el bucle alternado de GRPO y OFSD genera ganancias positivas consistentes, siendo la señal suficiente para cerrar e invertir la brecha de rendimiento típicamente observada entre las variantes de modelos "Base" e "Instruct" en configuraciones de RL.

Significado y Afirmaciones

El artículo afirma que Search-E1 demuestra que la maquinaria externa elaborada no es estrictamente necesaria para mejorar el razonamiento aumentado con búsqueda. Al aprovechar el contraste entre trayectorias hermanos generadas durante el entrenamiento GRPO estándar, el método proporciona naturalmente supervisión densa paso a paso.

• Simplicidad: El enfoque se basa en GRPO "vanilla" y un objetivo de auto-distilación, evitando la complejidad de entrenar modelos de recompensa separados, críticos o destilar de docentes más grandes.
• Eficiencia de Recursos: Elimina la dependencia de sistemas externos (como GPT-4o) o estructuras de trayectoria específicas (como búsqueda en árbol), haciendo la receta más accesible y robusta.
• Generalizabilidad: Las ganancias son consistentes en tareas de un solo salto y múltiples saltos, con las mejoras más significativas ocurriendo en escenarios donde la calidad de la decisión paso a paso es crítica (razonamiento de múltiples saltos).

Los autores concluyen que la receta alternada de exploración (GRPO) y consolidación (OFSD) es un camino viable para la autoevolución en agentes aumentados con búsqueda, ofreciendo una alternativa más simple a las pipelines cada vez más complejas en el campo. Se sugiere trabajo futuro para explorar contextos privilegiados más ricos (por ejemplo, múltiples hermanos correctos) y cronogramas de autoevolución más largos.