💬 NLP

SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning

SD-Search introduce un marco de auto-distilación retrospectiva en política que permite a los agentes de razonamiento aumentados con búsqueda generar señales de supervisión a nivel de paso internamente mediante el entrenamiento de un modelo estudiante para imitar a un profesor condicionado retrospectivamente, superando así las limitaciones de asignación de crédito del aprendizaje por refuerzo con recompensa de resultado sin requerir profesores externos ni anotaciones adicionales.

Autores originales: Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante a resolver un misterio complejo. El estudiante tiene una biblioteca (internet) que puede buscar, pero no sabe qué preguntarle al bibliotecario.

En el estado actual de la investigación en IA, la mayoría de los métodos de entrenamiento son como un profesor que solo califica al estudiante por la respuesta final.

El Problema: Si el estudiante obtiene la respuesta correcta, el profesor dice: "¡Buen trabajo!". Pero si el estudiante tuvo suerte con una mala pregunta y una respuesta afortunada, el profesor sigue diciendo "¡Buen trabajo!". El estudiante nunca aprende que su pregunta específica fue en realidad terrible. Solo sabe que el resultado fue bueno. Esto se llama "Recompensa por Resultado".
El Arreglo Antiguo: Algunos investigadores intentaron solucionar esto contratando a un "Detective Maestro" superinteligente y costoso (una IA externa masiva) para que vigile al estudiante y diga: "Esa fue una buena pregunta", o "Esa fue una mala". Esto funciona, pero es increíblemente costoso y lento porque necesitas a ese gigante Detective Maestro para cada sesión de entrenamiento individual.

SD-Search es una nueva y astuta forma de enseñar al estudiante sin necesidad del costoso Detective Maestro. Así es como funciona, usando una analogía simple:

El Aula de "Viaje en el Tiempo"

Imagina que el estudiante está tomando un examen.

El Estudiante (El "Yo" del "Ahora"): El estudiante está sentado en su escritorio, mirando la pregunta. Tiene que decidir qué buscar ahora mismo, sin saber si lo hará bien o mal. Está adivinando basándose en lo que sabe en ese momento.
El Profesor (El "Yo" del "Futuro"): Ahora, imagina al mismo estudiante, pero esta vez tiene un cuaderno mágico de viaje en el tiempo. Este cuaderno contiene los resultados de muchos intentos de la misma pregunta. Dice: "En el Intento A, preguntamos '¿Quién es el padre?' y obtuvimos la respuesta correcta. En el Intento B, preguntamos '¿Cuál es el color del cielo?' y nos equivocamos".

SD-Search utiliza este cuaderno mágico para crear una versión "Profesor" del estudiante.

El Profesor mira la pregunta y lee el cuaderno. Como el Profesor sabe qué preguntas llevaron al éxito y cuáles al fracaso, puede decir: "Ah, veo que preguntar sobre el padre fue el movimiento correcto. Yo habría preguntado eso".
Al Estudiante (que aún no tiene el cuaderno) se le pide luego que copie las elecciones del Profesor. El objetivo es hacer que las conjeturas del Estudiante coincidan con la sabiduría de "perspectiva posterior" del Profesor.

Cómo Funciona en la Práctica

El artículo llama a esto "Auto-distilación de Perspectiva Posterior en Política". Desglosemos eso:

Auto-distilación: La IA se está enseñando a sí misma. No necesita un experto externo. Genera un montón de intentos (despliegues), mira los resultados y luego utiliza los patrones "exitosos" para enseñar a la versión "estudiante" de sí misma.
Perspectiva Posterior: Mira hacia atrás a lo que sucedió después de que se tomó la decisión para juzgar si la decisión fue buena.
En Política: Hace esto utilizando sus propios datos actuales, no datos de una IA diferente y más grande.

El Enfoque en la "Consulta de Búsqueda"

El artículo se centra específicamente en las consultas de búsqueda (las preguntas que la IA le hace al motor de búsqueda).

En los métodos antiguos, si la respuesta final era correcta, cada palabra que la IA escribía (incluidas las preguntas de búsqueda) recibía una pegatina de "buen trabajo", incluso si la pregunta de búsqueda era vaga o incorrecta.
En SD-Search, la IA recibe una señal específica de "buen trabajo" o "mal trabajo" para cada pregunta de búsqueda específica. Si la pregunta de búsqueda llevó a un callejón sin salida, el Profesor (con el cuaderno de viaje en el tiempo) le muestra al Estudiante una pregunta diferente y mejor. El Estudiante aprende a imitar la pregunta mejor.

Los Resultados (El "Marcador")

Los investigadores probaron esto en siete benchmarks diferentes de respuesta a preguntas (como un examen de cultura general).

Rendimiento: Su método (SD-Search) funcionó tan bien como los métodos costosos que utilizan una IA gigante "Detective Maestro" de 72 mil millones de parámetros, y mejor que los métodos que solo miran la respuesta final.
Eficiencia: Lo hicieron sin necesidad de ayuda externa, sin APIs costosas y sin etapas de entrenamiento adicionales. Solo utilizaron el bucle de entrenamiento estándar, añadiendo un pequeño paso de "viaje en el tiempo" donde la IA revisa sus propios intentos pasados.
Escalabilidad: A medida que el modelo de IA se hizo más grande (de 3 mil millones a 7 mil millones de parámetros), este método de auto-enseñanza siguió mejorando, mientras que los métodos que dependían del "Detective Maestro" comenzaron a perder su ventaja.

En Resumen

SD-Search es como un estudiante que, después de tomar un examen, puede ver la hoja de respuestas y las notas de sus amigos que tomaron el examen al mismo tiempo. Luego, vuelve a tomar el examen, tratando de hacer exactamente las mismas preguntas que las versiones "exitosas" de sí mismo hicieron. Aprende de sus propios errores y éxitos pasados, volviéndose más inteligente sin necesitar nunca un profesor humano ni una supercomputadora para decirle qué hacer.

Resumen Técnico: SD-Search

Enunciado del Problema

Los agentes de razonamiento aumentados con búsqueda, que intercalan el razonamiento interno con llamadas de recuperación externas, dependen en gran medida de la calidad de las consultas de búsqueda individuales. Sin embargo, los enfoques estándar de aprendizaje por refuerzo (RL) para estos agentes, como la Optimización de Política Relativa por Grupos (GRPO), suelen utilizar recompensas a nivel de resultado (por ejemplo, la corrección de la respuesta final). Esta formulación asigna la misma recompensa a nivel de trayectoria a cada token en una simulación, fallando en proporcionar crédito específico por paso para las decisiones de búsqueda individuales. En consecuencia, el modelo no recibe ninguna señal que distinga una consulta bien formulada y de alto valor de una redundante o deficiente.

Los intentos recientes de abordar esto mediante supervisión de procesos (por ejemplo, Thinker, StepSearch) inyectan señales a nivel de paso dependiendo de recursos externos: ya sea un modelo instructor significativamente más grande (por ejemplo, 72B de parámetros) para descomponer problemas o anotaciones de sistemas externos más potentes (por ejemplo, GPT-4o). Estos métodos mejoran el rendimiento pero introducen costos significativos, dependencia de APIs o modelos externos, y restringen la aplicabilidad a entornos donde tales recursos están disponibles.

Metodología: SD-Search

Los autores proponen SD-Search (Auto-distilación retrospectiva en política), un marco que deriva la supervisión a nivel de paso exclusivamente de la propia política, eliminando la necesidad de instructores externos o anotaciones auxiliares. La innovación central es la auto-distilación retrospectiva en política, donde un único modelo desempeña dos roles diferenciados únicamente por su contexto de condicionamiento:

Vista del Estudiante: La política opera bajo condiciones estándar de inferencia, viendo solo el prefijo de la trayectoria disponible en el momento de la decisión.
Vista del Instructor: Los mismos parámetros de la política se condicionan en un bloque retrospectivo ( $h(G)$ ). Este bloque agrupa las trayectorias de búsqueda y las etiquetas de resultado (CORRECTO/INCORRECTO) de un grupo de simulaciones hermanas muestreadas desde la misma pregunta. Crucialmente, el instructor ve una vista "enmascarada" de estas simulaciones, reteniendo solo los segmentos de búsqueda y las etiquetas de resultado mientras descarta el razonamiento posterior, los documentos recuperados y las respuestas finales para evitar que la respuesta sea directamente extraíble.

El Objetivo de Entrenamiento

El método alinea la distribución de consultas del estudiante con la distribución del instructor en las posiciones de consulta de búsqueda ( $Q_\tau$ ) utilizando una pérdida de Divergencia Jensen-Shannon (JSD) a nivel de token.

Distribución del Instructor: Dado que el instructor conoce los resultados de todo el grupo de simulaciones, su distribución predictiva sobre los tokens de búsqueda codifica implícitamente qué consultas llevaron al éxito y cuáles no.
Alineación del Estudiante: El estudiante minimiza la JSD entre su propia distribución y la distribución del instructor en las posiciones de consulta. Esto proporciona una señal densa a nivel de paso que complementa las ventajas a nivel de trayectoria, más gruesas, de GRPO.
Integración: La pérdida total es $L_{total} = L_{GRPO} + \alpha_{SD} L_{SD}$ . El término JSD se añade como una pérdida auxiliar sin modificar el estimador de ventaja ni el proceso de muestreo de simulaciones de GRPO.

Decisiones Clave de Diseño

Enmascaramiento Futuro: El bloque retrospectivo enmascara los tokens que no son de búsqueda (PENSAR, DOCUMENTOS, RESPUESTA) para evitar que el instructor "haga trampa" al ver la respuesta en el contexto recuperado, lo que colapsaría la distribución de búsqueda.
Contraste de Resultados: El instructor se condiciona en las etiquetas de resultado binarias de las simulaciones hermanas. Este contraste permite al instructor reforzar los patrones de consulta exitosos y redistribuir la masa de probabilidad alejándola de los fallidos, incluso si la simulación específica que se supervisa termina en fracaso.
Calentamiento: Se emplea un período de calentamiento donde el coeficiente de distilación es cero, permitiendo que la política aprenda el formato estructurado de la trayectoria antes de introducir la señal de auto-distilación.

Contribuciones Clave

Marco: SD-Search es el primer marco que proporciona supervisión a nivel de paso para el razonamiento aumentado con búsqueda mediante auto-distilación retrospectiva en política, sin requerir instructor externo ni anotaciones más allá de los pares pregunta-respuesta estándar utilizados para el entrenamiento con recompensa de resultado.
Objetivo: Un objetivo novedoso de JSD a nivel de token que alinea la distribución de consultas de la política con una distribución condicionada retrospectivamente. Esto se integra perfectamente en las tuberías existentes de GRPO con solo un pase forward auxiliar y un término de pérdida.
Validación Empírica: Extensos experimentos en siete benchmarks de preguntas y respuestas de un solo salto y múltiples saltos demuestran que SD-Search iguala o supera las líneas base de supervisión de procesos que dependen de recursos externos, mientras supera a las líneas base puras de recompensa de resultado.

Resultados Experimentales

Los autores evaluaron SD-Search utilizando los cimientos Qwen2.5-3B y Qwen2.5-7B en siete benchmarks (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle).

Escala 3B: SD-Search logró una Coincidencia Exacta (EM) promedio de 0.428, superando a las líneas base más fuertes de recompensa de resultado (AutoRefine: 0.405, MR-Search: 0.414) y coincidiendo estadísticamente con la línea base líder de supervisión de procesos Thinker (0.430), a pesar de que Thinker depende de un instructor de 72B.
Escala 7B: SD-Search alcanzó una EM promedio de 0.476, superando a todas las líneas base, incluyendo Thinker (0.452) y AutoRefine (0.455).
Comportamiento de Escalado: A diferencia de Thinker, cuya ganancia de rendimiento sobre las líneas base de recompensa de resultado disminuye y eventualmente se vuelve negativa a medida que aumenta el tamaño del modelo (debido a que el instructor externo fijo se convierte en un cuello de botella), las ganancias de SD-Search permanecen positivas en todas las escalas (de 1.5B a 14B). Esto sugiere que el método escala con la propia capacidad de lectura en contexto del estudiante.
Eficiencia: El método incurre en una sobrecarga de entrenamiento de extremo a extremo del 15.5% (medida en 8×GPUs H800) en comparación con las líneas base de recompensa de resultado. Esta sobrecarga se contiene enteramente dentro del bucle estándar de RL, evitando los masivos costos de inferencia de modelos instructor de 72B o tuberías de anotación GPT-4o requeridos por métodos competidores.

Significado y Afirmaciones

El artículo afirma que la señal a nivel de paso obtenida tradicionalmente de fuentes externas puede ser recuperada de la propia política mediante el condicionamiento retrospectivo. Al aprovechar el contraste entre simulaciones exitosas y fallidas dentro de un único grupo de entrenamiento, la política aprende a identificar decisiones de búsqueda de alta calidad sin supervisión externa.

Los autores posicionan a SD-Search como una alternativa más accesible y escalable a la supervisión de procesos. Elimina la dependencia de modelos o APIs externos costosos, haciendo viable la supervisión de alta calidad a nivel de paso para practicantes con recursos limitados. Además, los resultados sugieren que el "instructor" en la auto-distilación no necesita ser un modelo separado y más grande; más bien, la misma política, cuando tiene acceso a los resultados de sus propias exploraciones, posee información suficiente para guiar su propia estrategia de búsqueda de manera efectiva.

Limitaciones: Los autores señalan que el método depende actualmente de etiquetas de resultado binarias derivadas de respuestas de oro, restringiéndolo a tareas con referencias puntuables. Además, la efectividad del contraste retrospectivo puede degradarse en escenarios donde todo el grupo de simulaciones comparte el mismo resultado (todos exitosos o todos fallidos), aunque esto es menos frecuente en escalas más pequeñas.