🤖 AI

Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents?

Este artículo revela que la Auto-destilación Aumentada por Retroalimentación a menudo falla en agentes de búsqueda con intercalado de recuperación debido a un fenómeno de "colapso de decodificación" y señales de supervisión inconsistentes, lo cual puede mitigarse eficazmente empleando un profesor de Media Móvil Exponencial (EMA) para estabilizar el proceso de aprendizaje.

Autores originales: Fan Yang, Rui Meng, Yuxin Wen

Publicado 2026-07-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fan Yang, Rui Meng, Yuxin Wen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot muy inteligente, pero ligeramente confundido, cómo resolver un misterio. El robot tiene un superpoder: puede pedir ayuda a un bibliotecario cada vez que se queda atascado. Este es el mundo de los "agentes de búsqueda": programas informáticos que piensan, hacen preguntas y buscan respuestas en una gigantesca biblioteca de texto para resolver problemas. Normalmente, para enseñar a estos robots, usamos un robot "maestro" que ya es un experto. El robot estudiante observa al maestro, copia sus movimientos e intenta mejorar. Pero, ¿qué pasa si no tenemos un maestro súper experto? ¿Qué pasa si el único maestro que tenemos es el propio robot estudiante, mirando hacia sus propios intentos pasados? Esto se llama "autodestilación". Es como un estudiante que intenta aprender de su propia tarea, con la esperanza de que, si recuerda cómo resolvió un problema correctamente una vez, pueda hacerlo de nuevo sin ayuda. Los científicos están muy entusiasmados con esto porque podría permitir que los robots aprendan de sus propios errores y éxitos sin necesidad de que un humano califique cada paso. Pero, ¿funciona realmente este truco cuando el robot tiene que buscar información en el camino? Esa es la gran pregunta que aborda este artículo.

Los investigadores en este estudio decidieron probar una versión específica de esta idea llamada "Autodestilación Aumentada por Retroalimentación" (FA-SD). Prepararon un experimento donde su agente de IA, un robot llamado Qwen, intentaba resolver preguntas complicadas buscando en internet. La idea era simple: si el robot acertaba una pregunta en un intento, le mostrarían ese intento exitoso de nuevo al robot como una "pista" o "retroalimentación" para ayudarlo a resolver la misma pregunta otra vez. Esperaban que esto actuara como un supermaestro, guiando al robot para que tomara mejores decisiones. Sin embargo, los resultados fueron sorprendentes y un poco decepcionantes. En lugar de volverse más inteligente, el robot empezó a fallar de una manera muy específica y extraña.

El equipo descubrió que el robot no estaba aprendiendo realmente a pensar mejor. En su lugar, cayó en una trampa que llaman "colapso de decodificación". Imagina a un estudiante haciendo un examen que, en lugar de leer la pregunta, simplemente memoriza la forma de la hoja de respuestas. Escribe los mismos párrafos elegantes y consultas de búsqueda una y otra vez, independientemente de cuál sea la pregunta real. Para un observador externo, las respuestas parecen diferentes y complejas, pero en realidad están vacías de significado real. El robot estaba haciendo exactamente esto. Encontró una "plantilla" de cómo parecer que estaba buscando y pensando, y simplemente repitió esa plantilla. Debido a que el robot solo estaba copiando un patrón en lugar de comprender verdaderamente la pregunta, la señal del "maestro" que intentaba aprender se volvió inútil. Las matemáticas utilizadas para enseñar al robot (llamada divergencia KL) no podían distinguir entre una respuesta inteligente y una falsa, por lo que el robot no mejoró.

Los investigadores también descubrieron que el problema no era que el robot "maestro" fuera demasiado débil. De hecho, cuando le daban la "pista" al robot (el intento exitoso pasado) en su instrucción, este podía resolver el problema mucho mejor que cuando se le dejaba solo. El problema era que el robot no podía "internalizar" o absorber esa habilidad. Era como un estudiante que podría sacar un sobresaliente en un examen si tuviera la clave de respuestas frente a él, pero fallaría por completo cuando le quitaran la clave. El robot no podía traducir la "pista" en una habilidad permanente.

Para solucionar esto, el equipo intentó hacer al "maestro" más estable. Se dieron cuenta de que, debido a que el robot estaba aprendiendo y cambiando cada segundo, la versión "maestra" de sí mismo también estaba cambiando, lo que hacía que las lecciones fueran confusas. Probaron dos soluciones: una donde el maestro estaba congelado en el tiempo (una "referencia fija") y otra donde el maestro era un "promedio" de los yoes pasados del robot (llamada "Promedio Móvil Exponencial" o EMA). El maestro "congelado" ayudó un poco, pero el maestro "promedio" fue el verdadero héroo. Al suavizar los cambios, el maestro EMA le dio al robot una guía constante y estable. Esto permitió que el robot se recuperara de sus fallos anteriores y realmente aprendiera. Al final, el robot que utilizaba el maestro EMA obtuvo un promedio de 0.206 en siete pruebas diferentes, lo que supuso un gran salto desde su puntuación inicial de 0.114.

Sin embargo, el artículo también advierte que este truco de la "pista" no funciona para todos. Cuando intentaron usar esta misma idea de "retroalimentación" con un robot maestro externo y poderoso (uno que no era el propio estudiante), en realidad empeoró las cosas. Parece que añadir pistas extra a un maestro que ya es fuerte solo crea confusión. El estudio sugiere que, si bien la autoenseñanza es una idea poderosa, es muy frágil. Si el robot empieza a copiar plantillas en lugar de pensar, todo el sistema se rompe. Pero con el tipo de guía constante y adecuada, como el maestro EMA, es posible ayudar a estos agentes de búsqueda a aprender a pensar por sí mismos, incluso si comienzan simplemente fingiendo saber la respuesta.

Resumen Técnico: Por qué la Auto-destilación Aumentada por Retroalimentación falla en Agentes de Búsqueda con Intercalado de Recuperación

Declaración del Problema

Los agentes de búsqueda con intercalado de recuperación, que alternan entre el razonamiento y el uso de herramientas externas (búsqueda), enfrentan desafíos en su entrenamiento debido a la escasez de recompensas a nivel de resultado. Aunque se ha propuesto el Aprendizaje por Refuerzo (RL) y señales de supervisión densas (por ejemplo, recompensas de proceso), la Auto-destilación On-Policy (OPSD) ofrece una alternativa prometedora al utilizar un único Modelo de Lenguaje Grande (LLM) tanto como estudiante como profesor. En la OPSD, el profesor está condicionado por "información privilegiada" (como ejecuciones exitosas) para proporcionar una supervisión densa a nivel de token al estudiante no condicionado.

Sin embargo, no está claro si este paradigma se extiende de manera efectiva a los agentes con intercalado de recuperación. A diferencia del modelado de lenguaje estándar, los agentes de búsqueda generan trayectorias donde las acciones del modelo determinan las observaciones recuperadas subsiguientes (salidas del entorno), lo que crea un desajuste entre la destilación de tokens estándar y las decisiones de búsqueda de largo horizonte necesarias para una recuperación efectiva. Este artículo investiga si la Auto-destilación Aumentada por Retroalimentación (FA-SD) —que utiliza ejecuciones exitosas como demostraciones privilegiadas para condicionar al auto-profesor— puede proporcionar una supervisión fiable para estos agentes.

Metodología

1. Auto-destilación Aumentada por Retroalimentación (FA-SD)

Los autores instancian la FA-SD para agentes de búsqueda. El proceso implica:

Generación de Ejecuciones (Rollout Generation): Muestreo de un grupo de trayectorias para una pregunta dada.
Retroalimentación Privilegiada: Si existe una trayectoria exitosa dentro del grupo, esta se utiliza como retroalimentación ( $f$ ) para aumentar el prompt del "auto-profesor".
Objetivo de Destilación: La política estudiante no condicionada ( $\pi_\theta$ ) se entrena para coincidir con la distribución de tokens del auto-profesor aumentado por retroalimentación ( $\pi_\theta(\cdot | x, f)$ ). La función de pérdida minimiza la divergencia (por ejemplo, la divergencia KL) entre el estudiante y el auto-profesor con parada de gradiente (stop-gradient), enmascarando las observaciones recuperadas y centrándose en los tokens generados por el asistente.

2. Diagnóstico de Modos de Fallo

Para entender por qué falla la FA-SD, los autores descomponen la inestabilidad de la señal de supervisión en dos componentes:

Inconsistencia del Modelo: El auto-profesor y el estudiante comparten los mismos parámetros actualizados continuamente, lo que causa que el objetivo del profesor derive durante el entrenamiento.
Inconsistencia del Prompt: El profesor está condicionado por demostraciones de retroalimentación, mientras que el estudiante no lo está. Esto crea un desajuste de distribución que puede no transferirse limpiamente.

3. Mitigaciones Propuestas

Para abordar la Inconsistencia del Modelo, los autores evalúan dos estrategias de regularización para el auto-profesor:

Profesor de Referencia Fijo: El profesor se congela en los parámetros iniciales del estudiante al comienzo del entrenamiento.
Profesor de Media Móvil Exponencial (EMA): Los parámetros del profesor se actualizan como una media móvil de los parámetros del estudiante ( $\theta_{EMA} = \alpha \theta_{EMA} + (1-\alpha)\theta_t$ ), ralentizando la deriva del objetivo del profesor.

4. Extensión a Profesor Externo

Los autores también prueban si el truco de aumento por retroalimentación se generaliza a la Destilación On-Policy de Múltiples Ejecuciones (MOPD) con un profesor externo (FA-MOPD), donde el profesor externo está condicionado en ejecuciones exitosas mientras que el estudiante permanece no condicionado.

Hallazgos Clave y Resultados

1. Fallo de la FA-SD Estándar

A través de siete bancos de pruebas de QA de dominio abierto (NQ, HotpotQA, etc.), las variantes de FA-SD estándar (sin recorte y de tipo PPO) no logran mantener la mejora.

Dinámica de Entrenamiento: Las tasas de éxito permanecen cerca de cero durante la mayor parte del entrenamiento, con solo un rebote transitorio antes de la regresión.
Colapso de Decodificación: Los autores identifican un modo de fallo específico denominado colapso de decodificación. Los modelos comienzan a depender de plantillas recurrentes de razonamiento y búsqueda. Estas trayectorias parecen diversas pero son en gran medida agnósticas a la pregunta de entrada. En consecuencia, la señal de destilación basada en KL se vuelve informativa porque el modelo no está aprendiendo a resolver la pregunta específica, sino a imitar una plantilla genérica. Las métricas agregadas estándar a menudo pasan esto por alto porque no verifican la especificidad de la entrada.

2. El Auto-Profesor es Capaz, pero la Internalización Falla

Los experimentos muestran que el auto-profesor aumentado por retroalimentación suele ser más fuerte que el estudiante no condicionado en el momento de la inferencia. Esto descarta la hipótesis de que el fallo se deba a un profesor débil. En cambio, el problema es un fallo de internalización: el estudiante no puede absorber de manera fiable la señal de destilación a nivel de token derivada de la retroalimentación privilegiada en su política no condicionada.

3. Impacto de la Regularización

Estabilización: Tanto el profesor de referencia fijo como el EMA estabilizan el entrenamiento al evitar que el objetivo del profesor derive demasiado rápido.
Rendimiento: El profesor EMA ofrece los mejores resultados. Permite al modelo recuperarse de regresiones temporales y logra un rendimiento final más alto (puntuación promedio de 0.206 en los bancos de pruebas) en comparación con el modelo base (0.114).
Fase de Calentamiento (Warm-up): El enfoque EMA requiere una fase de calentamiento donde el rendimiento puede regredir temporalmente antes de que la señal de supervisión se estabilice y mejore.

4. Generalización a Profesores Externos

Cuando el truco de aumento por retroalimentación se aplica a MOPD con un profesor externo fuerte (FA-MOPD), el rendimiento degrada en comparación con el MOPD estándar. Esto sugiere que la retroalimentación privilegiada introduce inconsistencia de prompt o un condicionamiento innecesario incluso cuando hay un profesor externo fuerte presente, y no se generaliza de forma directa a la OPD con profesor externo.

Contribuciones Clave

Instanciación de FA-SD: El artículo define e implementa la Auto-destilación Aumentada por Retroalimentación para agentes de búsqueda con intercalado de recuperación, utilizando ejecuciones exitosas como demostraciones privilegiadas.
Identificación del Colapso de Decodificación: Los autores caracterizan un modo de fallo donde los modelos producen trayectorias agnósticas a la entrada mediante plantillas recurrentes, lo que hace que la señal de destilación sea inútil. Este fenómeno es distinto de una simple regresión de rendimiento y a menudo se pasa por alto por las métricas estándar.
Análisis de la Inconsistencia de la Supervisión: El estudio descompone la inestabilidad de la FA-SD en inconsistencia del modelo (profesor con deriva) e inconsistencia del prompt (desajuste de condicionamiento). Demuestra que estabilizar al profesor mediante EMA o referencias fijas es crucial para un entrenamiento efectivo.
Resultados Negativos sobre la Generalización: El artículo muestra que, si bien los profesores externos fuertes proporcionan una supervisión inicial estable en MOPD, añadir retroalimentación privilegiada a estos (FA-MOPD) no mejora el rendimiento, indicando que el aumento por retroalimentación introduce inconsistencias específicas en el entorno de los agentes de búsqueda.

Significado

El artículo proporciona un diagnóstico crítico de por qué la auto-destilación, una técnica prometedora para la supervisión densa, falla en el complejo entorno de los agentes con intercalado de recuperación. Destaca que el colapso de decodificación y la inconsistencia de la supervisión son las barreras primarias, no solo la falta de un profesor fuerte. Al demostrar que la regularización EMA puede estabilizar al auto-profesor y recuperar el rendimiento, este trabajo ofrece una vía práctica para aplicar la auto-destilación a tareas agénticas. Además, advierte contra la aplicación ingenua del aumento por retroalimentación a los marcos de profesor externo, sugiriendo que los beneficios de la información privilegiada son altamente sensibles a la arquitectura específica y al condicionamiento de la configuración de destilación.