Resumen Técnico: INFUSER – La autoevolución guiada por influencia mejora el razonamiento

1. Declaración del problema

El progreso reciente en el razonamiento de los modelos de lenguaje extensos (LLM) depende en gran medida del Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). Sin embargo, la escalabilidad del RLVR se ve obstaculizada por la escasez de datos de entrenamiento de alta calidad y verificables, los cuales son costosos de curar. La autoevolución ofrece un camino a seguir al permitir que un modelo genere sus propios datos de entrenamiento a partir de documentos no estructurados o de sus propios resultados, eliminando la necesidad de modelos maestros externos o corpora curados.

Los métodos de autoevolución existentes enfrentan dos limitaciones primarias:

1. Anclaje (Grounding): Los métodos de auto-juego puro (p. ej., R-Zero) dependen únicamente del conocimiento previo del modelo, con el riesgo de generar respuestas de referencia alucinadas. Los métodos basados en ejecutores (p. ej., AZR) restauran la verificabilidad pero están restringidos a dominios con ejecutores formales (código, matemáticas), fallando al intentar aprovechar el abundante texto no estructurado.
2. Objetivos del Generador: Los enfoques anclados en documentos (p. ej., SPICE) a menudo recompensan al generador basándose en heurísticas de dificultad (p. ej., maximizar la tasa de fallo del solver hasta aproximadamente el 50%). La dificultad es un indicador impreciso de utilidad; una pregunta puede ser "difícil" debido a la ambigüedad o al desalineamiento con la fuente, sin ofrecer garantía alguna de mejorar al solver en la distribución objetivo.

La pregunta central abordada es: ¿Podemos entrenar a un generador para producir datos de entrenamiento anclados en documentos que realmente mejoren al solver actual en una distribución objetivo, mientras coevolucionan con él?

2. Metodología: INFUSER

Los autores proponen INFUSER (INFluence-gUided Self-Evolution Improves Reasoning), un marco de co-entrenamiento iterativo que plantea la autoevolución como un juego bilaterial entre un Generador ($\pi_\phi$) y un Solver ($\pi_\theta$). Ambos se inicializan desde el mismo modelo preentrenado.

2.1 Formulación del Juego Bilateral

• Nivel Inferior (Solver): El solver entrena sobre un currículo de pares pregunta-respuesta ($Q_\phi$) generados por el generador a partir de un conjunto de documentos no estructurados ($D_{doc}$). El solver optimiza para maximizar la precisión en este currículo utilizando RLVR estándar (p. ej., Dr.GRPO).
• Nivel Superior (Generador): El generador busca producir un currículo $Q_\phi$ tal que, tras la actualización del solver, el rendimiento de este mejore en una distribución objetivo ($P$).
• Naturaleza Cooperativa: A diferencia del auto-juego adversarial, el generador es recompensado por ayudar al solver a mejorar en la distribución objetivo, no por derrotarlo.

2.2 Puntuación de Influencia Consciente del Optimizador

Para evitar el costo prohibitivo de la diferenciación bilateral exacta (retropropagación a través de todo el bucle de entrenamiento del solver), INFUSER emplea una aproximación de primer orden inspirada en las funciones de influencia.

• Ancla del Dev-Set: Se utiliza un pequeño conjunto de desarrollo retenido ($D_{dev}$) muestreado de la distribución objetivo $P$ para definir la "dirección de mejora". El gradiente del rendimiento del solver en $D_{dev}$ ($\hat{g}_{dev}$) sirve como el vector objetivo.
• Cálculo de Influencia: Para cada par QA generado $(q, a_\phi)$, el sistema estima la dirección de actualización de los parámetros del solver ($\hat{\Gamma}(q, a_\phi)$) inducida por el entrenamiento en ese par específico. Esta dirección está precondicionada por el estado del optimizador AdamW para reflejar el paso de actualización real.
• Señal de Recompensa: La recompensa del generador es la similitud de coseno entre el gradiente objetivo ($\hat{g}_{dev}$) y la dirección de actualización inducida ($\hat{\Gamma}$):
  $$s(q, a_\phi) = \text{cossim}(\hat{g}_{dev}, \hat{\Gamma}(q, a_\phi))$$
  Una puntuación positiva indica que el entrenamiento en $(q, a_\phi)$ se alinea con la mejora del rendimiento en la distribución objetivo. Esta puntuación reemplaza la métrica tradicional de "dificultad".

2.3 DuGRPO: GRPO de Doble Normalización

La puntuación de influencia es una señal continua y ruidosa, lo que plantea desafíos para la Optimización de Política Relativa de Grupo (GRPO) estándar.

• Desafío: Normalizar las recompensas únicamente dentro de un grupo de documentos (estilo GRPO) amplifica el ruido en grupos de baja varianza. Normalizar únicamente a través del lote (estilo BatchNorm) permite que los grupos de alta varianza dominen.
• Solución: Los autores proponen DuGRPO, un estimador de ventaja de doble normalización que combina la normalización dentro del grupo y entre grupos:
  $$\hat{A}_{gen} = \frac{s(q, a_\phi) - \mu_d}{\sigma_d + \sigma_B + \epsilon}$$
  donde $\sigma_d$ es la desviación estándar dentro del grupo de documentos y $\sigma_B$ es la media de la desviación estándar a través del lote. Esto estabiliza el entrenamiento al amortiguar el ruido de baja varianza mientras evita el dominio de la alta varianza.

2.4 Bucle de Entrenamiento

El algoritmo procede en fases por iteración:

1. Referencia de Dev: Calcular el gradiente objetivo $\hat{g}_{dev}$ a partir de los rollouts del solver en $D_{dev}$.
2. Generación: El generador muestrea documentos y produce pares QA.
3. Evaluación del Solver: El solver intenta responder las preguntas generadas; se estiman los gradientes por cada pregunta.
4. Puntuación de Influencia: Calcular las puntuaciones de influencia usando la similitud de coseno con $\hat{g}_{dev}$.
5. Actualizaciones: Actualizar el generador usando DuGRPO con las puntuaciones de influencia como recompensas; actualizar el solver usando Dr.GRPO con recompensas de corrección binaria.

3. Contribuciones Clave

1. Autoevolución Guiada por Influencia: Un marco novedoso que reemplaza las recompensas del generador basadas en la dificultad con una puntuación de influencia consciente del optimizador, optimizando directamente para la utilidad en una distribución objetivo en lugar de solo la dificultad.
2. DuGRPO: Una nueva variante de política de gradiente diseñada específicamente para la naturaleza continua y ruidosa de las recompensas basadas en influencia, permitiendo un entrenamiento estable del generador.
3. Co-evolución Anclada en Documentos: Un método que aprovecha libros de texto no estructurados para generar datos de entrenamiento, evitando la necesidad de maestros externos o ejecutores, manteniendo la verificabilidad a través del propio razonamiento del solver.
4. Escalabilidad: Demostrar que un generador de 8B en co-evolución puede superar a un generador "pensante" congelado de 32B en tareas de matemáticas y programación, sugiriendo que la adaptación es más crítica que la escala bruta del modelo para la generación de currículos.

4. Resultados Experimentales

Los experimentos se realizaron utilizando anclas Qwen3-4B-Base y Qwen3-8B-Base, comparando INFUSER contra bases sólidas (R-Zero, AZR, R-Few, SPICE) y un baseline de Razonador General.

• Ganancias de Rendimiento: INFUSER logró las puntuaciones más altas en 8 de 14 benchmarks. En Qwen3-8B-Base, mostró mejoras relativas de más del 20% en OlympiadBench (Matemáticas), SuperGPQA y GPQA-Diamond en comparación con el modelo base.
• Escalabilidad: Las ganancias de rendimiento de INFUSER fueron consistentes en tamaños de modelo (4B a 8B), mientras que los baselines como R-Zero y SPICE mostraron una degradación significativa de rendimiento al escalar hacia arriba.
• Calidad del Generador: El análisis mostró que el generador en co-evolución produce preguntas cada vez mejor planteadas y desafiantes con el tiempo. La brecha "Fuerte-vs-Débil" (diferencia de precisión entre un modelo fuerte y el modelo base en las preguntas generadas) aumentó, indicando que el generador está creando preguntas que son difíciles para el modelo base pero resolubles por modelos más fuertes (es decir, desafíos de razonamiento de alta calidad).
• Estudios de Ablación:
  • Necesidad del Generador: Eliminar el generador (entrenar directamente en $D_{dev}$) llevó al sobreajuste en el set de dev y a un pobre generalización.
  • Co-evolución: Un generador de 8B congelado tuvo un rendimiento inferior al generador de 8B en co-evolución, especialmente en matemáticas. Un generador de 32B congelado superó al generador de 8B en co-evolución en tareas con mucha carga de conocimiento (razonamiento general, medicina), pero fue superado en matemáticas y programación, resaltando que la adaptación supera a la escala para el razonamiento.
  • Componentes: Se encontró que tanto la puntuación de influencia consciente del optimizador como la normalización DuGRPO son esenciales; eliminar ambos causó que el rendimiento retrocediera al nivel de un generador congelado.
• Extensiones:
  • Anclas con Fine-tuning de Instrucciones: INFUSER mejoró con éxito un ancla con fine-tuning de instrucciones (OLMo-3-7B-Instruct-SFT), liderando en 10 de 13 benchmarks.
  • RLVR Híbrido: Combinar la autoevolución anclada en documentos con RLVR de matemáticas verificable por reglas estabilizó el "colapso de longitud de respuesta" observado en el entrenamiento solo de ciencias, reduciendo la varianza de la semilla en el rendimiento matemático.

5. Significado y Reivindicaciones

El artículo afirma que INFUSER ofrece un camino escalable hacia un razonamiento más fuerte al convertir abundantes corpora no estructurados en señales de entrenamiento estructuradas y alineadas con la utilidad, sin depender de conjuntos de datos curados o modelos maestros.

• Cambio de Paradigma: Mueve el objetivo del generador de "hacer las cosas difíciles" a "hacer las cosas útiles", utilizando funciones de influencia para alinear la generación del currículo con la trayectoria de aprendizaje del solver.
• Eficiencia: Demuestra que un generador más pequeño en co-evolución puede superar a un generador mucho más grande y congelado en tareas de razonamiento, sugiriendo que el proceso de adaptación del currículo es más valioso que el conocimiento estático de un modelo más grande.
• Generalizabilidad: Se muestra que el marco es flexible, funcionando tanto con modelos base como con modelos con fine-tuning de instrucciones, y capaz de integrar otros signals de RLVR (como verificadores matemáticos) para estabilizar la dinámica de entrenamiento.

Los autores concluyen que, aunque el marco actualmente depende de un pequeño set de dev para anclar la dirección objetivo, representa una dirección prometedora para escalar las capacidades de razonamiento al acoplar la generación de currículos basada en la utilidad con pools de documentos más grandes y horizontes de entrenamiento más largos.