Resumen Técnico: Aprendizaje Rápido y Lento: Hacia Modelos de Lenguaje Grandes que se Adaptan Continuamente

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) se adaptan típicamente a tareas posteriores mediante actualizaciones de parámetros, como el Ajuste Fino Supervisado (SFT) o el Aprendizaje por Refuerzo (RL). Aunque efectivo, este enfoque obliga al modelo a absorber toda la información específica de la tarea en un único conjunto persistente de pesos. Esto crea un cuello de botella fundamental: las actualizaciones que mejoran el rendimiento en el dominio desplazaron simultáneamente al modelo de su comportamiento base, reduciendo la entropía de salida, degradando la generalización fuera de la distribución (OOD) y causando "pérdida de plasticidad"—la incapacidad de adaptarse eficazmente a tareas futuras. Por el contrario, el aprendizaje en contexto (por ejemplo, optimización de prompts) permite una adaptación rápida y económica sin modificar los pesos, pero generalmente falla en igualar los techos de rendimiento alcanzables mediante actualizaciones de parámetros. El artículo argumenta que restringir el aprendizaje a mecanismos ya sea en contexto o en pesos es subóptimo y que los métodos actuales no aprovechan las fortalezas complementarias de ambos.

Metodología: Entrenamiento Rápido-Lento (FST)

Los autores introducen el Entrenamiento Rápido-Lento (FST), un marco que optimiza conjuntamente dos canales de adaptación complementarios:

1. Pesos Lentos ($\theta$): Los parámetros del modelo, actualizados con poca frecuencia y de manera costosa mediante Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). Estos codifican comportamientos persistentes y de larga duración.
2. Pesos Rápidos ($\Phi$): Una población de contextos textuales (prompts, instrucciones), actualizados con frecuencia y de manera económica mediante Evolución de Prompts Reflexivos (GEPA). Estos capturan señales transitorias y específicas de la tarea.

El Bucle de Entrenamiento

FST entrelaza dos bucles de actualización dentro de ciclos de longitud $T$:

• Bucle Rápido (Optimización de Contexto): Utilizando la política actual $\pi_\theta$, el sistema genera trayectorias. Un LLM de "reflexión" congelado analiza estas trayectorias (incluyendo pensamientos, llamadas a herramientas, errores y retroalimentación) para proponer mutaciones textuales. GEPA mantiene una población de frontera de Pareto de $K$ prompts en lugar de un único mejor prompt. Esta población preserva la diversidad, permitiendo que diferentes prompts se especialicen en diferentes subconjuntos de la distribución de tareas.
• Bucle Lento (Actualización de Parámetros): La política $\theta$ se actualiza utilizando Optimización de Política Relativa por Grupos (GRPO) con un objetivo sustituto recortado (CISPO). Crucialmente, durante la generación de trayectorias para la actualización de RL, el sistema muestrea de la población completa de $K$ prompts rápidos. El cálculo de la ventaja normaliza las recompensas a través de todo el grupo, mezclando la variación inducida tanto por los prompts como por el proceso de muestreo.

Esta co-evolución permite que los pesos rápidos absorban lecciones específicas de la tarea (por ejemplo, heurísticas específicas o correcciones de errores) de inmediato, guiando al modelo hacia un razonamiento mejor. Los pesos lentos luego se actualizan bajo este contexto evolutivo, evitando que el modelo se especialice en exceso en un único prompt estático o se desvíe demasiado de la política base.

Contribuciones Clave

1. Integración del Marco: El artículo instaura el concepto teórico de pesos rápidos/lentos (originalmente de la neurociencia y la literatura temprana de redes neuronales) para el post-entrenamiento de LLM, combinando específicamente RLVR para pesos y GEPA para prompts.
2. Población de Prompts de Frontera de Pareto: A diferencia de trabajos anteriores que optimizan un único prompt, FST mantiene una población diversa de prompts. Esto permite que el agente de RL compare respuestas a través de diferentes comportamientos de condicionamiento dentro del mismo cálculo de ventaja, proporcionando señales de gradiente más ricas.
3. Optimización Entrelazada: El método evita el paradigma secuencial "entrenar luego ajustar". En su lugar, permite que la política y la población de prompts co-evolucionen, donde la población de prompts se adapta a la política actual, y la política se adapta a los prompts evolutivos.

Resultados Experimentales

Los autores evalúan FST en tres dominios de razonamiento: CodeIO (predicción de salida de código), Polaris (matemáticas) y HoVer-hard (verificación de hechos multi-salto), utilizando Qwen3-8B como modelo base.

• Eficiencia de Datos: FST alcanza el rendimiento máximo en ejecución del RL estándar en significativamente menos pasos: 3.0 veces menos en CodeIO, 1.4 veces menos en Matemáticas y 3.0 veces menos en HoVer-hard.
• Asíntota de Rendimiento: FST alcanza consistentemente un techo de rendimiento más alto que el RL solo. Por ejemplo, en HoVer-hard, la asíntota ajustada mejora del 17.3% (RL) al 25.0% (FST).
• Deriva del Modelo Reducida: En niveles de recompensa coincidentes, los modelos entrenados con FST exhiben hasta un 70% menos de divergencia KL de la política base en comparación con los modelos solo RL. Esto indica que los pesos lentos permanecen más cerca de la configuración base.
• Plasticidad Preservada: En un experimento de entrenamiento de dos fases (entrenamiento en la Tarea X, luego Tarea Y), los modelos iniciados con FST retienen la capacidad de aprender la Tarea Y eficazmente. En contraste, los modelos solo RL a menudo colapsan a un rendimiento cercano a cero en la segunda tarea, demostrando una severa pérdida de plasticidad.
• Aprendizaje Continuo: En un escenario donde los dominios de tareas cambian cada 200 pasos, FST se adapta rápidamente a nuevos objetivos, mientras que los modelos solo RL se estancan o fallan en adquirir nuevas tareas después de la inicial.
• Análisis del Mecanismo:
  • Observación 1: Los pesos rápidos adquieren señales de tarea mucho más rápido que los pesos lentos. En una tarea sintética de grafo estrella, FST logró recompensas medibles alrededor del paso ~50, impulsado por la evolución de prompts, mientras que el RL solo permaneció cerca de cero hasta el paso ~300.
  • Observación 2: El techo de rendimiento se eleva porque ambos canales optimizan para la recompensa. Destilar los pesos rápidos en los pesos lentos (FST-distill) mejora el rendimiento sobre los métodos solo prompts, pero falla en alcanzar el techo del enfoque FST conjunto, confirmando que ambos componentes son necesarios para el máximo rendimiento.

Significado y Afirmaciones

El artículo afirma que el post-entrenamiento efectivo de LLM no debe verse como aprendizaje de parámetros seguido de ajuste de prompts, sino más bien como optimización sobre múltiples canales de adaptación.

• División del Trabajo: Al enrutamiento de mejoras específicas de la tarea y de rápida evolución a través de pesos textuales rápidos, los pesos paramétricos lentos se liberan para consolidar comportamientos de razonamiento persistentes y generales.
• Aprendizaje Continuo: Esta división del trabajo ofrece un camino hacia métodos de post-entrenamiento que son más eficientes en datos, menos destructivos (menor deriva KL) y más aptos para el aprendizaje continuo, abordando el fenómeno de "pérdida de plasticidad" observado en el aprendizaje continuo profundo.
• Eficiencia de Información: El marco aprovecha la retroalimentación textual rica (pensamientos, errores) en la actualización de contexto, superando el límite de información de "1 bit por episodio" a menudo asociado con recompensas binarias de RLVR.

Los autores concluyen que FST representa una dirección prometedora para modelos de razonamiento, sugiriendo que no toda la información específica de la tarea necesita ser destilada en los pesos del modelo, y que mantener una separación entre el conocimiento declarativo (prompt) y procedimental (peso) es crucial para los razonadores de propósito general.