💬 NLP

Consolidating Rewarded Perturbations for LLM Post-Training

Este artículo presenta CoRP, un método de postentrenamiento libre de gradientes que consolida perturbaciones gaussianas ponderadas por recompensa en una única actualización del modelo mediante el aprovechamiento de la estructura de bajo rango, logrando así mejoras significativas de rendimiento sobre el modelo base al eliminar la sobrecarga de inferencia de múltiples pasadas de los enfoques basados en ensambles como RandOpt.

Autores originales: Zheyu Zhang, Shuo Yang, Gjergji Kasneci

Publicado 2026-06-01

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zheyu Zhang, Shuo Yang, Gjergji Kasneci

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El gran problema: El dilema de "Demasiados chefs"

Imagina que tienes un chef brillante y bien entrenado (el Modelo Base) que puede cocinar casi cualquier cosa. Quieres enseñarle a preparar un plato específico y perfecto (como un problema matemático complejo o un fragmento de código).

Normalmente, para enseñar a un chef, utilizas Aprendizaje por Refuerzo (RL). Haces que cocine, prueban la comida y, si está buena, ajustas ligeramente su receta. Esto es como ajustar la receta paso a paso usando gradientes. Funciona, pero es lento y computacionalmente costoso.

Recientemente, llegó un nuevo método llamado RandOpt. En lugar de ajustar la receta paso a paso, RandOpt dice: "Simplemente lancemos un montón de especias aleatorias a la receta base del chef y veamos qué pasa".

Crea 5,000 versiones ligeramente diferentes del chef (añadiendo "perturbaciones" o ruido aleatorio a sus pesos).
Prueba todas las 5,000 versiones en algunos platos de práctica.
Elige las 50 mejores versiones que mejor cocinaron.
El problema: Para servir a un cliente, tienes que pedirle a esos 50 "chefs especialistas" que cocinen el plato, y luego haces una votación para decidir la respuesta final.
- Pros: Es muy inteligente.
- Contras: Es increíblemente lento. Tienes que ejecutar 50 cocineros para cada comida. Además, no puedes combinar fácilmente a estos especialistas en un solo maestro chef porque sus "personalidades" (pesos) podrían chocar entre sí.

La pregunta del artículo: ¿Podemos fusionar al equipo?

Los autores se preguntaron: "¿Podemos tomar a esos 50 especialistas ganadores y fundirlos en UN SOLO chef único, para que solo tengamos que ejecutar un cocinero en lugar de 50?"

Si simplemente promediamos sus recetas, generalmente falla. ¿Por qué? Porque aunque todos son buenos cocinando, es posible que hayan aprendido a solucionar diferentes problemas de diferentes maneras. Si los mezclas a ciegas, sus soluciones se cancelan entre sí y terminas con un chef peor de lo que empezaste.

El descubrimiento: El "Secreto oculto de bajo rango"

Antes de construir su solución, los autores realizaron un experimento de "mitad y mitad". Tomaron los 5,000 chefs aleatorios, los dividieron a la mitad y observaron a los mejores ejecutores.

Encontraron un patrón geométrico sorprendente: Aunque los chefs fueron creados de forma aleatoria, su "bondad" no estaba dispersa por todas partes. En su lugar, todas las mejoras útiles estaban concentradas en un "subespacio" diminuto y específico (un pasillo estrecho de posibilidades) dentro de la cocina masiva.

Piénsalo de esta manera: Si lanzas 1,000 dardos contra una pared gigante, pueden parecer aleatorios. Pero si miras de cerca, te das cuenta de que cada uno de los dardos "buenos" aterrizó dentro de un círculo pequeño e invisible. El artículo encontró que este "círculo" (una estructura de bajo rango) existe en cada uno de los casos que probaron, a pesar de que la dirección promedio de los dardos no siempre era la misma.

La solución: CoRP (Consolidating Rewarded Perturbations)

Los autores construyeron una herramienta llamada CoRP para fusionar estos especialistas en un modelo desplegable. Funciona como un proceso de contratación de tres pasos:

El Cazatalentos (Agregación ponderada por recompensa):
Primero, CoRP observa a los chefs con mejor rendimiento y pregunta: "¿Cuál es el hilo conductor?". Crea una "dirección propuesta" basada en quién obtuvo las puntuaciones más altas. Esto es como decir: "Está bien, los mejores chefs parecen usar más ajo".
La Prueba de Compatibilidad (Reponderación):
Este es el paso mágico. CoRP no solo escucha a los chefs del "ajo". Revisa a cada especialista para ver si su estilo encaja con la dirección propuesta.
- Si un chef es excelente con el ajo pero también insiste en añadir chocolate (lo cual choca con el tema del ajo), CoRP dice: "No, eres demasiado incompatible". Reduce su peso.
- Si un chef es excelente con el ajo y no añade nada extraño, CoRP dice: "Sí, eres un ajuste perfecto". Aumenta su peso.
- Analogía: Imagina que intentas construir una casa. Tienes 50 grandes arquitectos. No te limitas a promediar sus planos (lo que sería un desastre). Eliges una dirección de diseño óptima y luego solo contratas a los arquitectos cuyos diseños específicos apoyan esa dirección sin causar conflictos.
El Inspector de Seguridad (Puerta de validación de datos externos):
Antes de finalizar el nuevo chef único, CoRP prueba la nueva receta en un conjunto de platos que los chefs nunca vieron.
- Si el nuevo chef es realmente mejor en estos platos frescos, CoRP aprueba la actualización.
- Si el nuevo chef es peor (o igual de bueno), CoRP dice: "No, sigamos con el chef original". Se niega a realizar un cambio que no ayude.

Los resultados: Un chef, un paso, grandes ganancias

El artículo probó esto en 5 modelos diferentes (desde pequeños hasta grandes) y 5 tareas distintas (matemáticas, programación, escritura creativa).

Velocidad: RandOpt (el equipo de 50 chefs) necesita 50 pasadas hacia adelante para responder una pregunta. CoRP necesita 1 pasada hacia adelante. Es 50 veces más rápido en la inferencia.
Eficiencia: CoRP solo necesitó 1/10 del poder de cómputo (presupuesto de perturbación) que RandOpt utilizó para entrenar.
Rendimiento:
- CoRP mejoró el modelo base en un promedio de 8.1 puntos.
- Recuperó más de la mitad de la ganancia de rendimiento que logró el enorme equipo de 50 chefs, pero con un solo modelo.
- En algunos casos (como la escritura creativa), CoRP incluso superó al enfoque del mejor chef individual (RandOpt K=1) y se acercó mucho al equipo de 50 chefs.

Resumen en pocas palabras

El artículo demuestra que no necesitas un comité de 50 modelos de IA para obtener grandes resultados. Al encontrar la "geometría común oculta" en cómo estos modelos mejoran, y al filtrar cuidadosamente a aquellos que chocan entre sí, puedes fusionarlos en un único modelo super eficiente.

Es como darse cuenta de que, en lugar de contratar a 50 consultores diferentes para resolver un problema, puedes contratar a un experto que ha sintetizado las mejores ideas de esos 50, sin la confusión de que discutan entre ellos. Obtienes la sabiduría de la multitud, pero con la velocidad de una sola persona.

Resumen Técnico: Consolidación de Perturbaciones Recompensadas para el Post-entrenamiento de LLMs

Planteamiento del Problema
El post-entrenamiento de modelos de lenguaje de gran tamaño (LLMs) se enmarca típicamente como un bucle de muestreo-puntuación-actualización implementado mediante el descenso de gradiente (por ejemplo, PPO, GRPO). Una alternativa reciente, RandOpt (Gan e Isola, 2026), traslada este proceso al espacio de los pesos. En lugar de actualizar los pesos mediante gradientes, RandOpt muestrea perturbaciones gaussianas alrededor de un modelo preentrenado, las puntúa en un conjunto de soporte y conforma un ensamble de los $K$ especialistas con mayor recompensa durante la inferencia. Aunque es competitivo con los métodos basados en gradientes bajo un cómputo equivalente, este enfoque incurre en costos de inferencia significativos ( $K$ pasadas hacia adelante por ejemplo) y tiene dificultades para extenderse a tareas de generación de texto libre donde la votación categórica es inaplicable. La pregunta central abordada por este artículo es si la "población recompensada" de perturbaciones puede integrarse en una única actualización de modelo desplegable, reemplazando así el ensamble en tiempo de inferencia por una única actualización de pesos consolidada.

Metodología: CoRP (Consolidación de Perturbaciones Recompensadas)
Los autores proponen CoRP, un operador libre de gradientes que consolida una población de perturbaciones recompensadas en una única actualización de pesos. El método se basa en dos ideas primordiales derivadas de un análisis de mitad dividida de 25 pares de modelo-tarea:

Estructura de Bajo Rango: La búsqueda aleatoria impulsada por la recompensa alrededor de un modelo base concentra la varianza útil en un subespacio de bajo rango reproducible en cada caso examinado, aunque una dirección media única no siempre es reproducible.
Compatibilidad vs. Utilidad: Las perturbaciones de alta recompensa suelen actuar como "especialistas casi ortogonales". El promedio ingenuo ponderado por recompensa falla porque combina direcciones incompatibles, lo que provoca que el modelo cancele señales útiles.

CoRP aborda estos desafíos a través de un proceso de tres etapas libre de gradientes:

Generación de Candidatos Ponderados por Recompensa:
El método selecciona primero el cuantil superior- $q$ de las perturbaciones basadas en sus puntuaciones de recompensa. Calcula una dirección provisional ( $m^{(1)}$ ) como la media ponderada por recompensa de estas perturbaciones de élite. Este paso identifica direcciones útiles, pero aún no garantiza que sean compatibles entre sí.
Reponderación Consciente de la Compatibilidad:
Para evitar que las señales incompatibles se cancelen entre sí, CoRP repondera las perturbaciones de élite basándose en su alineación con la dirección provisional y su dispersión ortogonal.
- Alineación ( $a_i$ ): Mide qué tan fuertemente una perturbación apoya la dirección propuesta.
- Dispersión ( $d_i$ ): Mide qué parte de la perturbación es ortogonal a la propuesta.
  Los pesos finales ( $w^{(2)}_i$ ) combinan la recompensa original con penalizaciones por alta dispersión y bonificaciones por alta alineación. Esto asegura que la actualización consolidada preserve la estructura compartida mientras suprime las variaciones incompatibles.
Validación e Iteración:
- Puerta de Control (Held-Out Gate): Para prevenir el sobreajuste al conjunto de soporte, CoRP utiliza una estrategia de validación de pliegues divididos. Una actualización candidata solo se compromete si demuestra una ganancia de precisión positiva en un pliegue de validación reservado (Pliegue B) con un límite inferior de confianza estadísticamente significativo.
- Calibración de Sonda (Probe Calibration): Un conjunto de sonda separado (Pliegue P) se utiliza para calibrar el tamaño del paso ( $\eta$ ) de la actualización.
- Iteración: Si una actualización es aceptada, el proceso puede iterar. Se muestrean nuevas perturbaciones alrededor del nuevo centro utilizando una distribución adaptativa de covarianza que concentra la exploración en las direcciones donde las poblaciones recompensadas anteriores variaron, manteniendo un suelo isotrópico para la cobertura.

Contribuciones Clave

Descubrimiento de una Estructura de Bajo Rango Reproducible: El artículo demuestra que, a través de 25 pares diversos de modelo-tarea (que abarcan desde 0.5B hasta 8B de parámetros y tareas de matemáticas, código y escritura), las perturbaciones recompensadas comparten consistentemente una estructura de bajo rango, incluso cuando no existe una única dirección media.
Operador CoRP: La introducción de un operador de consolidación libre de gradientes que logra fusionar con éxito una población de perturbaciones recompensadas en un solo modelo. Separa explícitamente la identificación de direcciones "útiles" de la evaluación de la "compatibilidad", una distinción que a menudo se pasa por alto en el model merging ingenuo.
Eficiencia: CoRP logra un rendimiento comparable al de los grandes ensambles con una sola pasada hacia adelante en la inferencia, eliminando el costo de inferencia de $K$ veces de métodos como RandOpt.

Resultados Experimentales
Los autores evaluaron CoRP en cinco modelos ajustados por instrucciones (variantes de Qwen2.5, OLMo3, Llama3.1) a través de cinco tareas (Countdown, GSM8K, OlympiadBench, ROCStories, MBPP).

Rendimiento: CoRP mejora el modelo base en un promedio de 8.1 puntos en todas las tareas.
Comparación con RandOpt: Utilizando solo 1/10 del presupuesto de perturbación de RandOpt (500 frente a 5000 muestras), CoRP supera al RandOpt de una sola inferencia (K=1) por 6.5 puntos. Además, recupera más de la mitad de la ganancia lograda por el ensamble de mayoría de votos de 50 pasadas (RandOpt K=50) requiriendo solo una pasada hacia adelante por cada ejemplo de prueba.
Comparación con Métodos Basados en Gradientes: CoRP es competitivo con PPO y GRPO cuando se iguala el cómputo de entrenamiento, superándolos a menudo en tareas específicas (por ejemplo, ROCStories) evitando la sobrecarga computacional de la retropropagación a través del modelo de lenguaje.
Análisis de Errores: La descomposición de los resultados muestra que las ganancias de CoRP provienen de correcciones genuinas de razonamiento (corrigiendo el contenido de la respuesta) más que de simples correcciones de formato, y reduce significativamente las "regresiones" (casos donde el modelo base era correcto pero la actualización lo hizo incorrecto) en comparación con la selección de una única mejor perturbación.

Significancia y Reivindicaciones
El artículo sostiene que el "vecindario recompensado" de un modelo bien preentrenado contiene suficiente estructura compartida como para ser integrada en un solo modelo, incluso cuando no existe una única dirección que resuma toda la población. Al cerrar el bucle en el espacio de los pesos —pasando del muestreo de perturbaciones a la consolidación de estas en una actualización desplegable—, CoRP ofrece una alternativa práctica al post-entrenamiento basado en gradientes. Demuestra que se pueden lograr mejoras sustanciales en alineación y razonamiento sin retropropagación, utilizando un único modelo que es eficiente de desplegar.

Los autores mantienen la modestia respecto a las limitaciones, señalando que CoRP requiere actualmente recompensas verificables (lo que lo limita a tareas con salidas categóricas o fácilmente comprobables) y que la brecha hacia los ensambles completos es mayor en modelos más pequeños donde los especialistas pueden ser más disjuntos. Sugieren que el trabajo futuro podría combinar el muestreo en el espacio de pesos con el muestreo en el espacio de trayectorias (como se usa en RLVR) para exponer diferentes facetas de las capacidades preentrenadas.