Resumen Técnico: Intercambio de Experiencias en Aprendizaje por Refuerzo Mutuo para Modelos de Lenguaje Heterogéneos

1. Planteamiento del Problema

El entrenamiento posterior mediante Aprendizaje por Refuerzo (RL) actual para Modelos de Lenguaje de Gran Escala (LLM) opera principalmente como un esfuerzo de una sola política. En este flujo de trabajo aislado, la exploración y la mejora están acopladas a una única política, y las experiencias complementarias descubiertas por pares entrenados simultáneamente se descartan. Este aislamiento es particularmente ineficiente en dominios de razonamiento con recompensas escasas, donde políticas heterogéneas (que varían en arquitectura, escala o tokenizador) exhiben sesgos inductivos diversos y atraviesan regiones distintas del espacio de soluciones.

Dos barreras principales impiden el intercambio de estos descubrimientos:

1. Heterogeneidad del Tokenizador: Las políticas a menudo utilizan tokenizadores dispares, lo que hace imposible el intercambio directo de trazas a nivel de token (log-probabilidades) sin traducción.
2. Cambio de Distribución: La reutilización directa de trayectorias de pares dentro de sustitutos en política (como PPO o GRPO) introduce un cambio de distribución significativo, lo que conduce a problemas de inestabilidad y varianza comunes en el aprendizaje fuera de política.

El artículo pregunta: Dentro del régimen estándar de entrenamiento posterior verificable de un solo paso para LLMs de pesos abiertos, ¿qué régimen de intercambio de experiencias es apropiado y qué compensaciones inducen los regímenes alternativos?

2. Metodología

2.1 El Marco de RL Mutuo

Los autores introducen un marco para el Aprendizaje por Refuerzo Mutuo donde políticas heterogéneas de LLM intercambian experiencias tipadas manteniendo parámetros, objetivos y tokenizadores separados. El sistema extiende el marco VERL con tres componentes principales:

• Intercambio de Experiencia Compartida (SEE): Un mecanismo de flujo de datos tipado donde políticas distintas publican y se suscriben a registros de experiencia estructurada (trayectorias, recompensas, ventajas y trazas) mientras preservan objetivos nativos por política.
• Asignación de Recursos Multi-Trabajador (MWRA): Gestiona la asignación de trabajadores y presupuestos de computación entre diferentes trabajadores de políticas.
• Capa de Heterogeneidad de Tokenizador (THL): Una interfaz crítica que une vocabularios incompatibles. Realiza dos operaciones:
  1. Adaptación de Texto (Retokenización): Decodifica las respuestas de los pares en texto y las vuelve a codificar utilizando el tokenizador del aprendiz.
  2. Alineación de Distribución de Políticas: Construye alineaciones de trazas a nivel de palabra. Agrupa las log-probabilidades de origen dentro de cada palabra textual y redistribuye esta masa uniformemente entre los tokens objetivo para esa palabra. Esto preserva la masa de probabilidad a nivel de palabra a pesar de las discrepancias de tokenización, con errores residuales acotados analizados teóricamente.

2.2 Tres Sondeos Controlados

Para investigar la compensación entre estabilidad y soporte, los autores implementan tres regímenes distintos de intercambio de experiencias sobre la misma actualización base de Optimización de Política Relativa a Grupo (GRPO):

1. Régimen 1: Intercambio a Nivel de Datos (Agrupación de Trayectorias de Pares - PRP)

   • Mecanismo: El aprendiz agrupa las trayectorias de los pares directamente en su propio lote, tratándolas como trayectorias de entrenamiento suplementarias.
   • Desafío: Requiere manejar la varianza de la razón de densidad entre la política del aprendiz y la política de comportamiento del par. Los autores prueban dos opciones de denominador: un denominador de "instantánea del aprendiz" (ignorando las probabilidades reales de generación del par) y un denominador de "par alineado por THL" (utilizando la traza de probabilidad registrada del par alineada al espacio de tokens del aprendiz).
   • Posición Teórica: Alto acoplamiento; paga los costos de varianza de la razón de densidad y los costos residuales de THL.

2. Régimen 2: Intercambio a Nivel de Valor (Compartición de Ventajas GRPO entre Políticas Cruzadas - XGRPO)

   • Mecanismo: El aprendiz muestrea sus propias trayectorias (estrictamente en política) pero moldea las ventajas utilizando estadísticas de recompensa agregadas en todo el grupo de políticas.
   • Desafío: Ninguno en cuanto a tokenización, ya que solo se intercambian recompensas escalares.
   • Posición Teórica: Preserva el soporte del actor en política mientras cambia las líneas base escalares. Reduce la varianza del gradiente sin introducir señales de trayectoria fuera de política.

3. Régimen 3: Intercambio a Nivel de Resultado (Transferencia con Puerta de Éxito - SGT)

   • Mecanismo: Trata las salidas de los pares como certificados de resultado escasos. La transferencia está con puerta: se activa solo cuando el grupo de trayectorias propio del aprendiz no contiene ninguna solución correcta, pero al menos un par tiene un éxito verificado.
   • Proceso: Una trayectoria de par verificada se inyecta como una muestra positiva escasa (mediante una pérdida de log-verosimilitud negativa) junto con la actualización GRPO en política del aprendiz.
   • Posición Teórica: Suministra una dirección de puntuación de "conjunto de rescate". Está condicionada al par, activada por fallos e intercalada con el objetivo base de RL.

3. Contribuciones Clave

1. Sustrato del Marco: La introducción de un marco reproducible (SEE, MWRA, THL) que permite el RL mutuo entre LLMs heterogéneos con tokenizadores incompatibles. El THL proporciona una interfaz de alineación acotada para el intercambio de trazas a nivel de texto y token.
2. Sondeos Controlados: La implementación y comparación de PRP, XGRPO y SGT bajo condiciones de computación e hiperparámetros coincidentes dentro de una sola pila basada en VERL. Esto llena el espacio de diseño en tres niveles de acoplamiento distintos (datos, valor, resultado).
3. Caracterización Teórica: Un análisis de banda contextual que demuestra las diferencias estructurales entre los sondeos:
   • PRP: Expone sensibilidad a la varianza de la razón de densidad y a los residuos de THL.
   • XGRPO: Preserva el soporte en política pero no puede introducir directamente masa de probabilidad para éxitos exclusivos de pares (límite de soporte duro).
   • SGT: Proporciona una dirección de gradiente positivo hacia los éxitos verificados de pares específicamente en el subconjunto de rescate.

4. Resultados Experimentales

La evaluación se centra en el razonamiento matemático (conjunto de datos MATH) utilizando un grupo heterogéneo de modelos Qwen (Qwen2.5-Math-1.5B y Qwen3-1.7B-Base).

• El Intercambio a Nivel de Resultado (SGT) es Óptimo: SGT ocupa el punto favorable de la compensación entre estabilidad y soporte. Logra el mejor rendimiento promedio y un progreso más rápido en las etapas tempranas a medias del entrenamiento en comparación con GRPO independiente. Se mantiene en o por encima de la curva de referencia en prácticamente cada punto de control.
  • Por qué: Suministra una trayectoria positiva faltante solo cuando el aprendiz falla, preservando la actualización en política para otros prompts.
• El Intercambio a Nivel de Valor (XGRPO) es Estable: XGRPO sigue de cerca a GRPO independiente, preservando la región de confianza y reduciendo la varianza de la línea base. Sirve como una referencia estable y de bajo acoplamiento, pero no expande significativamente el soporte muestreado del aprendiz.
• El Intercambio a Nivel de Datos (PRP) es Inestable: La reutilización directa de trayectorias expone la sensibilidad a la divergencia del aprendiz. Aunque la corrección de importancia (mediante THL) mitiga algunos problemas, PRP impone una mayor carga de optimización a políticas más débiles y reduce la precisión promedio en comparación con SGT. Requiere un control significativo de la distribución para mantenerse estable.
• Firmas de Optimización:
  • SGT mantiene una entropía comparable o superior a GRPO mientras mantiene baja la divergencia KL.
  • PRP reduce la entropía e incrementa las desviaciones KL, indicando un fuerte acoplamiento de distribución.
  • XGRPO permanece casi indistinguible de la referencia de una sola política.
• Generalización: Los beneficios de SGT se extienden a grupos heterogéneos (por ejemplo, Llama-Mist, Qwen-Phi4) y a benchmarks más amplios de preguntas y respuestas de sentido común/científicas, mostrando ganancias de +10 a +30 puntos porcentuales en algunas configuraciones heterogéneas.

5. Significado y Afirmaciones

El artículo afirma que el RL Mutuo transforma los descubrimientos de pares en señales de entrenamiento tipadas para políticas heterogéneas de LLM sin fusionar pesos ni reemplazar las tuberías estándar en política.

• Insight Estructural: El trabajo establece que en el régimen evaluado, el intercambio a nivel de resultado (SGT) es la abstracción superior. Equilibra la estabilidad (al permanecer en gran medida en política) con el soporte (al inyectar trayectorias verificadas solo cuando es necesario).
• Viabilidad de la Heterogeneidad: Los autores demuestran que con el sustrato THL, políticas con diferentes tokenizadores pueden intercambiar señales de manera efectiva, haciendo que la pregunta de "qué régimen de intercambio de experiencias es el correcto" esté bien planteada y sea respondible.
• Eficiencia: A diferencia de algoritmos complejos fuera de política que reemplazan las tuberías estándar, este enfoque integra las experiencias de pares en los sustitutos estándar en política (GRPO/PPO) utilizados por el RL de LLM contemporáneo, ofreciendo un canal principista para que las políticas aprendan unas de otras durante el entrenamiento.

Los autores concluyen que, aunque el intercambio a nivel de datos (PRP) es teóricamente posible con corrección, es frágil; el intercambio a nivel de valor (XGRPO) es estable pero limitado en la expansión del soporte; y el intercambio a nivel de resultado (SGT) ofrece la compensación más favorable al proporcionar soporte dirigido y verificado exactamente donde el aprendiz es deficiente.