Resumen Técnico: Agon – RL Cross-Model Competitivo con Calificación Implícita de Rivales

1. Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) actual, particularmente métodos como la Optimización de Política Relativa de Grupo (GRPO), depende únicamente de recompensas basadas en el resultado (es decir, la corrección de la respuesta final). Aunque es efectivo para tareas con una verdad de base clara, este enfoque falla al calificar el proceso de razonamiento (el "rastro" o trace). En problemas difíciles, esto crea un fuerte incentio para que los modelos aumenten la cantidad de razonamiento (longitud) en lugar de la calidad. Los modelos aprenden a "escribir más" añadiendo vacilaciones, retrocesos y intentos redundantes para aumentar la probabilidad de dar con la respuesta correcta, lo que conduce a una "patología de longitud" donde el recuento de tokens crece significativamente mientras la precisión mejora solo marginalmente.

Calificar directamente el razonamiento es inabordable porque no existe una verdad de base para un "buen pensamiento" (no hay etiquetas para pasos específicos de perspicacia), y los modelos de recompensa de proceso aprendidos son costosos, frágiles y no verificables. El artículo postula que un segundo modelo puede suministrar la señal faltante: si una política competidora intenta el mismo problema y es recompensada por razonar mejor que la primera, el rastro de razonamiento se califica implícitamente sin necesidad de etiquetas de proceso explícitas.

2. Metodología: Agon

Agon (griego para "contienda") es un marco de entrenamiento que optimiza conjuntamente dos políticas distintas, $A$ y $B$, en un entorno de competencia directa.

Mecanismo Central

El proceso de entrenamiento opera en roles alternos (borrador y desafío) con rotación por paso:

1. Borrador (Drafting): Un modelo (el borrador) genera $N$ ejecuciones (rollouts) a partir de un prompt de problema simple. Recibe una actualización de GRPO estándar basada únicamente en la corrección de su respuesta final.
2. Desafío (Challenging): El otro modelo (el desafiante) lee un resumen de la solución del borrador (el recapitulativo post-razonamiento, excluyendo el rastro bruto y la respuesta final). El desafiante genera entonces una nueva ejecución intentando resolver el problema, potencialmente corrigiendo o mejorando el trabajo del borrador.
3. Recompensa: El desafiante recibe una recompensa competitiva que depende tanto de su propia corrección como del resultado del borrador.
   • Corrección: Recompensa binaria estándar por una respuesta correcta.
   • Bono de Conversión: Se otorga una recompensa adicional si el desafiante resuelve el problema correctamente y el borrador falló ($c(b_i) \cdot (1 - c(a_i))$). Esto incentiva al desafiante a identificar y corregir los errores del borrador.
   • Desempate de Longitud Opcional: Se puede aplicar un bono si el desafiante es correcto y utiliza menos tokens que un borrador correcto, fomentando la brevedad sin penalizar la corrección.

Arquitectura y Eficiencia

• Instanciación de Doble Adaptador: Para mantener la eficiencia, ambas políticas se instancian como adaptadores de Bajo Rango (LoRA) sobre un único modelo base congelado. Esto mantiene bajo el gasto de memoria (~2% del modelo base) y asegura que las políticas operen en espacios de representación compatibles.
• Divergencia: Los dos adaptadores se inicializan de forma distinta (uno con inicialización cero estándar, el otro con ruido Gaussiano pequeño) y reciben flujos de gradientes diferentes debido a la rotación de roles. Esta divergencia estructural asegura que desarrollen diferentes "puntos ciegos", evitando que el sistema colapse en auto-juego o en una simple destilación.
• Inferencia: En el despliegue, el par opera como una cascada de dos etapas: un modelo redacta una solución y el segundo lee el resumen para producir la respuesta final.

Justificación Teórica

El artículo argumenta que la mejora propia de un solo modelo (self-play) a menudo se estanca porque el modelo re-audita su propio trabajo utilizando los mismos sesgos que causaron los errores. Al introducir un segundo modelo con diferentes modos de fallo, Agon rompe este ciclo cerrado. El "calificador" es un agente distinto y, dado que ambos modelos son optimizados, la dificultad del "rival" aumenta con el tiempo, empujando a ambas políticas más allá del techo de un RL de un solo modelo.

3. Contribuciones Clave

1. Reencuadre de la Calidad del Razonamiento: El artículo reencuadra la calidad del razonamiento como una recompensa implícita suministrada por un par competidor, transformando el problema del "buen pensamiento" no etiquetado en un juego de confrontación directa.
2. La Receta Agon: Una novedosa receta de entrenamiento que utiliza GRPO competitivo con ejecuciones de borrador y desafío, rotación de roles por paso y una estructura de recompensa competitiva (corrección + bono de conversión). Funciona con entrenadores GRPO estándar sin cambios en la optimización central.
3. Implementación Eficiente: Una instanciación de doble adaptador sobre una base compartida que hace que el entrenamiento de dos políticas competidoras sea casi tan económico como el de un solo modelo.
4. Validación Empírica: Un diseño experimental 2x2 (cruzando competición vs. cooperación e intercambio de información vs. no intercambio) que aisla el valor de la presión adversarial y el intercambio de información entre modelos.

4. Resultados Experimentales

Los experimentos se realizaron en el split DeepMath-hard (usando modelos Qwen3) y un subconjunto de programación competitiva de CodeContests.

• Ganancias de Rendimiento: En el split DeepMath-hard con Qwen3-0.6B:
  • Vanilla GRPO: 30% pass@1.
  • Intercambio Cooperativo (sin competición): 46% pass@1.
  • Agon (Competición + Intercambio): 61% pass@1.
  • Esto representa una duplicación del rendimiento de GRPO y una ganancia de ~8x sobre la línea base de Mezcla de Agentes (MoA) no entrenada.
• Escalabilidad: Las ganancias persisten a través de familias de modelos (Qwen3.5, Gemma 4) y tamaños. Notablemente, la cascada Agon en una base de 0.6B (61%) superó a una base de 4B entrenada con vanilla GRPO (59%).
• Longitud del Rastro: Agon reduce significamente la longitud del razonamiento. El rastro de la etapa final promedió 3.5k tokens en comparación con los 8.1k tokens de vanilla GRPO, logrando una mayor precisión. Este acortamiento es una propiedad emergente de la competición, no una penalización explícita.
• Ablaciones:
  • Competición: Eliminar el bono competitivo (solo cooperativo) reduce el rendimiento al 46%.
  • Intercambio: Eliminar el intercambio de información visible (oponente compartido oculto del contexto) reduce el rendimiento al 32% (cerca de vanilla GRPO), confirmando que el gradiente competitivo requiere la varianza del contexto visible para funcionar.
  • Rotación de Roles: Fijar los roles (sin rotación) reduce el rendimiento al 52%, destacando la importancia de que ambos modelos aprendan tanto a redactar como a desafiar.

5. Significado y Reivindicaciones

El artículo afirma que Agon demuestra que el intercambio de información cross-model y la presión adversarial pueden mejorar significativamente las capacidades de razonamiento sin requerir etiquetas de proceso o un modelo de recompensa separado.

• Calificación Implícita: Demuestra que un modelo rival puede calificar eficazmente los rastros de razonamiento de forma implícita, resolviendo el problema del "pensamiento no etiquetado".
• Más allá del Auto-juego: Establece que un par de políticas divergentes pueden co-mejorar más allá del estancamiento de la autorrefinación de un solo modelo.
• Eficiencia: Muestra que un razonamiento de alto rendimiento puede lograrse con una cascada de dos etapas que es computacionalmente eficiente (usando adaptadores) y produce rastros de razonamiento más cortos y densos.
• Modestia: Los autores señalan que la implementación actual depende del intercambio de texto, lo que limita el ancho de banda. Sugieren que el trabajo futuro podría pasar al intercambio en el espacio latente (por ejemplo, inyección de caché KV) para eliminar los cuellos de botella de la serialización. También reconocen que el método requiere un verificador limpio y que la divergencia entre modelos se mantiene de forma heurística en lugar de garantizada.

En resumen, Agon cambia el paradigma de "calificar la respuesta" a "calificar el razonamiento mediante la competición", permitiendo que los modelos aprendan a pensar mejor, no solo a escribir más.