Resumen Técnico: Autoevolución Orquestada por Confianza (COSE)

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) de autoevolución buscan mejorar las capacidades de razonamiento generando sus propias tareas de entrenamiento, resolviéndolas y aprendiendo de la retroalimentación auto-generada sin depender enteramente de una supervisión curada por humanos. Sin embargo, existe un cuello de botella crítico en dominios donde las soluciones no pueden verificarse mediante ejecución (por ejemplo, código) o coincidencia exacta (por ejemplo, matemáticas). En estos entornos de "dominio abierto", el modelo debe actuar tanto como Validador (evaluando la validez de la tarea) como Juez (evaluando la corrección de la respuesta).

El desafío central es la retroalimentación auto-generada ruidosa. Un modelo capaz de generar tareas difíciles puede carecer de la capacidad para validarlas correctamente o juzgar la corrección de las soluciones propuestas. Cuando el modelo aprueba erróneamente una tarea defectuosa o juzga incorrectamente una respuesta errónea como correcta, estos errores se convierten en señales de recompensa. En los bucles de autoevolución estándar, estas señales erróneas impulsan actualizaciones de gradiente que refuerzan patrones de razonamiento incorrectos, lo que conduce a inestabilidad de optimización o degradación del rendimiento. Los enfoques existentes dependen o bien de verificadores externos (limitando la generalidad) o bien tratan toda la retroalimentación auto-generada como supervisión igualmente confiable, sin tener en cuenta la incertidumbre inherente al proceso de generación de la retroalimentación.

Metodología: COSE

Los autores proponen COSE (Autoevolución Orquestada por Confianza), un marco que utiliza la confianza intrínseca del LLM como una señal de incertidumbre ligera para modular el proceso de aprendizaje. COSE emplea un único modelo base $\pi_\theta$ al que se le solicita desempeñar cuatro roles: Propositor (genera preguntas), Validador (punta la calidad de la pregunta), Solucionador (genera respuestas) y Juez (punta la corrección de la respuesta).

La innovación central reside en estimar la confianza directamente a partir de la distribución de salida a nivel de token del Validador y del Juez durante la generación de la retroalimentación, en lugar de tratar la retroalimentación como una etiqueta de verdad fundamental.

1. Estimación de Confianza

COSE calcula la confianza ($c$) basándose en la entropía normalizada de la distribución de salida a nivel de token del modelo. Para un token generado $t$ con distribución de probabilidad $P_t$ sobre el vocabulario $\mathcal{V}$:
$$c_t = 1 - \frac{H(P_t)}{\log |\mathcal{V}|}$$
La confianza a nivel de secuencia ($c_{seq}$) es el promedio de las confianzas a nivel de token. Esta métrica sirve como una heurística para la incertidumbre: una baja entropía (alta confianza) implica que el modelo está seguro sobre su juicio, mientras que una alta entropía (baja confianza) indica incertidumbre.

2. PPO Ponderado por Confianza

COSE integra estas puntuaciones de confianza en el objetivo de Optimización de Política Proximal (PPO) para escalar la contribución del gradiente de cada muestra.

• Peso del Propositor ($w_P$): Escala las actualizaciones basándose en la calidad de la pregunta ($v$) y la confianza del Validador ($c_V$):
  $$w_P(q) = \text{clip}(v(q) \cdot c_V(q), 0.1, 1.0)$$
• Peso del Solucionador ($w_S$): Escala las actualizaciones basándose en la calidad de la pregunta, la confianza del Validador y la confianza del Juez ($c_J$):
  $$w_S(q, a) = \text{clip}(v(q) \cdot c_V(q) \cdot c_J(q, a), 0.1, 1.0)$$
  Al limitar el peso en un límite inferior de 0.1 en lugar de descartar por completo las muestras inciertas, COSE preserva la exploración mientras evita que la retroalimentación de alta varianza y baja confianza domine la optimización.

3. Reproducción Priorizada por Confianza

El búfer de reproducción prioriza la muestreo de preguntas que no solo son válidas, sino que también se encuentran cerca del límite de capacidad actual del modelo. La prioridad se define como:
$$\text{prioridad}(q) \propto v(q) \cdot c_V(q) \cdot \max(4p(q)(1-p(q)), 0.1)$$
Aquí, $p(q)$ es la tasa de resolución promedio. El término $4p(q)(1-p(q))$ se maximiza cuando $p(q) \approx 0.5$, centrándose en entrenar preguntas que el modelo puede resolver aproximadamente la mitad de las veces (la "frontera de aprendizaje"). Los términos de confianza aseguran que las preguntas con validación incierta no sean sobre-muestreadas.

Contribuciones Clave

1. Identificación del Cuello de Botella de Optimización: El artículo identifica la retroalimentación auto-generada ruidosa (tanto de validación como de juicio) como un cuello de botella central de optimización en los LLM de autoevolución, distinto de la mera escasez de datos.
2. Formulación del Control de Entrenamiento: Los autores formulan el problema como una tarea de control de entrenamiento por muestra, donde la influencia de una señal de retroalimentación en el aprendizaje se modula por su confianza intrínseca.
3. Validación Empírica: Mediante experimentos extensos en 19 puntos de referencia retenidos y cuatro modelos base (familias Qwen y Llama, de 0.6B a 4B parámetros), los autores demuestran que COSE mejora consistentemente sobre los modelos base y supera o se mantiene competitivo con las líneas base de autoevolución anteriores (AZR, MAE, R-Zero).

Resultados Experimentales

La evaluación abarca razonamiento general, matemáticas y generación de código.

• Razonamiento General: COSE logra el mejor rendimiento promedio en los cuatro modelos base. Cabe destacar que, en los modelos más débiles Qwen3-0.6B y Llama-3.2-3B, COSE produce ganancias sustanciales (por ejemplo, +28.5 puntos en Qwen3-0.6B), superando significativamente a las líneas base. Los autores atribuyen esto al hecho de que los modelos más débiles producen retroalimentación más ruidosa; la ponderación por confianza de COSE amortigua efectivamente el impacto de estos errores, mientras que las líneas base los refuerzan.
• Matemáticas: COSE muestra las mayores mejoras en puntos de referencia matemáticos difíciles (por ejemplo, Olympiad-Bench, Minerva). Los resultados sugieren que el control de confianza es particularmente vital cuando el Juez debe distinguir entre derivaciones plausibles pero incorrectas, un escenario donde el auto-juzgamiento ingenuo a menudo falla.
• Generación de Código: En dominios con verificación ejecutable (código), COSE se mantiene competitivo. Aunque los métodos que dependen de verificadores externos (como AZR) a veces funcionan ligeramente mejor en modelos base específicos, COSE no sufre una regresión significativa. Esto indica que la ponderación por confianza no perjudica el rendimiento en dominios donde la retroalimentación ya es confiable.
• Estudios de Ablación: Eliminar el PPO ponderado por confianza causa la caída de rendimiento más significativa, particularmente en matemáticas, confirmando que controlar la fuerza del gradiente es el principal motor del éxito. Eliminar la prioridad de reproducción tiene un efecto negativo menor pero consistente.

Significado y Afirmaciones

El artículo afirma que la autoevolución se vuelve más efectiva cuando los modelos no solo aprenden de su propia retroalimentación, sino que también controlan la fuerza con la que la retroalimentación incierta afecta el entrenamiento.

• Robustez: COSE proporciona un mecanismo para prevenir la amplificación de errores en los bucles de autoevolución. Permite que los modelos se beneficien de datos auto-generados incluso cuando el Validador/Juez es imperfecto, siempre que el modelo pueda reconocer su propia incertidumbre.
• Generalizabilidad: A diferencia de los métodos restringidos a dominios ejecutables, COSE permite la autoevolución en tareas de razonamiento de dominio abierto donde no hay verificadores externos disponibles.
• Modestia: Los autores declaran explícitamente que la confianza es una señal de incertidumbre heurística, no una garantía de corrección. Reconocen que las salidas de alta confianza aún pueden ser incorrectas, particularmente en problemas adversarios o fuera de la distribución. Además, el método depende del acceso a probabilidades a nivel de token (logits), lo que limita su aplicación directa a APIs de caja negra sin estrategias de muestreo adicionales. Los experimentos se realizan en modelos de peso abierto relativamente pequeños (0.6B–4B), y el comportamiento de escalado hacia modelos más grandes sigue siendo una pregunta abierta para trabajos futuros.

En resumen, COSE representa un cambio de tratar la retroalimentación auto-generada como supervisión uniforme a tratarla como una señal ponderada, donde el peso está determinado por la propia confianza del modelo en producir esa señal. Este enfoque estabiliza el proceso de autoevolución, particularmente en el régimen intermedio desafiante donde los modelos están mejorando pero sus capacidades de autoevaluación aún son ruidosas.