Resumen Técnico: Sobre la Brecha de Generalización en la Evolución Propia del Razonamiento de Modelos de Lenguaje

Declaración del Problema

Los avances recientes en los Modelos de Lenguaje de Gran Tamaño (LLMs) han demostrado un progreso significativo en tareas de razonamiento complejo, a menudo impulsado por técnicas de post-entrenamiento como el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF). Sin embargo, estos métodos dependen típicamente de datos etiquetados por humanos o recompensas externas verificables. Un área de interés creciente es la Evolución Propia (Self-Evolution, SE), donde los modelos mejoran utilizando señales de supervisión generadas únicamente por ellos mismos.

La pregunta central abordada en este trabajo es: Bajo una configuración de bucle cerrado estricta, donde el algoritmo de SE tiene acceso solo a un conjunto de prompts sin etiquetar y a un modelo base, ¿qué tan cerca puede estar la supervisión generada internamente del entrenamiento supervisado por un oráculo?

Si bien trabajos previos sugieren que la SE puede mejorar el rendimiento, también resaltan riesgos como el colapso del modelo y los rendimientos decrecientes. Este artículo busca cuantificar empíricamente la "brecha de generalización" entre los modelos con evolución propia y aquellos entrenados con supervisión de verdad fundamental (oráculo), aislando los efectos de las señales internas sin herramientas externas, entornos simbólicos o intervención humana.

Metodología

Marco de Trabajo y Configuración

Los autores proponen un marco de evolución propia offline unificado donde un único modelo base $M$ se instancia en dos roles:

1. Generador ($G$): Propone soluciones candidatas.
2. Verificador ($V$): Evalúa la calidad de estas soluciones.

El marco opera sobre un conjunto de prompts sin etiquetar $D$. Todos los rastros de razonamiento, soluciones, recompensas y etiquetas de preferencia deben derivarse de $M$ mismo. El estudio evalúa cuatro estrategias representativas dentro de este marco:

1. Verificación de Ronda Única (SimpleSE): El verificador juzga respuestas candidatas estáticas. Para mitigar el ruido, se utiliza un mecanismo de votación por mayoría con umbral: una respuesta se etiqueta como positiva si la tasa de corrección del verificador supera un umbral $\tau$, negativa si es inferior a $1-\tau$, y se descarta en caso contrario.
2. Revisión de Multi-turno con Retroalimentación (RevisionSE): El verificador proporciona retroalimentación textual sobre soluciones incorrectas, y el generador revisa su salida. Se extraen pares de preferencia cuando una revisión convierte una solución incorrecta en una correcta.
3. Entrenamiento Iterativo: El juego generador-verificador se aplica repetidamente. El modelo se ajusta mediante los datos de preferencia generados, y el modelo actualizado se utiliza para la siguiente ronda de generación y verificación.
4. Aprendizaje de Currículo (Curriculum Learning): El entrenamiento procede de instancias más fáciles a más difíciles (por ejemplo, problemas de Knights and Knaves con menos personas a otros con más), en lugar de una mezcla aleatoria.

Conjuntos de Datos y Modelos

• Benchmark Primario: Tareas de razonamiento lógico Knights and Knaves (KK). Este conjunto de datos es elegido por sus soluciones deterministas, dificultad controlada (parametrizada por el número de personas) y un banco de pruebas limpio para la generalización de fácil a difícil.
• Benchmarks Secundarios: OpenThoughts3 (razonamiento matemático), GSM8K, MATH500, MATHHard y TabMWP para evaluar la robustez más allá de la lógica determinista.
• Modelos: El estudio utiliza principalmente la familia Gemma-3-it (1B, 4B, 12B y 27B como límite superior) y Qwen-2.5-Instruct. Se utilizan variantes ajustadas por instrucciones para asegurar que el modelo pueda seguir los prompts del sistema para generación y verificación.
• Objetivo de Entrenamiento: Los pares de preferencia generados $(y_w, y_l)$ se utilizan para ajustar la política mediante Optimización de Preferencia Directa (DPO).
• Línea Base del Oráculo: Una configuración donde se utilizan soluciones de verdad fundamental para etiquetar ejemplos como correctos/incorrectos, sirviendo como el límite superior de rendimiento.

Contribuciones Clave

1. Análisis Sistemático de la SE en Bucle Cerrado: El artículo proporciona una comparación unificada de los métodos de SE bajo una restricción estricta de bucle cerrado, aislando sus efectos en relación con la optimización de preferencia supervisada por un oráculo. Evalúa múltiples estrategias (verificación, revisión, iteración, currículo) en el benchmark KK.
2. Efecto de la Calidad de la Supervisión Interna: El estudio demuestra que la calidad de la señal del verificador es crítica. La retroalimentación de multi-turno (RevisionSE) produce el mejor rendimiento, particularmente para modelos más grandes (12B), donde casi iguala el entrenamiento supervisado por el oráculo. Sin embargo, esto conlleva un alto costo computacional.
3. Arranque de Capacidad (Bootstrapping) y Generalización: Los autores investigan la transferencia de "fácil a difícil". Mientras que el entrenamiento iterativo y el aprendizaje de currículo mejoran la capacidad de resolver ejemplos más difíciles (por ejemplo, instancias de KK con 6–8 personas), la capacidad de mejorar la generalización fuera de la distribución (OOD) sigue siendo limitada en comparación con la supervisión del oráculo.
4. Cuantificación de la Brecha Persistente: Incluso con estrategias de SE cada vez más estructuradas e intensivas en computación, persiste una brecha de rendimiento de aproximadamente 8–13% respecto a la supervisión del oráculo en la mayoría de los entornos. Esta brecha se observa tanto en los datos controlados de KK como en los entornos del mundo real de OpenThoughts3.

Resultados

Rendimiento en Knights and Knaves (KK)

• Modelo Base: Gemma 3 4B logra un 31.0% de precisión.
• Supervisión del Oráculo: El entrenamiento con señales de verdad fundamental eleva la precisión al 53.3%.
• Estrategias de Evolución Propia:
  • Verificación de ronda única (SimpleSE): 40.7%.
  • Retroalimentación de multi-turno (RevisionSE): 42.2%.
  • Entrenamiento iterativo: 44.1%.
  • Aprendizaje de currículo: 44.8%.
• Efectos de Escala:
  • Modelo 1B: Muestra una mejora insignificante (0.6%) o incluso una degradación con RevisionSE, lo que resalta un umbral de capacidad donde los modelos pequeños introducen ruido que corrompe el aprendizaje.
  • Modelo 4B: Logra ganancias significativas pero permanece entre un 8 y 13% por debajo del oráculo.
  • Modelo 12B: RevisionSE logra un 52.8% de precisión, casi igualando la línea base del oráculo de 53.6%. Esto sugiere que los modelos más grandes poseen capacidades intrínsecas de verificación y revisión suficientes para cerrar la brecha.

Rendimiento en Benchmarks del Mundo Real

En OpenThoughts3 y otros benchmarks de razonamiento (GSM8K, MATH500), las ganancias de auto-mejora son modestas. Por ejemplo, en MATH500, SimpleSE mejora a Gemma 4B en solo un 1.6%. El artículo señala que, para problemas de naturaleza abierta, los verificadores internos luchan por distinguir caminos de razonamiento plausibles pero erróneos de los correctos, lo que conduce a ganancias menores en comparación con las tareas deterministas de KK.

Compromisos Computacionales

El estudio encuentra que escalar el número de pasadas del verificador ($n_2$) es generalmente más rentable que escalar el número de generaciones de candidatos ($n_1$). Los umbrales de confianza moderados (por ejemplo, $\tau = 0.7$) ofrecen un buen equilibrio entre precisión y exhaustividad (recall).

Significancia y Afirmaciones

El artículo afirma caracterizar cuándo la SE en bucle cerrado puede ayudar y cómo la supervisión generada internamente sigue siendo insuficiente bajo una formulación mínima.

• Limitaciones de las Señales Internas: El hallazgo principal es que, bajo una restricencia estricta de bucle cerrado, la retroalimentación interna por sí sola no es un sustituto general para las recompensas verificables o las soluciones curadas de verdad fundamental. Aunque la SE puede "afilar" la confianza del modelo en sus modos de solución existentes (mejorando el Pass@1), no enseña de manera fiable al modelo a resolver problemas mucho más difíciles sin señales externas.
• Umbral de Capacidad: La auto-mejora depende altamente de la escala del modelo. Los modelos más pequeños (ej. 1B) a menudo fallan en evolucionar eficazmente debido al ruido del verificador, mientras que los modelos más grandes (12B+) pueden aprovechar la retroalimentación de multi-turno para acercarse al rendimiento del oráculo.
• Brecha de Generalización: Existe una brecha persistente entre los modelos con evolución propia y los modelos entrenados con el oráculo, particularmente para la generalización OOD y las tareas de razonamiento de naturaleza abierta. El artículo sugiere que, si bien la SE es útil para destilar capacidades de verificación latentes, no puede reemplazar completamente la necesidad de una supervisión externa de alta calidad en dominios de razonamiento complejos.

En resumen, el trabajo proporciona una línea base empírica rigurosa que muestra que, si bien la evolución propia ofrece mejoras medibles, actualmente se estanca por debajo del techo de rendimiento alcanzable con la supervisión del oráculo, a menos que el modelo sea lo suficientemente grande como para actuar como su propio verificador y revisor confiable.