Resumen Técnico: Refinamiento de Autoverificación (SVR)

Planteamiento del Problema

Escalar la computación en tiempo de prueba es una estrategia central para mejorar el razonamiento de los modelos de lenguaje, pero los enfoques actuales enfrentan dos limitaciones primarias:

1. Asignación Ineficiente de Recursos: Los métodos de presupuesto fijo (por ejemplo, refinamiento de múltiples turnos uniforme o muestreo de $k$ fijo) desperdician computación en entradas fáciles que ya están resueltas y pueden fallar al no asignar suficientes recursos a las entradas difíciles.
2. Dependencia de Señales Externas: Los métodos adaptativos o de autocorrección existentes a menudo dependen de verificadores externos, entornos de ejecución o retroalimentación de oráculo (corrección de la verdad fundamental) para decidir cuándo detener el refinamiento. Estas señales suelen ser costosas, no están disponibles en el despliegue o introducen una desconexión entre los límites de información de entrenamiento e inferencia.

El desafío central es permitir que un modelo aprenda una señal de control interna para decidir si retiene una respuesta actual o asigna más turnos de refinamiento, utilizando únicamente señales generadas por la propia política, sin acceso a la corrección de la verdad fundamental durante la inferencia.

Metodología: Refinamiento de Autoverificación (SVR)

Los autores proponen el Refinamiento de Autoverificación (SVR), un marco de aprendizaje por refuerzo de múltiples turnos libre de oráculo que aprende a utilizar la autoverificación como una política de control de computación.

1. Formulación de Refinamiento Adaptativo

SVR trata la computación en tiempo de prueba como un problema de asignación secuencial. En cada turno $t$, la política $\pi_\theta$ genera una salida estructurada $o_t = (r_t, a_t, v_t, c_t)$, que consiste en:

• $r_t$: Traza de razonamiento.
• $a_t$: Respuesta de la tarea.
• $v_t$: Veredicto discreto (Correcto, Incorrecto o Incierto).
• $c_t$: Puntuación de confianza (estimación de probabilidad de que $a_t$ sea correcto).

Mecanismo de Inferencia:
El controlador en tiempo de inferencia opera sobre un límite de información libre de oráculo. Detiene y devuelve la respuesta actual $a_t$ si y solo si:

1. La generación no está truncada ($q_t = 0$).
2. El veredicto es Correcto ($v_t = C$).
3. La confianza supera un umbral de despliegue $\gamma$ ($c_t \ge \gamma$).

Si estas condiciones no se cumplen y el presupuesto permanece, el modelo construye el siguiente prompt utilizando el problema original, el borrador retenido y el propio estado de autoverificación de la política, sin acceder nunca a las etiquetas de verdad fundamental.

2. Entrenamiento: Aprendizaje por Refuerzo Conjunto de Veredicto-Confianza

SVR se entrena utilizando Optimización de Política Relativa de Grupo (GRPO) sobre trayectorias de horizonte fijo ($T_{tr}$). La corrección de la verdad fundamental se utiliza únicamente para construir las recompensas de entrenamiento y nunca se expone a la política durante el proceso de refinamiento.

El retorno a nivel de trayectoria $R_{SVR}$ promedia tres señales por turno:

• Recompensa de Solución ($r_{solve}$): Recompensa la corrección absoluta y el progreso entre turnos (por ejemplo, corregir errores o preservar respuestas correctas) mientras penaliza la regresión y el truncamiento.
• Recompensa de Autoverificación ($r_{verify}$): Un objetivo compuesto diseñado para alinear el par veredicto-confianza con la corrección empírica:
  • Calibración: Un objetivo de tipo Brier para alinear la confianza $c_t$ con la corrección $y_t$.
  • Penalización por Exceso de Confianza: Penaliza los veredictos de Correcto con alta confianza en respuestas incorrectas.
  • Detección de Errores: Recompensa los veredictos de Incorrecto explícitos en respuestas erróneas.
  • Preparación para Parada (Stop-Readiness): Incentiva una alta confianza en respuestas correctas para facilitar la parada temprana.
• Recompensa de Formato ($r_{fmt}$): Asegura un formato de tarea-respuesta válido y estructuras de autochequeo analizables.

Diseño Clave de Entrenamiento:

• Recolección de Horizonte Fijo: Durante el entrenamiento, todas las trayectorias corren durante los $T_{tr}$ turnos completos, independientemente de los veredictos intermedios. Esto evita que una parada temprana errónea corte la exposición necesaria de la política a los estados de refinamiento.
• Alcance de Optimización: La pérdida de gradiente de política se aplica solo a los tokens de finalización de la trayectoria. Los turnos intermedios contribuyen al retorno de la trayectoria (supervisando la señal de autoverificación) pero no se tratan como muestras de optimización independientes.

3. Inferencia

En la inferencia, la política entrenada se despliega con un programador adaptativo. El modelo genera turnos secuencialmente, evaluando la condición de parada después de cada turno. El horizonte de entrenamiento $T_{tr}$ y el presupuesto de despliegue $T_{max}$ son independientes; $T_{tr}$ asegura una cobertura de supervisión suficiente, mientras que $T_{max}$ limita el costo en el peor de los casos.

Contribuciones Clave

1. Marco de Bucle Cerrado Libre de Oráculo: SVR introduce un método donde una sola política aprende tanto a refinar respuestas como a generar la señal estructurada de autoverificación (veredicto + confianza) requerida para el control en tiempo de inferencia, eliminando la necesidad de verificadores externos o retroalimentación de oráculo durante el despliegue.
2. Objetivo de RL Conjunto de Veredicto-Confianza: Los autores desarrollan un objetivo de múltiples turnos que agrega la calidad de la solución, la autoverificación consciente de la calibración y la preparación para la parada en un único retorno de trayectoria. Esto entrena a la política para producir señales de parada accionables sin optimizar directamente el costo de inferencia realizado durante el entrenamiento.
3. Validación Empírica: El marco demuestra que la autoverificación aprendida puede servir como una señal de control efectiva para la asignación adaptativa de computación, logrando un compromiso precisión-computación superior comparado con las líneas base de presupuesto fijo y guiadas por oráculo.

Resultados Experimentales

El método fue evaluado utilizando Qwen3.5-2B a través de siete benchmarks de razonamiento matemático (Countdown, GSM8K, MATH500, AIME26, AMC23, OlympiadBench, MinervaMath).

• Desempeño: SVR alcanzó una precisión promedio macro de 0.563 en los 7 benchmarks.
• Eficiencia: Requirió un promedio de solo 2.99 turnos de inferencia por ejemplo.
• Comparaciones:
  • Superó a la línea base de múltiples turnos no-oráculo más fuerte (Murphy) por 7.5 puntos porcentuales en precisión.
  • Superó a una referencia de presupuesto fijo guiada por oráculo (que utiliza retroalimentación externa de corrección) por 4.4 puntos porcentuales, utilizando significativamente menos tokens.
  • Igualó la precisión de la votación por mayoría de 10 muestras de GRPO consumiendo aproximadamente la mitad del costo de tokens.
• Estudios de Ablación:
  • Eliminar el bloque de recompensa de autoverificación ($R_{verify}$) redujo la precisión en ~3.5 puntos, confirmando la necesidad de la señal de control.
  • Eliminar el componente de "preparación para la parada" aumentó el promedio de turnos a 3.83 y redujo la precisión en 6.9 puntos, resaltando la importancia de entrenar al modelo para reconocer cuándo está listo para detenerse.
  • El SVR de un solo turno (sin refinamiento iterativo) cayó significativamente en precisión, probando que el refinamiento iterativo es esencial.
  • Usar solo veredictos o solo confianza resultó en un desempeño subóptimo en comparación con la señal conjunta.

Significado y Reivindicaciones

El artículo afirma que SVR demuestra que la autoverificación aprendida puede reemplazar eficazmente las señales de oráculo externas para controlar la computación en tiempo de prueba. Al tratar la autoverificación estructurada no simplemente como una descripción post-hoc de la incertidumbre, sino como una señal a nivel de política, SVR permite que los modelos:

• Retengan respuestas intermedias correctas que de otro modo podrían ser sobrescritas por un mayor refinamiento.
• Asignen computación de forma adaptativa basada en la dificultad de la instancia, evitando el desperdicio de los enfoques de presupuesto fijo.
• Operen de manera "libre de oráculo" en la inferencia, haciendo que el enfoque sea desplegable en entornos donde los verificadores externos no están disponibles.

Los autores señalan que, aunque SVR mejora significativamente la frontera de precisión-computación, reducir los Errores de Parada Prematura (PSE) en problemas difíciles sigue siendo un desafío abierto, ya que el modelo todavía detiene ocasionalmente el refinamiento en respuestas incorrectas con alta confianza. El trabajo sugiere que la integración de la autoverificación dentro de la propia política de razonamiento es un camino viable hacia un razonamiento adaptativo y eficiente sin supervisión externa.