Resumen Técnico: LatentRevise: Aprendiendo de la Razonamiento de Cero Aciertos

1. Planteamiento del Problema: El Régimen de Cero Aciertos en RLVR

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) se ha convertido en un enfoque estándar para mejorar el razonamiento en los modelos de lenguaje. Sin embargo, enfrenta un cuello de botella fundamental conocido como el régimen de cero aciertos (zero-hit regime). En este escenario, se presenta un prompt donde la política actual no logra generar ni una sola trayectoria correcta dentro de un presupuesto de muestreo práctico (es decir, $pass@N = 0$).

Los algoritmos de RLVR estándar, como la Optimización de Política Relativa de Grupo (GRPO), dependen de ventajas normalizadas por grupo para actualizar la política. Cuando todas las trayectorias muestreadas en un grupo fallan, reciben recompensas idénticas (típicamente cero o negativas). En consecuencia, la media del grupo es igual a las recompensas individuales, lo que provoca que la ventaja normalizada colapse a cero. Esto resulta en una falta de señales de gradiente constructivas, descartando efectivamente estos prompts "difíciles" como ruido imposible de aprender.

Los remedios existentes intentan abordar esto mediante:

1. Aumentar el presupuesto de muestreo: Elevando $N$ o la temperatura de decodificación, lo cual es computacionalmente costoso y sigue siendo basado únicamente en el resultado (carece de guía intermedia).
2. Destilación on-policy: Utilizando un modelo profesor o información privilegiada para proporcionar objetivos a nivel de token. Sin embargo, estos métodos dependen de una guía externa que puede ser débil, estar desajustada o no estar disponible cuando el modelo estudiante ya está teniendo dificultades.

El problema central es que estos prompts de cero aciertos suelen encontrarse en la "frontera de muestreo" donde se necesitan nuevos comportamientos de razonamiento, pero los procesos estándar no pueden aprender de ellos porque carecen de una señal positiva.

2. Metodología: LatentRevise

Los autores proponen LatentRevise, un método de revisión latente de primer orden diseñado para recuperar señales de entrenamiento de ejecuciones fallidas sin requerir modelos profesores externos o trazas de referencia. En lugar de descartar una trayectoria fallida, LatentRevise la trata como una traza informativa y optimiza los embeddings de entrada del prefijo de razonamiento en un espacio latente continuo.

Flujo de Trabajo Principal

1. Entrada: Una ejecución fallida $y_{fail} = [r; c]$, donde $r$ es el prefijo de razonamiento y $c$ es la continuación fallida, junto con la respuesta de oro $y_{GT}$.
2. Congelar y Optimizar: Los parámetros del modelo $\theta$ se mantienen congelados. Los embeddings de entrada del prefijo de razonamiento, $E_r$, se optimizan para desplazar la trayectoria lejos del fallo y hacia la solución.
3. Objetivo Compuesto: La optimización minimiza una pérdida total $L_{total}$ compuesta por tres términos:
   • Pérdida de Exploración Latente ($L_{explore}$): Una señal repulsiva que minimiza la probabilidad de reproducir la continuación fallida original $c$. Esto incentiva al estado latente a explorar caminos alternativos.
   • Pérdida de Guía Latente ($L_{guide}$): Una señal de guía que maximiza la probabilidad de generar la respuesta de oro $y_{GT}$ (condicionada a una plantilla de respuesta fija). Esto ancla la revisión hacia la solución correcta.
   • Prior de Fluidez Lingüística ($L_{NLL}$): Un término de regularización que mantiene la verosimilitud negativa de los tokens de razonamiento originales $r$. Esto asegura que el embedding optimizado permanezca semánticamente coherente y no derive hacia ruido adversarial.
4. Restricción de Manifold (Frank-Wolfe): Para evitar que los embeddings continuos deriven hacia un espacio de características ininterpretable (donde el modelo podría "hacer trampa" codificando respuestas en vectores arbitrarios), la optimización se restringe al envolvente convexo de los embeddings del vocabulario del modelo. Esto se logra mediante el algoritmo de Frank-Wolfe (Gradiente Condicional). En cada paso, la actualización es una combinación convexa del embedding actual y el vértice óptimo (token del vocabulario) que minimiza la aproximación lineal de la pérdida.
5. Recuperación Discreta: El prefijo suave optimizado $E^*_r$ se proyecta de nuevo a tokens discretos mediante una búsqueda de vecino más cercano contra la matriz del vocabulario. Se decodifica una nueva continuación de forma autorregresiva. Si la trayectoria resultante pasa el verificador, se retiene como datos supervisados o se inyecta de nuevo en los grupos de RL.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Reencuadre de la Frontera de Cero Aciertos: Los autores identifican los prompts de cero aciertos no como valores atípicos imposibles de aprender, sino como una frontera recuperable. Demuestran que se pueden recuperar algorítmicamente señales de entrenamiento válidas de estos fallos utilizando el propio espacio latente del modelo.
2. Algoritmo LatentRevise: Un novedoso marco de revisión latente de primer orden que convierte ejecuciones fallidas en exitosas. Crucialmente, opera sin distribuciones de modelos profesores o trazas privilegiadas externas, apoyándose en la respuesta de oro y en la propia continuación fallida del modelo para generar señales de corrección densas y por posición.
3. Validación Empírica: Se demuestra que las trayectorias recuperadas son datos de alto valor para el entrenamiento. Mejoran tanto el $pass@1$ como el $pass@k$ en tareas de razonamiento matemático, particularmente en escenarios donde el RL estándar y presupuestos de muestreo más grandes no logran generar mejoras.

4. Resultados Experimentales

El método fue evaluado en DAPO-Math-14K utilizando los modelos Qwen2.5-1.5B-Instruct y Qwen3-8B-Base a través de diversos benchmarks incluyendo MATH500, AIME 24/25, AMC 23, OlympiadBench y Minerva Math.

• Régimen de Cero Aciertos (DAPO-Hard): En el subconjunto de consultas donde el modelo base logró un $pass@32 = 0$ (aprox. 46% del dataset para el modelo más pequeño), el GRPO estándar proporcionó una mejora insignificante debido al colapso de las ventajas. LatentRevise, al usarse para generar datos de SFT o inyectarse en grupos de RL, superó significativamente a las líneas base.
  • Para Qwen2.5-1.5B, GRPO+Ours alcanzó un $pass@32$ promedio de 53.51%, comparado con el 44.84% de GRPO estándar y el 50.69% de GRPO con un grupo de ejecución duplicado ($N=16$).
  • Notablemente, el método superó a OPSD (Auto-destilación On-Policy), que depende de un profesor condicionado por la respuesta de oro, sugiriendo que la optimización latente interna de LatentRevise es más efectiva que el condicionamiento de profesor retrospectivo en este régimen.
• Dataset Completo (DAPO-Full): Al aplicarse al conjunto completo de distribución de entrenamiento (mezclando prompts fáciles y difíciles), LatentRevise continuó superando a GRPO, DAPO y las líneas base de mayor número de ejecuciones, observándose las ganancias más significativas en valores de $k$ más altos ($pass@32$).
• Eficiencia: LatentRevise incurrió en una sobrecarga computacional menor que simplemente duplicar el tamaño del grupo de ejecución ($N=16$). Añadió ~24% de tiempo de entrenamiento y ~3% de memoria sobre el GRPO estándar ($N=8$), mientras que duplicar el tamaño del grupo aumentó el tiempo en ~66% y la memoria en ~14%.
• Análisis Cualitativo: Las trayectorias revisadas exhibieron una mayor longitud y marcadores explícitos de autorreflexión (ej. "Espera, déjame reconsiderar"), lo que indica que el método hace emerger comportamientos de corrección de errores que el muestreo discreto rara vez alcanza.

5. Significado y Afirmaciones

El artículo afirma que LatentRevise ofrece un eje complementario para el RL de razonamiento. Cuando el muestreo a nivel de token alcanza su frontera de presupuesto finito, la revisión de primer orden en el propio espacio latente del modelo puede transformar ejecuciones fallidas en supervisión verificada.

Los autores sostienen que:

• Los prompts de cero aciertos son valiosos: No son meramente ruido, sino que representan una frontera de entrenamiento de alto valor. Una vez revisados, proporcionan señales que expanden la cobertura de soluciones del modelo.
• La recuperación interna es viable: Un modelo puede aprender de sus propios fallos sin necesidad de un profesor más fuerte o trazas de referencia externas, siempre que la optimización esté restringida al manifold del vocabulario.
• Eficiencia: Recuperar señales de ejecuciones fallidas es computacionalmente más eficiente que la expansión bruta del muestreo, especialmente a medida que las escalas de los modelos y las cadenas de razonamiento se alargan.

El trabajo sugiere que, a medida que las tareas de razonamiento se vuelven más difíciles, la frontera del entrenamiento basado en muestreo puede expandirse no solo mediante el aumento del muestreo, sino mediante la revisión de lo que ya se ha muestreado, convirtiendo los "callejones sin salida" de la política actual en una fuente de currículo y señal de entrenamiento.