Resumen Técnico: TTRL-CoCoV

Planteamiento del Problema

El Aprendizaje por Refuerzo en Tiempo de Prueba (TTRL, por sus siglas en inglés) ha emergido como un paradigma sin etiquetas para mejorar las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs) mediante la optimización de políticas a través del auto-muestreo y la construcción de recompensas internas, evitando la necesidad de anotaciones humanas o etiquetas de oráculo. Si bien los métodos recientes de TTRL han mejorado con éxito la precisión de generación de un solo paso (Pass@1), la optimización de Pass@k (cobertura de generación dentro de $k$ muestras) sigue estando críticamente subexplorada en entornos sin etiquetas.

La aplicación directa de las estrategias estándar de optimización de Pass@k de la RLVR (Aprendizaje por Refuerzo con Recompensas Verificables) supervisada al TTRL falla debido a tres desafíos fundamentales identificados mediante análisis empírico:

1. Señales de Exploración Ruidosas: La optimización de Pass@k depende de la exploración de muestras de baja confianza. En entornos sin etiquetas, estas muestras sufren de un severo ruido de pseudo-etiquetas, lo que corrompe las señales de exploración y degrada el rendimiento con el tiempo.
2. Colapso de la Varianza de Longitud: A diferencia de los entornos supervisados, la optimización de Pass@k en TTRL no logra mantener la diversidad de las respuestas. Los modelos exhiben un "colapso de longitud" donde las desviaciones estándar de las respuestas se reducen, indicando una convergencia prematura hacia plantillas de razonamiento rígidas y repetitivas.
3. Fallo de Formulación: Las formulaciones de ventaja estándar supervisadas para Pass@k no se traducen eficazmente a entornos no supervisados, lo que conduce a una degradación del rendimiento real de Pass@k en lugar de la expansión pretendida del espacio exploratorio.

Metodología: TTRL-CoCoV

Los autores proponen TTRL-CoCoV (Test-Time Reinforcement Learning with Confidence-Conditioned Verification), un nuevo marco que emplea un único modelo de pesos compartidos ($\pi_\theta$) que actúa tanto como generador como verificador. La innovación central es un mecanismo condicionado por la confianza que asigna dinámicamente los recursos de verificación basados en la confianza de consenso interno del modelo ($C_{maj}$) para resolver los desafíos identificados.

El marco clasifica las muestras en tres zonas de optimización distintas:

1. Zona de Exploración de Alta Confianza ($C_{maj} \ge \tau_{high}$)

• Estado: El modelo exhibe un alto consenso; las pseudo-etiquetas se consideran fiables.
• Acción: La respuesta mayoritaria se utiliza como la pseudo-etiqueta. La verificación se activa ($I_{verify}=1$) no para filtrar, sino para impulsar al verificador (bootstrap) utilizando datos de alta calidad, permitiendo la co-evolución.
• Mecanismo de Diversidad: Para prevenir el "colapso de longitud" observado en el TTRL estándar, se aplica una recompensa de mejora de la exploración ($R_{div}$). Esta recompensa incentiva la diversidad de las trayectorias (desviaciones de la longitud media de la respuesta) para las muestras etiquetadas correctamente, asegurando que el modelo continúe explorando estrategias de razonamiento variadas incluso en problemas ya dominados.

2. Zona de Verificación de Baja Confianza ($C_{maj} < \tau_{low}$)

• Estado: El modelo exhibe un bajo consenso; las pseudo-etiquetas de la votación por mayoría son altamente ruidosas.
• Acción: El marco delega la selección de la pseudo-etiqueta al verificador. El modelo genera múltiples trayectorias de verificación para las respuestas candidatas.
• Filtrado: Solo los candidatos con una Tasa de Paso de Verificación (VPR) alta son admitidos en el conjunto de confianza. Si ningún candidato pasa, la muestra se omite para evitar contaminar el modelo con gradientes erróneos. Esto resuelve el desafío de la "señal de exploración ruidosa".

3. Zona de Transición de Confianza Media ($\tau_{low} \le C_{maj} < \tau_{high}$)

• Estado: Niveles de confianza ambiguos donde la verificación ofrece una ventaja insignificante sobre la votación por mayoría.
• Acción: La verificación se omite ($I_{verify}=0$) para ahorrar sobrecarga de inferencia. La respuesta mayoritaria se utiliza directamente para las actualizaciones del generador sin recompensas de exploración adicionales.

Objetivo de Entrenamiento

La pérdida total es una suma ponderada de la pérdida de la política de generación ($L_{first}$) y la pérdida de la política de verificación ($L_{second}$). La pérdida de verificación emplea una matriz de recompensa suave asimétrica, penalizando los falsos positivos (validar incorrectamente una respuesta errónea) más fuertemente que los falsos negativos para asegurar que el verificador actúe como un filtro estricto.

Estrategia de Recocido de Dos Etapas (Two-Stage Annealing)

Para cerrar aún más la brecha entre el rendimiento sin etiquetas y el supervisado, los autores introducen una fase de recocido de política (policy annealing) post-entrenamiento. Tras la fase inicial de "exploración" (TTRL-CoCoV), la recompensa de diversidad se elimina y el modelo atraviesa una fase de "explotación" centrada en la maximización de Pass@1 de un solo camino. Esto permite al modelo refinar las diversas trayectorias de razonamiento acumuladas durante la exploración en soluciones altamente optimizadas.

Contribuciones Clave

1. Diagnóstico Empírico: El artículo proporciona la primera investigación sistemática de los modos de fallo de la optimización de Pass@k en TTRL no supervisado, identificando las señales ruidosas, el colapso de la diversidad y los desajustes de formulación como causas raíz.
2. Marco Adaptativo a la Confianza: TTRL-CoCoV introduce un mecanismo donde el generador y el verificador co-evolucionan. Las muestras de alta confianza entrenan al verificador, el cual a su vez filtra el ruido para las muestras de baja confianza, creando un ciclo virtuoso.
3. Recompensa de Mejora de la Exploración: Se diseña un mecanismo de recompensa a medida ($R_{div}$) para mantener la diversidad de las trayectorias específicamente en las regiones de alta confianza, evitando la convergencia prematura.
4. Rendimiento SOTA: El método logra resultados de vanguardia (state-of-the-art) en múltiples evaluaciones utilizando backbones Qwen3-4B y Qwen3-8B.

Resultados Experimentales

Los experimentos se realizaron en seis evaluaciones de razonamiento (incluyendo MATH500, AIME24/25, AMC, GPQA y DAPO) utilizando backbones Qwen3-4B y Qwen3-8B.

• Mejoras en Pass@1: TTRL-CoCoV logró ganancias absolutas promedio de +9.8% sobre el TTRL estándar en Qwen3-4B y +6.2% en Qwen3-8B.
• Mejoras en Pass@16: El método produjo ganancias masivas en la cobertura de generación, con mejoras absolas promedio de +18.7% (Qwen3-4B) y +13.0% (Qwen3-8B) sobre TTRL.
• Superación de Baselines Supervisados: Mediante la estrategia de recocido de dos etapas, el TTRL-CoCoV totalmente no supervisado logró mejoras de Pass@1 de hasta +5.0% sobre los baselines de GRPO totalmente supervisados en evaluaciones de razonamiento complejo específicas (ej. AIME25, GPQA), rompiendo efectivamente el techo de rendimiento establecido por los métodos supervisados.
• Estabilidad: El marco mantuvo una precisión de recompensa estable (>0.8) durante todo el entrenamiento, evitando el colapso de la pseudo-etiqueta en la etapa final visto en métodos competidores.

Significado y Reivindicaciones

El artículo afirma que TTRL-CoCoV aborda fundamentalmente la "brecha de verificación-generación" en el aprendizaje no supervisado. Al demostrar que la capacidad de verificación generalmente conduce a la capacidad de generación, el marco aprovecha la propia capacidad del modelo para verificar sus salidas para refinar las señales de entrenamiento.

Los autores sostienen que su enfoque logra cerrar la brecha entre el aprendizaje con etiquetas y el aprendizaje sin etiquetas. Notablemente, afirman que, al expandir primero el espacio exploratorio (Pass@k) y luego refinarlo (recocido), el método puede no solo igualar, sino superar los límites superiores de rendimiento de los baselines totalmente supervisados en tareas de razonamiento desafiantes, todo esto sin requerir ninguna etiqueta de verdad absoluta (ground-truth) durante el proceso de entrenamiento.