Beyond Majority Voting: Towards Fine-grained and More Reliable Reward Signal for Test-Time Reinforcement Learning

Resumen Técnico: SCOPE

1. El Problema

El aprendizaje por refuerzo (RL) en el momento de la prueba (Test-Time Reinforcement Learning o TTRL) ha surgido como una alternativa prometedora para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLMs) sin depender de datos anotados manualmente. Métodos anteriores, como TTRL (Zuo et al., 2025), utilizan el voto mayoritario sobre múltiples respuestas generadas para crear una etiqueta pseudo-supervisada (consenso) y calcular recompensas.

Sin embargo, esta estrategia de voto mayoritario presenta dos limitaciones críticas:

1. Sesgo de Confirmación: Si la mayoría de las respuestas incorrectas coinciden en una respuesta plausible pero errónea, el modelo refuerza su propio error, ignorando respuestas minoritarias que podrían ser correctas.
2. Recompensas Escasas (Sparse Rewards): El voto binario (correcto/incorrecto basado en frecuencia) ignora la calidad del razonamiento paso a paso y la incertidumbre del modelo, proporcionando señales de entrenamiento poco densas y ruidosas.

2. Metodología: SCOPE

Los autores proponen SCOPE (Subgroup-specific step-wise Confidence-weighted pseudo-label estimation), un marco de trabajo diseñado para mitigar estos problemas mediante dos componentes principales:

A. Estimación de Etiquetas con Ponderación de Confianza Paso a Paso
En lugar de contar simplemente la frecuencia de las respuestas, SCOPE integra la confianza del modelo en la estimación de la etiqueta de consenso.

• Confianza Paso a Paso: Se descompone cada respuesta en pasos de razonamiento (separados por saltos de línea). Se calcula la confianza promedio de los tokens en cada paso basándose en la distribución de probabilidad del modelo.
• Votación Ponderada: La etiqueta de consenso ($o^*$) se determina ponderando cada respuesta por su puntuación de confianza promedio de los pasos. Esto permite que una respuesta minoritaria pero altamente confiable (y potencialmente correcta) supere a una respuesta mayoritaria pero con baja certeza.

B. Partición Dinámica en Subgrupos
Para abordar la escasez de recompensas y fomentar la exploración, el conjunto de respuestas se divide en subgrupos independientes en lugar de tratarlos como un solo grupo global.

• Consenso Local: Cada subgrupo genera su propia etiqueta de consenso local utilizando la votación ponderada por confianza.
• Recompensas Granulares: Las respuestas se evalúan contra el consenso de su propio subgrupo, no contra un consenso global único. Esto crea señales de recompensa más densas y diversas.
• Selección Automática de Tamaño (Optimización de Pareto): El tamaño del subgrupo ($m$) no es fijo. El sistema utiliza optimización de Pareto para equilibrar automáticamente dos objetivos conflictivos durante el entrenamiento:
  1. Calidad: Maximizar la alineación con el consenso local.
  2. Exploración: Maximizar la diversidad de las etiquetas de consenso descubiertas.
     El algoritmo selecciona dinámicamente el tamaño óptimo del subgrupo que minimiza la distancia de compromiso entre calidad y diversidad.

3. Contribuciones Clave

1. Marco SCOPE: Un nuevo enfoque de RL en el momento de la prueba que combina ponderación de confianza paso a paso y partición en subgrupos para superar las limitaciones del voto mayoritario tradicional.
2. Recuperación de Respuestas Minoritarias: La introducción de la confianza paso a paso permite recuperar respuestas correctas que estarían en minoría bajo un sistema de votación simple, mitigando el sesgo de confirmación.
3. Equilibrio Dinámico: El uso de la optimización de Pareto para seleccionar automáticamente el tamaño del subgrupo permite adaptar la densidad de recompensas y la precisión de la estimación sin intervención manual.
4. Validación Empírica: Demostración de que el método supera consistentemente a los baselines actuales en múltiples modelos y benchmarks de razonamiento matemático.

4. Resultados Experimentales

Los experimentos se realizaron en diversos modelos (Qwen2.5, Qwen3, LLaMA3.1) y benchmarks (AIME 2024/2025, AMC, MATH-500).

• Rendimiento General: SCOPE superó consistentemente a las líneas base, incluido el TTRL estándar y otros métodos de RL no supervisado.
• Mejoras Destacadas:
  • En el modelo Qwen3-8B, SCOPE logró una mejora relativa del 13.1% en el desafiante benchmark AIME 2025 y un 8.1% en AMC.
  • En modelos más pequeños (Qwen2.5-Math-1.5B), la mejora relativa en AIME 2024 fue del 36.5%, demostrando que el método es efectivo incluso en modelos con capacidades de auto-verificación limitadas.
• Estudios de Ablación:
  • Eliminar la partición en subgrupos causó una caída drástica en el rendimiento (hasta -5.83%), confirmando que la supervisión monolítica crea un cuello de botella en la exploración.
  • Eliminar la ponderación por confianza (usando voto mayoritario simple) resultó en una pérdida de rendimiento significativa, validando la importancia de la señal de confianza.
• Estabilidad: SCOPE redujo la deriva del consenso (consensus drift) y aumentó la precisión de las etiquetas pseudo-supervisadas en un 20.81% en comparación con TTRL.

5. Significado e Impacto

Este trabajo es significativo porque aborda uno de los cuellos de botella más importantes en el RL no supervisado para LLMs: la fiabilidad de la señal de recompensa.

• Más allá del Voto Mayoritario: Demuestra que la frecuencia de las respuestas no es un proxy fiable de la calidad del razonamiento; la confianza del modelo es una métrica superior.
• Eficiencia de Muestras: Al proporcionar recompensas más densas y precisas, SCOPE permite que los modelos aprendan más rápido y de manera más robusta sin necesidad de datos etiquetados.
• Escalabilidad: La capacidad de equilibrar automáticamente la exploración y la explotación mediante la optimización de Pareto hace que el método sea adaptable a diferentes tamaños de modelos y niveles de dificultad de tareas.

En conclusión, SCOPE representa un avance hacia sistemas de auto-mejora de LLMs más robustos, capaces de corregir sus propios errores y explorar soluciones complejas sin depender de supervisión externa costosa.