Resumen Técnico: Refinar en lugar de Remuestrear

Planteamiento del Problema

El artículo aborda las limitaciones de las estrategias actuales de escalado en tiempo de inferencia (test-time scaling) para Modelos de Lenguaje Extensos (LLMs) en el razonamiento matemático. Si bien la asignación de cómputo de inferencia adicional mediante un muestreo más amplio (por ejemplo, Best-of-N) o la selección basada en verificadores mejora el rendimiento, los autores identifican dos modos de fallo críticos:

1. Saturación de la Diversidad: Aumentar el presupuesto de muestras ($N$) a menudo produce rendimientos decrecientes. En lugar de descubrir nuevos caminos de razonamiento, las muestras adicionales tienden a agruparse en torno a unas pocas direcciones semánticas dominantes, revisitando patrones de respuesta existentes en lugar de expandir el espacio de soluciones.
2. Alucinación por Traza y Dependencia del Verificador:
   • Alucinación: Cada ejecución (rollout) independiente está sujeta al mismo ruido de generación. Si la respuesta "prevista" de un modelo es correcta pero se ve perturbada por errores de generación, el simple remuestreo no corrige la trayectoria subyacente; simplemente repite el error.
   • Calibración del Verificador: La selección basada en verificadores (usando Modelos de Recompensa de Proceso o de Resultado) depende fuertemente de la calibración de un modelo de recompensa externo. Los errores de calibración pueden degradar directamente la selección de la respuesta final, y estos métodos suelen requerir entrenamiento adicional o políticas de parada aprendidas.

Los autores argumentan que el cómputo en tiempo de inferencia se utiliza de manera más efectiva no solo para muestrear más, sino para refinar las trayectorias muestreadas antes de la agregación.

Metodología: Refinamiento de Amplitud–Profundidad

El marco propuesto es un enfoque libre de verificadores y libre de entrenamiento que utiliza el cómputo en tiempo de inferencia a lo largo de dos ejes: Amplitud (intentos iniciales diversos) y Profundidad (autocorrección iterativa).

Componentes Principales

El método utiliza un único modelo base $\pi_\theta$ condicionado en prompts específicos de rol para actuar como tres agentes distintos:

1. Generador ($\pi^G_\theta$): Produce continuaciones de razonamiento.
2. Crítico ($\pi^C_\theta$): Identifica errores lógicos, aritméticos o estructurales.
3. Corrector ($\pi^R_\theta$): Revisa la traza de razonamiento basándose en la crítica.

El Algoritmo

1. Inicialización (Amplitud): Se muestrean $N$ ejecuciones de razonamiento independientes del generador a una temperatura fija $\tau > 0$. Esto asegura puntos de partida diversos para contrarrestar la saturación de la diversidad.
2. Refinamiento Iterativo (Profundidad): Cada una de las $N$ ejecuciones se somete a $D$ rondas de un ciclo de tres etapas:
   • Continuación del Razonamiento: El generador extiende o reescribe la traza anterior.
   • Autocrítica: El crítico analiza la traza y produce una crítica en lenguaje natural. Si no encuentra errores, confirma explícitamente la traza.
   • Autocorrección: El corrector revisa la traza condicionada tanto al razonamiento como a la crítica.
3. Agregación: Tras $D$ pasos de refinamiento, las trazas corregidas finales se extraen en respuestas candidatas. La predicción final se determina mediante votación por mayoría (pluralidad) sobre las $N$ respuestas refinadas.

Crucialmente, este proceso no requiere un verificador externo, ningún modelo de recompensa, ni entrenamiento adicional.

Contribuciones Clave

1. Identificación de Limitaciones: Los autores caracterizan formalmente la "saturación de la diversidad" (donde un $N$ mayor no logra aumentar las direcciones de razonamiento únicas) y la "alucinación por traza" (donde el escalado de solo anchura no puede corregir errores de generación sistemáticos).
2. Marco de Amplitud–Profundidad: Proponen un método de refinamiento estructurado que preserva los intentos iniciales diversos (Amplitud) mientras aplica autocrítica y autocorrección iterativas (Profundidad) para reparar errores locales antes de la agregación.
3. Validación Empírica: El método se evalúa en cinco bancos de pruebas matemáticos (AIME24, AIME25, AMC, OlympiadBench, MATH500) y cuatro modelos de pesos abiertos (Qwen2.5-7B/1.5B, Ministral-8B, LLaMA-3.1-8B).

Resultados Experimentales

El método supera consistentemente al decodificado codicioso (greedy decoding), a la votación por mayoría (Maj@8), al Best-of-N basado en verificadores (RM@8), al beam search y al lookahead decoding.

• Ganancias de Rendimiento:
  • Qwen2.5-1.5B: En MATH500, la precisión mejoró del 29.6% (línea base RM@8) al 58.0%. En AMC, aumentó del 25.0% al 32.5%.
  • Qwen2.5-Math-7B: Mostró ganancias consistentes sobre las líneas base más fuertes en AIME25, AMC, OlympiadBench y MATH500.
  • Ministral-8B y LLaMA-3.1-8B: Demostraron mejoras claras, particularmente en AMC y MATH500.
• Estudios de Ablación:
  • Necesidad de Autocrítica: Eliminar la etapa de autocrítica explícita (w/o) resultó en un menor rendimiento comparado con el pipeline completo (w/), confirmando que la crítica proporciona una retroalimentación intermedia útil en lugar de solo aumentar el conteo de tokens.
  • Eficiencia de Cómputo: Aunque el método incurre en mayores costos de inferencia (TFLOPs) debido a las múltiples pasadas de refinamiento, la ganancia normalizada por cómputo ($\eta$) es positiva. Las ganancias son más pronunciadas para modelos más pequeños (por ejemplo, 1.5B), lo que sugiere que el refinamiento desbloquea capacidades de razonamiento latentes que no se expresan de forma fiable en generaciones de un solo paso.
• Dinámica de Refinamiento: El análisis muestra que el refinamiento logra recuperar exitosamente estados de incorrecto-a-correcto, mientras que las regresiones de correcto-a-incorrecto son limitadas. La diversidad se mantiene alta a través de las profundidades de refinamiento, indicando que el método no colapsa todas las ejecuciones en una sola respuesta.

Significación y Reivindicaciones

El artículo sostiene que el cómputo en tiempo de inferencia es más efectivo cuando se utiliza para refinar las trayectorias muestreadas en lugar de únicamente para muestrear más candidatos o depender de la selección guiada por un verificador.

• Robustez: Al agregar ejecuciones refinadas mediante votación por mayoría, el método es robusto ante correcciones individuales ruidosas. No depende de la calibración de un modelo de recompensa externo.
• Agnosticismo de Modelo: El enfoque es aplicable a cualquier modelo de pesos abiertos sin requerir entrenamiento adicional, aprendizaje por refuerzo o políticas de parada aprendidas.
• Cambio de Paradigma: El trabajo sugiere un cambio de "buscar más ampliamente" a "refinar más profundamente", argumentando que la evidencia de razonamiento útil proviene de permitir que cada intento repare pasos intermedios inestables antes de la agregación final.

Los autores reconocen que el método tiene un costo de inferencia mayor que el decodificado codicioso o el muestreo estándar, pero argumentan que las significativas ganancias de precisión, particularmente para modelos más pequeños, justifican la compensación en escenarios donde los parámetros del modelo no pueden ser actualizados.