Predicting Inference-Time Scaling Gains from Labeled Validation-Set Output Statistics

Resumen Técnico: Predicción de las Ganancias de Escalamiento en Tiempo de Inferencia mediante Estadísticas de Salida de Conjuntos de Validación Etiquetados

Planteamiento del Problema
El escalamiento en tiempo de inferencia, específicamente el muestreo Best-of-N (BoN) donde se generan $N$ respuestas candidatas y se selecciona la de mayor puntuación mediante un verificador, ha emergado como una herramienta crítica para mejorar el rendimiento de los Grandes Modelos de Lenguaje (LLM) en tareas de razonamiento. Sin embargo, la magnitud de la ganancia de precisión varía significativamente entre diferentes modelos, métodos de post-entrenamiento y dominios de tareas. Actualmente, determinar si el escalamiento beneficiará a un par modelo-tarea específico requiere ejecutar el costoso procedimiento de extremo a extremo (generar $N$ muestras y calificar con un modelo de recompensa). Este artículo aborda la pregunta central: ¿Qué estadísticas de bajo costo computadas a partir de un único paso de muestreo de un conjunto de validación etiquetado pueden predecir, con alta fiabilidad, si el escalamiento en tiempo de inferencia mejorará la precisión?

Metodología
Los autores proponen un marco que trata la predicción de la ganancia de BoN como un problema de regresión sobre estadísticas de bajo costo de conjuntos de validación etiquetados.

1. Configuración y Recolección de Datos: El estudio evalúa configuraciones definidas por familias de modelos base (Qwen2.5, Llama-3.1, gemma-2), métodos de post-entrenamiento (DPO, SimPO, KTO, ORPO, GRPO, SFT) y dominios de tareas (matemáticas, razonamiento, código). Para cada configuración, el modelo genera $k=64$ completaciones por prompt a través de tres temperaturas ($T \in \{0.3, 0.7, 1.0\}$) en 200 prompts etiquetados no vistos.
2. Ingeniería de Características: Se computan dos familias primarias de características a partir de estas muestras:
   • Características de tasa de acuerdo: Miden la concentración de la distribución de salida (por ejemplo, tasa de acuerdo, self-BLEU, entropía).
   • Refinamientos de varianza: Miden cómo varían el acuerdo y la corrección a través de los prompts. Crucialmente, esto incluye una estadística asistida por etiquetas: el índice mediano en el que aparece la primera respuesta correcta.
3. Construcción del Predictor: Se ajusta una regresión de Ridge conjunta de temperatura cruzada para predecir la ganancia aditiva $G_{add} = \text{BoN}@k - \text{pass}@1$.
4. Selección por Estabilidad: Para identificar un conjunto de predictores robusto y compacto, los autores emplean la selección de estabilidad Bootstrap-Lasso. Este método remuestrea las configuraciones para identificar las características que son seleccionadas consistentemente (por encima de un umbral del 80%) a través de los remuestreos, filtrando candidatos inestables.
5. Análisis Teórico: Un análisis de concentración descompone el error del predictor en tres componentes: un residuo de aproximación lineal, incertidumbre del lado de las características (ruido de muestreo) e incertidumbre del lado del objetivo (ruido de estimación empírica). Este análisis establece que, para funciones de ganancia Lipschitz, los límites de error se reducen a medida que aumenta el número de prompts y muestras.

Contribuciones Clave

• Encuadre del Problema: El artículo reformula la predicción de la ganancia de BoN como una tarea de regresión sobre estadísticas de conjuntos de validación económicos, utilizando Bootstrap-Lasso para la selección de estabilidad y un análisis de concentración para separar los residuos de aproximación del ruido estocástico.
• Identificación de un Núcleo de Características Estable: A través del análisis de estabilidad, los autores aíslan un núcleo estricto de tres características que transporta consistentemente la señal predictiva a través de diversas configuraciones:
  1. Dispersión de la fracción de mayoría: La desviación estándar inter-prompt de la fracción de muestras que coinciden con la respuesta más frecuente.
  2. Posición de la primera muestra correcta asistida por etiquetas: El índice de muestra mediano donde aparece la primera respuesta correcta.
  3. Varianza de la longitud de la completación: La varianza en la longitud de las completaciones generadas.
  • Un complemento de entropía (entropía de respuesta por prompt) se identifica como un refinamiento predictivo que mejora el rendimiento, pero no forma parte del núcleo seleccionado por estabilidad.
• Alcance y Modos de Fallo: El estudio define explícitamente el régimen operativo (matemáticas y razonamiento bajo un verificador de modelo de recompensa) e identifica los modos de fallo, señalando específicamente que el predictor falla para dominios de código (debido a que el acuerdo de cadenas superficiales no mapea a la corrección semántica) y para la selección por voto de mayoría (en lugar de la selección anclada al verificador).

Resultos

• Precisión de la Predicción: El predictor compacto (el núcleo de tres características más el complemento de entropía) logra una correlación de rango de Spearman ($\rho$) de 0.90 con la ganancia real de Best-of-N en configuraciones no vistas (evaluación Leave-One-Set-Out). Esto supera significativamente a las líneas base ingenuas de una sola característica (por ejemplo, pass@1 produce $\rho \approx -0.24$).
• Utilidad de Despliegue: En escenarios de cribado previos al despliegue, seleccionar las 5 mejores configuraciones basadas en el predictor arroja una precisión media de 0.90 y recupera las 5 mejores configuraciones reales en el 64% de los remuestreos de bootstrap.
• Robustez: La señal del predictor permanece robusta a través de:
  • Diferentes presupuestos de muestreo (estabilizándose en $k=16\text{--}32$).
  • Diferentes reparametrizaciones de la función de ganancia (aditiva, normalizada, multiplicativa, log-ratio).
  • Recetas de post-entrenamiento no vistas (correlación de Spearman $\rho \in [0.78, 0.94]$).
  • Diferentes modelos de recompensa (ArmoRM vs. Skywork), aunque con una ligera atenuación.
• Eficiencia Computacional: El predictor reemplaza el costoso paso de calificación del modelo de recompensa (aproximadamente 30 minutos de GPU por configuración) con la extracción de características solo por CPU y regresión de Ridge (aproximadamente 3 minutos), ofreciendo una reducción de costos significativa para el cribado de configuraciones candidatas.

Significancia y Reivindicaciones
El artículo sostiene que la cuestión práctica de "qué configuraciones se benefician más del escalamiento Best-of-N" puede transformarse de una medición costosa de extremo a extremo en un chequeo de un solo paso de un conjunto de validación etiquetado. Al aislar un conjunto de características compacto y estable, los autores proporcionan una herramienta para cribar eficientemente las configuraciones de modelos candidatas antes de su despliegue completo. Los autores son modestos en cuanto al alcance, señalando que los resultados se validan específicamente para tareas de matemáticas y razonamiento bajo verificadores de modelos de recompensa y que actualmente no se extienden a la generación abierta o dominios de código sin modificaciones. El marco se presenta como una metodología reutilizable que puede aplicarse nuevamente a medida que evolucionan los benchmarks y las recetas de post-entrenamiento.