Optimal Aggregation of LLM and PRM Signals for Efficient Test-Time Scaling

1. Planteamiento del Problema

El escalado en tiempo de prueba (Test-Time Scaling o TTS) es una estrategia clave para mejorar el razonamiento de los Modelos de Lenguaje Grandes (LLMs) sin reentrenarlos, generando múltiples respuestas y seleccionando la mejor. Sin embargo, existen dos enfoques principales que presentan limitaciones:

• Votación Mayoritaria (Majority Voting): Ignora las señales de verificación externas y se basa solo en el consenso del LLM. Aunque simple, a veces supera a métodos más complejos.
• Mejor de N (Best-of-N o BoN) con Modelos de Recompensa de Proceso (PRM): Selecciona la respuesta con la puntuación más alta dada por un PRM (un verificador entrenado para evaluar pasos de razonamiento).

El Paradoja Central: Benchmarks recientes muestran que la votación mayoritaria simple (que ignora al PRM) a menudo supera al BoN basado en PRM. Esto sugiere una falta de alineación fundamental en cómo se integran las señales del verificador. Los métodos actuales no aprovechan adecuadamente la información negativa (cuando un PRM descarta una respuesta) ni adaptan la ponderación según la interacción específica entre el LLM generador y el PRM verificador.

2. Metodología y Marco Teórico

Análisis Teórico (Estimación MAP)

Los autores formalizan el problema de agregación como un problema de Estimación de Máxima A Posteriori (MAP).

• Suposiciones: Asumen independencia condicional entre las generaciones del LLM y las puntuaciones del PRM dado la respuesta correcta.
• Resultado Teórico (Teorema 3.2): Demuestran que la estrategia óptima no es simplemente elegir la respuesta con la puntuación más alta, sino realizar una votación mayoritaria ponderada.
• Fórmula de Ponderación: El peso $w_i$ para cada respuesta $i$ es la suma de dos componentes:
  1. Señal del PRM: El log-ratio de probabilidad de que una puntuación dada provenga de un razonamiento correcto vs. incorrecto ($\log \frac{P(p|c=1)}{P(p|c=0)}$).
  2. Señal del LLM: Una medida de la fiabilidad intrínseca del LLM para esa pregunta específica ($\log \frac{q_M(m-1)}{1-q_M}$).

Hallazgos Empíricos Clave

Al analizar las funciones de ponderación óptimas aprendidas empíricamente, descubrieron dos características críticas:

1. Dependencia del Modelo: La forma de la función de ponderación óptima varía drásticamente según el par específico (LLM, PRM). No existe una función universal.
2. Pesos Negativos: Las funciones óptimas asignan consistentemente pesos negativos a las respuestas con puntuaciones bajas del PRM. Esto implica que una respuesta juzgada como "mala" por el PRM debe restar probabilidad a su respuesta propuesta, no simplemente ser ignorada. Los métodos actuales (como BoN) fallan al no utilizar esta señal negativa.

Métodos de Calibración Propuestos

Para implementar esto sin etiquetas de verdad absoluta en tiempo de prueba, proponen métodos de calibración pre-computada utilizando un pequeño conjunto de datos ($D_{cal}$):

• Funciones No Paramétricas (KDE): Utilizan Estimación de Densidad de Kernel (KDE) en el espacio logit para estimar las distribuciones de puntuación del PRM para respuestas correctas e incorrectas, y calibran la fiabilidad del LLM.
• Funciones Paramétricas: Proponen formas simplificadas para la función de peso $w(p)$:
  • Logit Weighted Voting (Logit WV): $w(p) = \text{logit}(p) - \text{logit}(b)$.
  • Linear Weighted Voting (Linear WV): $w(p) = p - b$.
  • El parámetro $b$ actúa como umbral de "cruce cero", permitiendo que puntuaciones por debajo de este umbral tengan pesos negativos.

3. Contribuciones Principales

1. Marco Teórico Óptimo: Derivación de que la agregación óptima de señales LLM-PRM es una votación mayoritaria ponderada que combina la fiabilidad del generador y la evidencia del verificador.
2. Descubrimiento de Pesos Negativos: Identificación de que las estrategias óptimas requieren penalizar activamente las respuestas de baja calidad (pesos negativos), un mecanismo ignorado por el estado del arte.
3. Métodos de Calibración Eficientes: Propuesta de técnicas prácticas (paramétricas y no paramétricas) para aprender estas funciones de ponderación específicas del modelo usando un solo paso de pre-cálculo.
4. Eficiencia Computacional: Demostración de que una estrategia de agregación inteligente puede superar a la simple escalada de recursos computacionales.

4. Resultados Experimentales

Los experimentos se realizaron en 5 LLMs (Mistral, Qwen, DeepSeek) y 7 PRMs sobre los conjuntos de datos MATH y MATH500, además de tareas de dominio general (MMLU-Pro).

• Rendimiento Superior: El método Logit Weighted Voting (Logit WV) consistentemente superó a las líneas base (Votación Mayoritaria, BoN, Votación Ponderada Vanilla).
• Eficiencia Computacional: Logit WV logró una precisión superior a los métodos de línea base utilizando solo:
  • 37.1% de la computación en tiempo de prueba en el conjunto MATH.
  • 21.3% de la computación en tiempo de prueba en el conjunto MATH500.
• Análisis de Pesos Negativos: La búsqueda de cuadrícula (grid search) confirmó que el parámetro de offset óptimo ($b$) es siempre positivo, validando la necesidad de pesos negativos para un TTS eficiente.
• Transferibilidad: Los métodos calibrados mostraron robustez al transferirse a dominios fuera de la distribución (Out-of-Domain) y a diferentes tamaños de conjuntos de calibración.

5. Significado e Impacto

Este trabajo desafía la noción de que simplemente generar más respuestas y seleccionar la "mejor" según un verificador es la estrategia óptima. Demuestra que:

• La calibración inteligente de cómo se combinan las señales es más importante que la cantidad bruta de cómputo.
• Ignorar la evidencia negativa de los verificadores (PRMs) es un error costoso; penalizar activamente las malas respuestas es crucial.
• Existe una interacción compleja y específica entre cada par LLM-PRM que requiere adaptación (calibración) en lugar de soluciones genéricas.

En conclusión, la inversión en estrategias de agregación más inteligentes y adaptativas ofrece una vía más convincente y eficiente para mejorar el rendimiento de los LLMs que el simple escalado de recursos en tiempo de prueba.