Resumen Técnico: Asignación Adaptativa de Computación en Tiempo de Prueba mediante un Marco Guiado por Verificador

Declaración del Problema

Los paradigmas actuales para mejorar el rendimiento del razonamiento en los Modelos de Lenguaje Extensos (LLM) han pasado de escalar los parámetros del modelo a escalar la computación en el tiempo de inferencia. Sin embargo, los métodos existentes de escalado de computación en tiempo de prueba enfrentan tres limitaciones fundamentales:

1. Asignación Uniforme: Los procedimientos de razonamiento costosos se aplican uniformemente a todas las entradas, desperdiciando computación en problemas fáciles mientras se subasigna exploración a instancias genuinamente difíciles.
2. Estrategias Fijas: Las estrategias de inferencia (por ejemplo, el número de muestras en Best-of-N o la profundidad de búsqueda) suelen estar preespecificadas y son fijas, fallando al no adaptarse basándose en la calidad del razonamiento intermedio.
3. Verificación Estática: Aunque algunos métodos utilizan verificación intermedia (por ejemplo, Modelos de Recompensa de Proceso o PRMs) para guiar la búsqueda, estas señales suelen estar ligadas a procedimientos de inferencia fijos. Se utilizan principalmente para reordenar candidatos completados en lugar de seleccionar dinámicamente qué herramientas de razonamiento invocar o cuánta computación asignar mientras el razonamiento aún está en progreso.

El desafío central abordado es cómo tratar el razonamiento como un proceso de decisión iterativo a nivel de trayectoria, donde la computación se asigna de forma adaptativa basándose en la dificultad del problema y las señales de verificación intermedia, en lugar de como una generación de un solo paso o un procedimiento de búsqueda fijo.

Metodología

Los autores proponen un marco adaptativo guiado por verificador que trata el razonamiento como un proceso iterativo de generación y selección de trayectorias. El sistema opera sin preentrenamiento, ajuste fino (finetuning) ni actualizaciones de parámetros, apoyándose en una arquitectura de agentes modulares impulsada por plantillas de prompts condicionados por roles aplicadas a un LLM base.

Arquitectura de Agentes

El marco consta de cuatro componentes jerárquicos que operan en cada iteración:

1. Agente de Planificación ($A_P$): Genera un plan estructurado de alto nivel $\pi$ basado en las características del problema para guiar las decisiones posteriores.
2. Agente de Selección de Herramientas ($A_T$): Selecciona dinámicamente un subconjunto de herramientas de razonamiento de un kit de herramientas (Cadena de Pensamiento, Autorreflexión, Verificador General, Verificador Numérico, Reencuadrador, Resumidor) basado en el problema y el plan.
3. Agente de Selección de Computación ($A_C$): Determina la estrategia de inferencia (Best-of-N, Búsqueda de Haz o Búsqueda de Mirada Adelante/Lookahead) y un parámetro de exploración $m$ (que define el presupuesto, por ejemplo, el ancho del haz o la profundidad de la mirada adelante).
4. Agente de Extracción de Respuesta ($A_F$): Sintetiza la respuesta final a partir de la trayectoria completada.

Integración del Modelo de Recompensa de Proceso (PRM)

Un PRM preentrenado y especializado en matemáticas sirve como una señal de control unificada tanto para la toma de decisiones intra-iteración como inter-iteración:

• Control Intra-Iteración: Durante la generación, el PRM evalúa las transiciones de pasos individuales ($s_{t-1} \to s_t$) para asignar puntuaciones de validez local. Estas puntuaciones guían la poda y expansión en línea (por ejemplo, reteniendo el prefijo con mayor puntuación en la Búsqueda de Haz o de Mirada Adelante) para dirigir al modelo hacia caminos localmente consistentes.
• Selección Inter-Iteración: A través de $K$ iteraciones independientes, el PRM agrega las puntuaciones de los pasos en una recompensa de trayectoria $R(\tau) = \frac{1}{T}\sum v_t$. La salida final se selecciona maximizando esta recompensa agregada a través de todas las trayectorias completadas.

Métricas de Eficiencia

Para evaluar la relación entre precisión y eficiencia, el artículo introduce dos métricas:

• FLOPs Teóricos ($F_{theo}$): Tiene en cuenta la computación total en todas las invocaciones del modelo (LLM base, módulos controladores y PRM).
• Puntuación de Intensidad de Computación ($S_{CI}$): Penaliza la generación redundante y la sobrecarga de verificación, midiendo qué tan eficientemente se utilizan los tokens de razonamiento del modelo base en relación con los costos auxiliares.

Contribuciones Clave

1. Formulación a Nivel de Trayectoria: El artículo plantea el razonamiento adaptativo en tiempo de prueba como un problema de generación y selección a nivel de trayectoria. Al usar un PRM para proporcionar señales de corrección local durante la generación, el marco permite la poda en línea y dirige activamente el modelo hacia mejores caminos de razonamiento a medida que se forman.
2. Ganancias Empíricas: El enfoque adaptativo supera consistentemente al escalado directo en tiempo de prueba y a las estrategias de inferencia estáticas.
   • MATH-500: La precisión mejoró del 43.8% al 65.4% para Llama-3.1-8B-Instruct y del 71.2% al 81.4% para Qwen-2.5-7B-Instruct.
   • AIME24: La precisión mejoró del 3.3% al 10.0% (Llama) y del 6.67% al 13.3% (Qwen).
   • AMO-Bench: La precisión se duplicó del 2.0% al 4.0% para ambos modelos.
3. Análisis de Eficiencia de Computación: El estudio demuestra que las ganancias de rendimiento surgen de la asignación selectiva de computación a las trayectorias de razonamiento de alta utilidad. Aunque el método adaptativo incurre en FLOPs teóricos ligeramente superiores debido a la sobrecarga del controlador y la verificación, logra una Intensidad de Computación ($S_{CI}$) significativamente menor en comparación con las estrategias fijas que escalan la búsqueda de forma uniforme, lo que indica un uso más eficiente de la computación.

Resultados y Hallazgos

• Adaptabilidad vs. Estrategias Fijas: La selección dinámica de herramientas y estrategias de computación produce mejoras sustancialmente mayores que simplemente aplicar la selección por PRM a estrategias fijas. El marco adapta el comportamiento de inferencia a la estructura del modelo, dirigiendo cada modelo hacia caminos de razonamiento que se alinean con sus fortalezas (por ejemplo, Qwen se concentra en el razonamiento estructurado y la verificación numérica, mientras que Llama distribuye las decisiones en una mayor diversidad de herramientas).
• Dependencia de la Dificultad: Las mejoras son más pronunciadas en problemas de dificultad moderada (Niveles 1–4 de MATH-500). En los problemas más difíciles (Nivel 5), las ganancias son menores, debido a señales de verificación menos fiables donde el PRM puede clasar erróneamente trayectorias plausibles pero incorrectas.
• Perspectivas de Ablación:
  • El número de iteraciones importa, pero con rendimientos decrecientes más allá de un número moderado de intentos.
  • No existe una única configuración fija que domine; las mejores estrategias fijas requieren conocimiento previo de las combinaciones óptimas de herramientas/estrategias. El método adaptativo logra un rendimiento comparable de forma automática.
  • Para problemas altamente desafiantes (por ejemplo, AIME24), la diversidad de trayectorias mediante la selección multi-herramienta adaptativa es esencial, mientras que la repetición uniforme o el aumento de los parámetros de exploración pueden degradar el rendimiento.

Significancia y Reivindicaciones

El artículo afirma que la inferencia adaptativa guiada por verificación en tiempo de prueba es un camino práctico y agnóstico al modelo para una computación confiable y eficiente. Al dar forma dinámica al proceso de razonamiento basándose en señales de verificación intermedia, el marco convierte la computación en precisión de manera más efectiva que la repetición uniforme o los procedimientos de búsqueda fijos.

Los autores enfatizan que su enfoque no requiere entrenamiento, apoyándose en decisiones heurísticas condicionadas por prompts en lugar de políticas aprendidas. Aunque el estudio se centra en el razonamiento matemático, la idea central se presenta como agnóstica al dominio, aplicable a cualquier dominio intensivo en razonamiento con pasos intermedios claros y señales de verificación no terminales fiables (por ejemplo, generación de código con pruebas unitarias, QA de múltiples saltos con comprobaciones de implicación lógica).

El trabajo destaca que la verificación en línea (guiar la generación) es más efectiva que el reordenamiento post-hoc (reranking), y que la adaptabilidad permite concentrar la computación en caminos de alta utilidad, evitando el desperdicio asociado con el escalado uniforme. Sin embargo, los autores reconocen modestamente las limitaciones, particularmente la dependencia de la calidad del PRM, que puede degradarse en los problemas más difíciles donde las señales de verificación son ruidosas. Las direcciones futuras sugeridas incluyen la verificación consciente de la dificultad y las políticas aprendidas conscientes del presupuesto.