📊 statistics

More Bang for the Buck: Improving the Inference of Large Language Models at a Fixed Budget using Reset and Discard (ReD)

Este artículo presenta Reset-and-Discard (ReD), una estrategia de consulta que optimiza la cobertura de preguntas únicas resueltas por modelos de lenguaje de gran tamaño dentro de un presupuesto fijo mediante la mitigación de los rendimientos decrecientes del muestreo pass@k tradicional a través de una asignación basada en la ley de potencia.

Autores originales: Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El panorama general: El problema del "Juego de las adivinanzas"

Imagina que tienes una gran bolsa de acertijos (preguntas) y una cantidad limitada de dinero para comprar intentos (intentos de respuesta) de un amigo inteligente pero a veces testarudo (un Modelo de Lenguaje Grande o LLM). Tu objetivo no es solo resolver un acertijo realmente difícil; tu objetivo es resolver tantos acertijos diferentes como sea posible antes de que se te acabe el dinero.

El artículo aborda un error común que comete la gente al jugar este juego.

La forma antigua: "El jugador obstinado" (Resolver hasta completar)

Actualmente, la mayoría de la gente utiliza una estrategia que los autores llaman "Resolver hasta completar" (Solve-to-Completion).

Cómo funciona: Eliges el Acertijo #1. Le pides una respuesta a tu amigo. Si se equivoca, le preguntas de nuevo. Y de nuevo. Y de nuevo. Sigues preguntando por el Acertijo #1 hasta que finalmente lo resuelve correctamente. Solo entonces pasas al Acertijo #2.
El Problema: Algunos acertijos son simplemente muy, muy difíciles. Tu amigo podría quedarse estancado en el Acertijo #1 durante 50 intentos. Para cuando finalmente resuelve el Acertijo #1, ya has gastado 50 intentos. Te quedan cero intentos para los Acertijos #2 al #100. Resolviste una cosa difícil, pero te perdiste 99 cosas fáciles.
El Resultado: A medida que gastas más dinero, el número de nuevos acertijos que resuelves crece cada vez más lento. Es como intentar llenar un cubo con una manguera que tiene fugas; cuanto más fuerte empujas, menos agua entra realmente.

La nueva forma: "El explorador de amplitud primero" (Reiniciar y Descartar / ReD)

Los autores proponen una nueva estrategia llamada Reiniciar y Descartar (Reset-and-Discard / ReD).

Cómo funciona:
1. Eliges el Acertijo #1 y le haces una pregunta a tu amigo una vez.
2. Si acierta, celebras, tiras el acertijo (Descartar) y pasas al Acertijo #2.
3. Si se equivoca, no sigues preguntando. Te detienes inmediatamente, dejas ese acertijo de lado por ahora y pasas al Acertijo #2.
4. Recorres toda la lista de acertijos, preguntando por cada uno exactamente una vez (o unas pocas veces).
5. Una vez que hayas recorrido toda la lista, vuelves al principio y pruebas los que aún no se han resuelto.
La Analogía: Imagina que eres un bombero que intenta apagar muchos fuegos pequeños. En lugar de pararte frente a un fuego obstinado y rociar agua sobre él hasta que se apague (ignorando los otros fuegos que se propagan cerca), rocías un poco de agua en cada fuego. Si un fuego se apaga, lo dejas en paz. Si todavía está ardiendo, vuelves a él más tarde.
El Resultado: Resuelves una enorme cantidad de acertijos muy rápidamente. Incluso si no resuelves los más difíciles de inmediato, resuelves todos los fáciles y medianos primero. Esto te da un mucho mejor "rendimiento por tu dinero".

La ciencia detrás de la magia

El artículo utiliza las matemáticas para demostrar por qué esto funciona tan bien.

La Ley de Potencia: Los autores notaron que para estos modelos de IA, la probabilidad de resolver un problema cae en un patrón matemático específico (una "ley de potencia"). Básicamente, cuanto más difícil es el problema, exponencialmente más difícil resulta de resolver.
La trampa de los "Rendimientos Decrecientes": Bajo el método antiguo del "Jugador Obstinado", esta matemática significa que, a medida que gastas más dinero, obtienes cada vez menos problemas resueltos nuevos.
La Solución: El método de "Reiniciar y Descartar" rompe esta trampa. Las matemáticas muestran que, al reiniciar después de cada intento (o de unos pocos), conviertes ese crecimiento lento y decreciente en un crecimiento constante y lineal. Obtienes un flujo constante de problemas resueltos sin importar cuántos intentos realices.

Hallazgos clave de los experimentos

Los autores probaron esto en modelos de IA reales (como Llama y GPT) utilizando tres tipos de desafíos:

Programación: Escribir programas informáticos.
Matemáticas: Resolver problemas matemáticos de palabras.
Razonamiento: Responder preguntas complejas de opción múltiple.

Lo que encontraron:

Más soluciones: Con la misma cantidad de dinero (presupuesto), ReD resolvió significativamente más problemas únicos que el método antiguo.
Más barato: Para alcanzar un objetivo específico (como resolver el 80% de los problemas), ReD requirió menos intentos, menos tokens de computadora y menos dinero real.
Funciona con verificadores imperfectos: Incluso si el sistema que comprueba las respuestas comete errores (a veces diciendo "incorrecto" cuando es correcto, o viceversa), ReD sigue ganando.
Prediciendo el futuro: Los autores también demostraron que, al usar ReD, puedes averiguar realmente qué tan inteligente es la IA (su "exponente de la ley de potencia") sin tener que realizar miles de pruebas costosas. Es como poder adivinar la velocidad de un coche con solo verlo conducir durante unos segundos, en lugar de cronometrar una carrera completa.

La conclusión

Si tienes un presupuesto fijo para lograr que una IA resuelva una lista de problemas, no sigas golpeando a los difíciles. En su lugar, intenta cada problema una vez, descarta los que resolviste y vuelve a los que fallaste. Esta estrategia de "Reiniciar y Descartar" te permite resolver muchos más problemas por el mismo precio, convirtiendo un proceso lento y frustrante en una máquina eficiente y de alta velocidad.

Resumen Técnico: Reset and Discard (ReD) para la Inferencia de LLM

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) son evaluados cada vez más en tareas verificables (por ejemplo, codificación, matemáticas, pruebas formales) utilizando la métrica pass@k, que mide la probabilidad de resolver correctamente una única instancia dentro de $k$ intentos. Las observaciones empíricas indican que, para muchas tareas, la tasa de fallo ( $1 - \text{pass@k}$ ) decae según una ley de potencia con respecto a $k$ (es decir, $1 - \text{pass@k} \propto k^{-\alpha}$ ).

Sin embargo, en escenarios de inferencia práctica con un presupuesto global fijo (medido en intentos, tokens o USD), el objetivo relevante no es la tasa de éxito en un solo problema, sino la cobertura@costo (coverage@cost): el número esperado de problemas únicos resueltos dado una restricción de recursos totales. La política de asignación estándar, solve-to-completion (persistir repetidamente en un solo problema hasta que se resuelva antes de pasar al siguiente), es ineficiente bajo distribuciones de dificultad de ley de potencia. Debido a que los problemas difíciles consumen una cantidad desproporcionada de intentos, esta política conduce a un crecimiento sublineal en la cobertura@costo cuando el exponente de la ley de potencia $\alpha < 1$ (un hallazgo empírico común). Esto resulta en rendimientos decrecientes, donde un presupuesto adicional produce menos problemas resueltos.

Metodología: Reset-and-Discard (ReD)

Los autores proponen Reset-and-Discard (ReD), una política de asignación que optimiza el rendimiento global tratando el proceso de inferencia como una búsqueda en anchura (breadth-first search) a través de un conjunto de problemas.

El Protocolo ReD

Reset (Reiniciar): En lugar de persistir en un solo problema hasta que se resuelva, el sistema intenta cada problema durante un número fijo de ensayos $\tau$ (en el caso óptimo, $\tau=1$ , es decir, cada intento).
Discard (Descartar): Si un problema se resuelve dentro de $\tau$ intentos, se elimina inmediatamente de la cola.
Rotación: Si un problema no se resuelve después de $\tau$ intentos, se mueve al final de la cola y el sistema procede inmediatamente al siguiente problema disponible.

Marco Teórico

El artículo establece un mapeo matemático entre pass@k y coverage@cost utilizando la teoría de renovaciones.

Política Estándar: Para una distribución de dificultad donde $P(p) \sim p^{\alpha-1}$ (lo que conduce a un pass@k de ley de potencia), el número esperado de intentos para resolver un problema, $E[T]$ , diverge si $\alpha < 1$ . Consecuentemente, la cobertura@costo crece de forma sublineal ( $\propto t^\alpha$ ).
Política ReD: Al reiniciar cada $\tau$ $τ$ intentos, el número efectivo de intentos para resolver un problema, $E[T_\tau]$ $E [T_{τ}]$ , se vuelve finito independientemente de la distribución de dificultad subyacente.
- Si $0 < \alpha < 1$ , ReD transforma el crecimiento de la cobertura@costo de sublineal a lineal ( $\propto t$ ).
- Si $\alpha > 1$ , ReD mantiene el crecimiento lineal pero con una pendiente más pronunciada (mayor eficiencia) que la política estándar.
Optimalidad: Los autores demuestran que reiniciar cada intento ( $\tau=1$ ) es la estrategia óptima para minimizar el número esperado de intentos por problema resuelto para cualquier distribución de dificultad. Esto se mantiene incluso con verificadores imperfectos, siempre que la suma de las tasas de Falsos Negativos y Falsos Positivos sea menor que 1.

Inferencia de Leyes de Escala

El artículo también demuestra que las trayectorias de ReD pueden utilizarse para inferir el exponente de la ley de potencia $\alpha$ sin requerir evaluaciones costosas de gran- $k$ . A medida que ReD avanza a través de las rondas, la distribución de los problemas restantes sin resolver converge a una distribución Beta. Al analizar la relación entre los problemas restantes entre rondas, $\langle R_n \rangle / \langle R_{n+1} - R_n \rangle$ , se puede estimar linealmente $\alpha$ .

Contribuciones Clave

Conexión de Métricas: Derivó un mapeo exacto de pass@k a coverage@cost, caracterizando cómo el comportamiento de pass@k de ley de potencia ( $0 < \alpha < 1$ ) induce un crecimiento sublineal en los esquemas de asignación estándar.
Algoritmo ReD: Propuso y demostró la optimalidad de la estrategia Reset-and-Discard. Garantiza un crecimiento lineal en la cobertura@costo para $\alpha < 1$ y mejora la eficiencia para $\alpha > 1$ .
Garantías Teóricas: Demostró que ReD maximiza estrictamente la recompensa esperada por intento para cualquier distribución de dificultad y se mantiene robusto frente al ruido del verificador.
Inferencia de Exponente: Desarrolló un método para estimar los exponentes de escala de inferencia directamente desde ejecuciones de ReD, evitando la necesidad de muestreos de gran- $k$ costosos.
Validación Empírica: Demostró mejoras sustanciales en tres LLMs (Llama-3.1-8b, Llama-3.3-70b, GPT-oss-20b) y tres benchmarks (HumanEval, GSM8K, MMLU-Pro).

Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos HumanEval (codificación), GSM8K (matemáticas) y MMLU-Pro (razonamiento).

Eficiencia: ReD redujo significamente el número de intentos, tokens y el costo en USD requerido para alcanzar una cobertura objetivo en comparación con solve-to-completion.
Comparación de Modelos: En el benchmark HumanEval, ReD aplicado a un modelo más pequeño (Llama-3.1-8b) superó la asignación estándar de un modelo mucho más grande (Llama-3.3-70b) en términos de intentos y tokens hasta aproximadamente el ~90% de cobertura. En términos de costo USD, la estrategia ReD en el modelo 8b fue la más rentable en todos los niveles de cobertura.
Inferencia de Ley de Escala: Utilizando ReD en el modelo 8b, los autores infirieron con éxito un exponente de ley de potencia de $\alpha \approx 0.34$ , el cual coincidió con el exponente derivado de las mediciones de pass@k de alto- $k$ .
Robustez: La ventaja de ReD se mantuvo incluso al simular verificadores con ruido.

Significado y Reivindicaciones

El artículo sostiene que ReD ofrece un cambio fundamental en la forma en que se asigna el cómputo de inferencia para tareas verificables.

De "Pago por Token" a "Resultado como Servicio": ReD permite que los sistemas se centren los recursos de cómputo en la "frontera de aprendibilidad" (problemas que son solubles en unos pocos intentos) en lugar de desperdiciar recursos en instancias difíciles que requieren rendimientos decrecientes.
Enrutamiento Jerárquico: La metodología soporta estrategias híbridas eficientes donde modelos pequeños manejan la mayor parte de los problemas mediante ReD, y solo los problemas no resueltos se enrutan a modelos más grandes y costosos.
Aplicabilidad General: El enfoque es aplicable a cualquier pipeline que soporte muestreo repetido y verificación, proporcionando una mejora demostrable en el rendimiento sin requerir cambios en la arquitectura del modelo o en el entrenamiento.

Los autores mantienen la modestia sobre el alcance, señalando que ReD está diseñado específicamente para tareas verificables donde la corrección de la solución puede ser evaluada automáticamente. No pretenden aplicabilidad a tareas de generación no verificables ni proponen la integración de predictores de dificultad aprendidos como parte de este trabajo.