🤖 AI

Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation

Este artículo desafía la suposición de clasificaciones estables de los modelos de lenguaje de gran tamaño al demostrar que la variación de los presupuestos de tokens de inferencia altera significativamente el rendimiento y el orden de los modelos, revelando comportamientos no monotónicos, reversiones de clasificación y complementariedad de modelos que requieren protocolos de evaluación condicionados al presupuesto.

Autores originales: Rodrigo Guedes de Souza, Alison R. Panisson

Publicado 2026-08-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rodrigo Guedes de Souza, Alison R. Panisson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás en una biblioteca gigante donde los libros están escritos por robots superinteligentes llamados Modelos de Lenguaje Extensos (LLM). Estos robots pueden leer casi todo y responder preguntas sobre matemáticas, ciencia e historia. Durante mucho tiempo, las personas que intentaban elegir al "mejor" robot simplemente le hacían una pregunta y veían quién obtenía la respuesta correcta primero. Asumían que si el Robot A era mejor que el Robot B en una prueba, siempre sería mejor, sin importar qué. Era como juzgar una carrera mirando solo quién cruzaba la meta primero, sin importar cuánto tiempo se les permitía correr.

Pero aquí está el giro: estos robots no solo "piensan" instantáneamente. Escriben sus respuestas palabra por palabra, como una larga cadena de pensamientos. El límite de cuántas palabras se les permite escribir se llama "presupuesto de tokens". Piensa en esto como darle a un estudiante diferentes cantidades de tiempo para tomar un examen. Algunos estudiantes pueden necesitar mucho tiempo para resolver un rompecabezas difícil, mientras que otros podrían confundirse si tienen demasiado tiempo y empiezan a sobrepensar. El gran interrogante para los científicos es: ¿El "mejor" robot sigue siendo el mejor si cambiamos el límite de tiempo? ¿O el ganador cambia dependiendo de cuánto tiempo les dejemos pensar? Esto es exactamente lo que los investigadores querían averiguar.

El problema del "sobrepensar": Por qué más tiempo no siempre es mejor

En este estudio, los investigadores organizaron un experimento masivo para ver cómo se desempeñaban cuatro modelos de IA diferentes en tres pruebas complicadas: matemáticas de nivel escolar, matemáticas de nivel de competición y preguntas de ciencia de nivel de posgrado. No solo dejaron que los modelos funcionaran; los obligaron a detenerse después de cantidades específicas de "pensamiento" (medido en tokens). Probaron siete límites diferentes, que iban desde unos diminutos 64 tokens (muy poco tiempo de pensamiento) hasta unos enormes 4,096 tokens (mucho tiempo de pensamiento).

Lo que descubrieron es que la idea de un único "mejor" modelo es un mito. Las clasificaciones de los modelos cambiaron y se invirtieron dependiendo enteramente de cuánto tiempo se les dio.

La sorpresa del "sobrepensar"
Podrías pensar que darle a un robot más tiempo para pensar siempre le ayudaría a obtener la respuesta correcta. Pero los investigadores descubrieron algo extraño: a veces, dar a un modelo más tokens hacía que obtuviera la respuesta incorrecta. A esto lo llaman "sobrepensar" (overthinking).

Imagina a un estudiante que sabe la respuesta a un problema matemático. Si le das 10 minutos, la escribe correctamente. Pero si le das 30 minutos, podría empezar a dudar de sí mismo, cambiar su respuesta y terminar con la equivocada. El estudio encontró que esto sucedió en aproximadamente el 3% al 19% de las preguntas. Peor aún, esto no era un problema de las preguntas en sí mismas; era específico de cada robot. Una pregunta que hacía que un modelo "sobrepensara" y fallara podía ser perfectamente adecuada para otro modelo. Es como cómo una persona puede ponerse nerviosa si tiene demasiado tiempo para preparar un discurso, mientras que otra persona prospera con ello.

Los grandes cambios de clasificación
Debido a esto, el "ganador" de la carrera no dejaba de cambiar.

En la prueba de matemáticas más fácil (GSM8K), un modelo enorme (LLaMA-3.3 70B) fue el campeón cuando se le dio una cantidad media de tiempo (256 tokens). Pero tan pronto como les dieron a los modelos más tiempo (hasta 4,096 tokens), un modelo más pequeño (GPT-OSS 20B) tomó el liderazgo y se mantuvo ahí.
En la prueba de ciencia más difícil (GPQA), el modelo más pequeño (LLaMA-3 8B) fue en realidad el mejor cuando el tiempo era ajustado (256–512 tokens). Pero a medida que el tiempo aumentaba, los modelos más grandes alcanzaron el ritmo y finalmente empataron en el primer puesto.

Esto significa que si ves una tabla de clasificación hoy que dice "El Modelo X es el mejor", esa afirmación solo es cierta para una cantidad específica de tiempo. Si cambias el límite de tiempo, el Modelo X podría convertirse repentinamente en el peor de todos.

La brecha del "Oráculo": Por qué necesitamos un interruptor inteligente
Los investigadores también se preguntaron: "Si pudiéramos elegir mágicamente el modelo perfecto para cada pregunta, ¿qué tan bien lo haríamos?". Construyeron un "Oráculo" teórico (un selector perfecto) que elegía el mejor modelo para cada pregunta y límite de tiempo específicos.

Los resultados fueron impactantes. En la prueba de ciencia más difícil, este selector perfecto podía obtener 27.8 puntos porcentuales más respuestas correctas que el mejor modelo funcionando por sí solo. Incluso en las pruebas de matemáticas más fáciles, la brecha fue significativa (hasta 16.9 puntos). Esto demuestra que ningún robot es bueno en todo. A veces el robot pequeño es el mejor, a veces el grande, y a veces, todos están equivocados.

¿Podemos construir un interruptor inteligente?
El equipo intentó construir un "enrutador" (router): un sistema inteligente que observa una pregunta y el límite de tiempo, y luego decide qué robot debe responderla.

Dentro del mismo tipo de prueba: Cuando entrenaron al enrutador con problemas de matemáticas y lo probaron con problemas de matemáticas, funcionó de maravilla. Usar el "límite de tiempo" como una pista ayudó a elegir el robot correcto, mejorando la precisión entre 1.6 y 5.7 puntos.
A través de diferentes pruebas: Pero cuando intentaron usar el mismo enrutador para pasar de preguntas de matemáticas a preguntas de ciencia, este se confundió. Las pistas de "límite de tiempo" que funcionaban para las matemáticas no funcionaron para la ciencia. De hecho, usar esas pistas hizo que el enrutador funcionara peor por 1.2 puntos al cambiar de dominio. Esto sugiere que la relación entre "cuánto tiempo tienes" y "obtener la respuesta correcta" es diferente para cada materia.

La conclusión

La lección principal de este artículo es simple pero poderosa: No existe un único "mejor" modelo de IA. La respuesta a "¿qué modelo es el mejor?" depende enteramente de "cuánto tiempo dejas que piense".

Si estás construyendo una aplicación para un teléfono donde solo puedes darle a la IA un poco de tiempo, un modelo pequeño y rápido puede ser tu campeón. Si estás operando un servidor donde puedes darle a la IA horas para pensar, un modelo diferente y más grande podría ganar. La forma antigua de clasificar los modelos —simplemente eligiendo un ganador para todos— está rota. En su lugar, debemos decir: "El Modelo A es el mejor para respuestas cortas, el Modelo B es el mejor para respuestas largas y, a veces, si les das demasiado tiempo, podrían simplemente arruinarlo todo".

Los investigadores sugieren que, en el futuro, deberíamos dejar de pedir una puntuación única y empezar a reportar cómo rinden los modelos en diferentes límites de tiempo. Y si queremos usar estos modelos de manera efectiva, necesitamos sistemas inteligentes que sepan cuándo llamar al pensador pequeño y rápido, y cuándo llamar al pensador grande y lento, porque el ganador cambia en el momento en que el reloj empieza a correr.

Resumen Técnico: Clasificaciones Dependientes del Presupuesto en la Evaluación de LLM

Planteamiento del Problema

La evaluación estándar de los Modelos de Lenguaje de Gran Escala (LLM) asume que las clasificaciones de los modelos son estables e invariantes a las condiciones de inferencia. Específicamente, presupone que un modelo declarado como "estado del arte" en un benchmark (por ejemplo, GSM8K, GPQA) mantiene su superioridad independientemente del presupuesto de generación de tokens —el número máximo de tokens que se le permite producir a un modelo antes de la truncación.

Este artículo desafía esa suposición. Postula que el panorama de la evaluación es fundamentalmente dependiente del presupuesto. La literatura reciente sobre el escalado de cómputo en tiempo de prueba sugiere que los aumentos en las concesiones de tokens pueden mejorar el rendimiento, mientras que la literatura sobre "sobrepensamiento" (overthinking) sugiere que los tokens adicionales pueden degradar la precisión. Sin embargo, la interacción entre estos efectos a través de diferentes modelos y tareas permanece sin cuantificar. El problema central es si las clasificaciones de los modelos, la dificultad de los ítems y la complementariedad de los modelos son propiedades estáticas o funciones del presupuesto de tokens.

Metodología

Los autores llevaron a cabo una investigación sistemática que involucró cuatro modelos de razonamiento de pesos abiertos y tres benchmarks de razonamiento a través de siete presupuestos de tokens distintos.

Modelos: Cuatro modelos que abarcan un orden de magnitud en el conteo de parámetros: LLaMA-3 8B, Qwen-3 32B, LLaMA-3.3 70B y GPT-OSS 20B.
Benchmarks: Tres conjuntos de datos de dificultad creciente:
- GSM8K (1,319 problemas de matemáticas de nivel de escuela primaria).
- MATH-500 (500 problemas de nivel de competición).
- GPQA-Diamond (198 preguntas de ciencia de nivel de posgrado).
Presupuestos de Tokens: Siete niveles que van desde 64 hasta 4,096 tokens ( $b \in \{64, 128, 256, 512, 1024, 2048, 4096\}$ ).
Configuración Experimental: Se generaron un total de 56,476 inferencias individuales con temperatura $T=0$ para asegurar el determinismo.
Protocolo de Evaluación:
- Gestión de Truncación: El estudio emplea un análisis de tres niveles para desentrañar los fallos de razonamiento genuinos de los artefactos de truncación:
  1. Todos los ítems: Puntuación estándar donde las salidas truncadas se marcan como incorrectas.
  2. Solo paradas (Stop-only): Restringiendo el análisis a los ítems donde un modelo específico completó la generación.
  3. Comunes no truncados: Restringiendo a los ítems donde todos los cuatro modelos completaron la generación, permitiendo comparaciones por pares.
- Métricas: Exactitud binaria (coincidencia exacta), prueba de McNemar para la significancia de la clasificación, similitud de Jaccard para el acuerdo entre modelos y análisis de brecha de Oráculo (diferencia entre un ensamble de oráculo por ítem y el mejor modelo individual).

Principales Contribuciones y Hallazgos

1. Taxonomía de Comportamiento a Nivel de Ítem

Los autores clasifican las trayectorias de modelo-ítem en cuatro categorías: siempre correcto, monótona creciente, no monótona y siempre incorrecto.

Comportamiento No Monótono: Contrario a la suposición de que más tokens siempre ayudan, entre el 3.6% y el 25.8% de los ítems exhiben un comportamiento no monótono (la exactitud disminuye a medida que aumenta el presupuesto), lo que representa "sobrepensamiento".
Especificidad del Modelo: Este fenómeno es mayoritariamente específico de cada modelo. El solapamiento entre modelos de ítems no monótonos es bajo (6–14%), lo que significa que un ítem que dispara el sobrepensamiento en un modelo rara vez lo hace en otro. Esto implica que los ítems "problemáticos" no pueden simplemente eliminarse de los benchmarks para solucionar el problema.
Validación: Incluso tras filtrar los artefactos de truncación (usando trayectorias de solo paradas), las tasas de no monotonía siguen siendo sustanciales (por ejemplo, 19.1% para LLaMA-3 8B en GPQA), confirmando que el sobrepensamiento es un fallo de razonamiento genuino.

2. Reversiones de Clasificación Estadísticamente Significativas

Las clasificaciones de los modelos no son estables; el "mejor" modelo cambia dependiendo del presupuesto.

GSM8K: LLaMA-3.3 70B lidera en $b=256$ (62.4%), pero GPT-OSS 20B lo supera en $b=512$ y mantiene una ventaja significativa en $b=4096$ (94.9% frente a 91.7%).
GPQA: El modelo más pequeño (LLaMA-3 8B) ocupa el primer lugar en presupuestos bajos ( $b=256, 512$ ), es superado por LLaMA-3.3 70B en $b=1024$ , y finalmente es igualado por GPT-OSS 20B en $b=4096$ .
Significancia: Estas reversiones son estadísticamente significativas ( $p < 0.01$ mediante la prueba de McNemar) en todos los benchmarks, incluso controlando la truncación en los conjuntos comunes no truncados.

3. Dinámica de la Brecha de Oráculo

Un ensamble de oráculo (seleccionando el modelo correcto por ítem) revela un potencial de mejora significativo mediante la selección de modelos.

Magnitud: La brecha de oráculo (exactitud del oráculo menos el mejor modelo individual) oscila entre +3.5 pp y +27.8 pp.
Dependencia del Presupuesto:
- En GSM8K, la brecha es no monótona, alcanzando su pico en $b=256$ (+16.9 pp) a medida que los modelos resuelven ítems diferentes, y luego declina conforme convergen en ítems más fáciles en presupuestos más altos.
- En benchmarks más difíciles (MATH-500, GPQA), la brecha crece monótonamente, alcanzando +12.8 pp y +27.8 pp respectivamente en $b=4096$ .
Complementariedad: Incluso con presupuestos altos, los modelos resuelven subconjuntos de ítems significativamente diferentes (similitud de Jaccard $\approx 0.74$ en $b=4096$ ), lo que indica una complementariedad persistente.

4. Prueba de Concepto de Enrutamiento Consciente del Presupuesto

Los autores entrenaron clasificadores XGBoost para enrutar ítems al mejor modelo basándose en características de texto y el presupuesto de tokens.

Rendimiento Trans-dominio: Al ser entrenado en GSM8K+MATH-500 y probado en GPQA, el enrutador logró un +2.67 pp sobre la línea base de "Mejor-Por-Presupuesto", capturando el 14.1% de la brecha de oráculo.
Importancia de las Características: El análisis SHAP muestra que el presupuesto de tokens es la característica dominante (6.1 veces más importante que las características de texto como la presencia de LaTeX).
Especificidad de Dominio: Mientras que las características de presupuesto mejoran el rendimiento dentro de un dominio (+1.6 a +5.7 pp), perjudican la transferencia entre dominios (−1.2 pp). Esto indica que la relación entre presupuesto y exactitud es específica de cada dominio y no se generaliza directamente de matemáticas a ciencias.

Significado e Implicaciones

El artículo argumenta que la pregunta "¿qué modelo es el mejor?" no tiene una única respuesta; depende del presupuesto de generación de tokens. Los autores proponen tres implicaciones accionables:

Protocolos de Evaluación: Los benchmarks deberían adoptar evaluaciones condicionadas al presupuesto, reportando clasificaciones en múltiples niveles de presupuesto en lugar de una única puntuación estática. Esto es crítico para escenarios de despliegue restringidos (por ejemplo, dispositivos móviles, edge) donde los presupuestos generosos son inviables.
Sistemas de Enrutamiento: Los sistemas de selección y enrutamiento de modelos deben tratar el presupuesto de tokens como una señal de primer orden. Sin embargo, debido a que los mapeos de presupuesto-exactitud son específicos de cada dominio, los sistemas de enrutamiento deben combinar las señales de presupuesto con características agnósticas al dominio o técnicas de adaptación.
Oportunidades de Ensamble: Las sustanciales brechas de oráculo documentadas representan una oportunidad concreta para que los métodos de ensamble y enrutamiento exploten la complementariedad de los modelos, lo que podría generar mejoras significativas de rendimiento sobre los despliegues de un solo modelo.

El estudio concluye que el panorama de la evaluación de los LLM es fundamentalmente dependiente del presupuesto, donde las clasificaciones de los modelos, la dificultad de los ítems y la complementariedad varían todas en función del límite de tokens de inferencia.