Resumen Técnico: Cómo el cómputo de inferencia moldea la evaluación de los LLM de frontera

1. Planteamiento del problema

A medida que los benchmarks de IA de frontera se saturan, las tareas de evaluación se están desplazando hacia problemas más difíciles y de largo horizonte que requieren planificación de múltiples pasos, uso de herramientas y resolución de problemas iterativa. El rendimiento en estas tareas es cada vez más sensible a la cantidad y asignación de cómputo disponible en el momento de la prueba ("cómputo de inferencia"). Sin embargo, muchas evaluaciones existentes reportan el rendimiento con un presupuesto único y restrictivo (por ejemplo, límites fijos de tokens o topes de turnos). Este enfoque corre el riesgo de subestimar la capacidad del modelo, ya que un fallo puede indicar que el modelo agotó su presupuesto de inferencia en lugar de una incapacidad para resolver la tarea. Además, las puntuaciones de presupuesto fijo pueden no ser capaces de rastrear el progreso en la capacidad de un modelo para convertir el cómputo de inferencia adicional en rendimiento, particularmente a medida que surgen nuevas generaciones.

2. Metodología

Los autores llevaron a cabo un estudio sistemático de escalado de inferencia a través de siete benchmarks desafiantes que abarcan ingeniería de software, matemáticas, medicina y ciberseguridad. El estudio evaluó hasta 12 modelos de lenguaje de frontera (lanzados entre mayo de 2025 y marzo de 2026) utilizando un marco experimental unificado.

Configuración experimental

• Modelos: Se evaluaron seis modelos de frontera de dos familias (Anthropic Opus y OpenAI GPT) en cinco benchmarks principales. Adicionalmente, se analizaron datos de dos benchmarks de ciberseguridad (que involucran 10 modelos) para el escalado de inferencia.
• Benchmarks:
  • Stateful (con estado): TerminalBench 2.0, SWE-Bench Pro, FrontierMath, Cyber CTFs, The Last Ones.
  • Stateless (sin estado): HealthBench, Humanity's Last Exam (HLE).
• Intervenciones de escalado de inferencia: Los autores aplicaron tres intervenciones simples y reproducibles de manera uniforme en todas las tareas:
  1. Presupuestos de tokens expandidos: Presupuestos de trayectoria total de 5M–30M de tokens (1–3 órdenes de magnitud por encima de los valores predeterminados típicos).
  2. Compacción de contexto: Reemplazo de turnos anteriores con resúmenes generados por el modelo para permitir el escalado serial más allá de las ventanas de contexto nominales.
  3. Reenvío iterativo: Intentos de envío ilimitados (limitados a 999) con una guardia de repetición para evitar bucles improductivos.
• Condiciones de retroalimentación: Se probaron dos condiciones para cada par modelo/benchmark:
  • Sin retroalimentación: Solo un reconocimiento ambiguo; el modelo debe autoevaluar la finalización de la tarea.
  • Retroalimentación de puntuación de Oráculo: Señales explícitas de corrección (o crédito parcial para HealthBench); las trayectorias terminan tras el primer envío correcto.
• Análisis: El estudio midió el rendimiento acumulado en función del total de tokens consumidos (curvas de escalado de inferencia) y descompuso las ganancias generacionales en Alcance (tareas desbloqueadas), Eficiencia (tokens por resolución) y Fiabilidad (tasa de éxito en tareas desbloqueadas). También se analizó el escalado paralelo (pass@k) dividiendo presupuestos fijos en múltiples trayectorias independientes.

3. Contribuciones clave y resultados

3.1. El escalado de inferencia es sustancial pero depende del benchmark

El estudio encuentra que los presupuestos de tokens más grandes mejoran sustancialmente el rendimiento en varios benchmarks, pero la magnitud de las ganancias varía significamente:

• Alto margen (High Headroom): Benchmarks como FrontierMath, Humanity's Last Exam (HLE) y Cyber CTFs muestran mejoras de rendimiento sustanciales mucho más allá de los presupuestos publicados habitualmente. Por ejemplo, extender FrontierMath de 1M a 10M de tokens produjo una ganancia promedio de +11.7%.
• Bajo margen (Low Headroom): Los benchmarks de ingeniería de software (TerminalBench, SWE-Bench Pro) y HealthBench mostraron una mejora limitada cuando se extendieron los presupuestos. TerminalBench y SWE-Bench Pro vieron ganancias de solo ~1.3% y ~0.3% respectivamente cuando los presupuestos se duplicaron o triplicaron. HealthBench mostró una sensibilidad mínima a las intervenciones de escalado serial bajo el protocolo probado.
• Estancamiento (Plateauing): Los rendimientos decrecientes varían según la generación del modelo y la condición de retroalimentación. Los modelos más nuevos suelen seguir mejorando con presupuestos más grandes donde los modelos antiguos se estancan, lo que sugiere que las evaluaciones de presupuesto fijo pueden perder las capacidades de los modelos de frontera.

3.2. Las ganancias generacionales son impulsadas por el Alcance y la Fiabilidad

La descomposición a nivel de tarea revela que las mejoras transgeneracionales con presupuestos grandes son impulsadas principalmente por:

• Aumento del Alcance: Los modelos más nuevos desbloquean una mayor proporción de tareas, particularmente las más difíciles.
• Aumento de la Fiabilidad: Los modelos más nuevos resuelven las tareas desbloqueadas de manera más consistente a través de trayectorias repetidas.
• Eficiencia Condicional: Las ganancias de eficiencia de tokens (resolver tareas con menos tokens) son desiguales entre benchmarks y a menudo son secundarias a la expansión del conjunto de tareas resolubles. Los modelos más nuevos no resuelven consistentemente de forma más eficiente las tareas ya alcanzables; más bien, resuelven nuevas tareas que antes eran inaccesibles.

3.3. La elección del protocolo moldea la elicitación

El valor del escalado de inferencia depende fuertemente de cómo se asigna el cómputo y qué retroalimentación se proporciona:

• Envío repetido: Mejora el rendimiento en todos los benchmarks. El beneficio es más pronunciado cuando hay Retroalimentación de Oráculo disponible para guiar la búsqueda continua (por ejemplo, en HLE y SWE-Bench Pro).
• Escalado Serial vs. Paralelo:
  • El Escalado Paralelo (dividir un presupuesto fijo en múltiples trayectorias independientes) genera ganancias significativas en benchmarks sin estado como HealthBench (+0.283 de ganancia en pass@10) y HLE (+0.183), pero ganancias mínimas en benchmarks con estado como FrontierMath y SWE-Bench Pro.
  • Modelos más nuevos: Generalmente se benefician menos del muestreo paralelo que los modelos anteriores, lo que sugiere que extraen más valor de una trayectoria única y profunda.

4. Significado y Recomendaciones

El artículo argumenta que las puntuaciones de los benchmarks dependen del protocolo y que una puntuación de presupuesto fijo único proporciona una imagen incompleta de la capacidad de frontera. Los autores proponen tres cambios clave en la práctica de evaluación:

1. Reportar la capacidad como una función del cómputo: Las evaluaciones deben reportar curvas de rendimiento a través de un rango de cómputo en el tiempo de inferencia en lugar de un número único de presupuesto fijo. Esto distingue entre evaluaciones casi saturadas y aquellas donde el cómputo adicional produce ganancias medibles.
2. Especificación explícita del protocolo: Las elecciones relativas a la iteración, la retroalimentación y la asignación de cómputo (serial vs. paralelo) deben tratarse como partes integrales del diseño de la evaluación y reportarse explícitamente, ya que alteran significativamente el rendimiento medido.
3. Comparaciones de presupuesto emparejadas: Al comparar generaciones de modelos, especialmente para configuraciones relevantes de seguridad o política, los modelos deben evaluarse sobre un rango de cómputo amplio y compartido con presupuestos emparejados. Las comparaciones de presupuesto fijo pueden representar erróneamente el progreso a medida que los modelos se vuelven mejores en la utilización de un tiempo de inferencia extendido.

El estudio concluye que, si bien las intervenciones simples de escalado de inferencia (presupuestos más grandes, compactación de contexto, reenvío) pueden elicitar capacidades significativas, el alcance de estas ganancias depende altamente de la estructura de la tarea y del protocolo específico utilizado. Por lo tanto, las evaluaciones deben ir más allá de las métricas de un solo punto para caracterizar el potencial completo de los modelos de frontera bajo diversas restricciones de tiempo de inferencia.