MINCE: Shrinking LLM Evaluation Datasets via Few-Model Monte Carlo Calibration

Resumen Técnico: MINCE – Reducción de conjuntos de datos de evaluación de LLM mediante Calibración de Monte Carlo con pocos modelos

Declaración del Problema

La evaluación rigurosa de Modelos de Lenguaje Extensos (LLMs) a través de numerosas variantes (por ejemplo, cuantizadas, ajustadas o específicas de una arquitectura) requiere ejecutar benchmarks a gran escala repetidamente. Este proceso crea un cuello de botella significativo, particularmente en hardware de borde como las NPU, donde el rendimiento de inferencia es órdenes de magnitud inferior al de las GPU de centros de datos. Las evaluaciones completas pueden tardar decenas de horas por modelo, lo que dificulta la iteración rápida.

Los métodos existentes para reducir los costes de evaluación mediante la subsección de benchmarks —como aquellos basados en la Teoría de Respuesta al Ítem (IRT), algoritmos genéticos, optimización dispersa o modelos sustitutos— a menudo dependen de dos prerrequisitos poco prácticos:

1. Grandes Pools de Calibración: Métodos como tinyBenchmarks requieren cientos o miles de modelos pre-evaluados para ajustar modelos estadísticos o seleccionar ítems.
2. Componentes Aprendidos: Muchos enfoques requieren capas de predicción aprendidas o selectores de ítems especializados que deben entrenarse en distribuciones de datos específicas.

Para nuevos benchmarks o escenarios donde no existen grandes pools de calibración, ensamblar tales datos es poco práctico. El artículo plantea la pregunta: ¿Pueden determinarse subconjuntos de benchmarks de manera fiable a partir de un pequeño número de modelos de calibración sin necesidad de selección de ítems aprendida o capas de predicción?

Metodología: MINCE

Los autores proponen MINCE (Monte Carlo Informed N-sizing for Compact Evaluation), un método que replantea la subsección de benchmarks de "qué ítems seleccionar" a "cuántos ítems seleccionar". La hipótesis central es que si un subconjunto contiene suficientes ítems para mantener las puntuaciones cercanas a las del benchmark completo, la identidad específica de esos ítems importa menos.

El flujo de trabajo de MINCE opera en dos etapas:

1. Dimensionamiento de Monte Carlo (Determinación de $n^*$)

Dado un registro de evaluación por ítem de un pequeño conjunto de modelos de calibración ($K$ modelos), MINCE utiliza la simulación de Monte Carlo para determinar el tamaño mínimo del subconjunto ($n^*$) requerido para acotar la deriva de precisión.

• Definición de Deriva: La deriva de precisión $\delta$ es la diferencia absoluta entre la precisión del subconjunto y la precisión del benchmark completo para un modelo dado.
• Proceso de Simulación: El algoritmo recorre tamaños de subconjunto candidatos ($n_t$). Para cada tamaño, extrae $R=10,000$ subconjuntos aleatorios sin reemplazo.
• Estimación del Peor Caso: Para cada subconjunto, calcula la deriva para cada par (modelo, métrica) y retiene la deriva máxima. Luego, calcula el percentil 95 ($P_{95}$) de estas derivas del peor caso a través de todos los sorteos aleatorios.
• Criterio de Parada: El algoritmo identifica el punto de rendimientos decrecientes. $n^*$ se define como el primer tamaño donde la ganancia marginal en la reducción de la deriva ($\Delta(n_t) = P_{95}(n_{t-1}) - P_{95}(n_t)$) cae por debajo de un umbral $\tau$. En los experimentos principales, $\tau$ se establece en 1 punto porcentual (pp).

2. Construcción del Subconjunto

Una vez determinado $n^*$, se construye un subconjunto de ese tamaño.

• Estrategia de Muestreo: El artículo demuestra que, en el $n^*$ calculado, el muestreo aleatorio uniforme funciona de manera comparable a estrategias más complejas como el muestreo estratificado o el agrupamiento de k-medias sobre embeddings de oraciones.
• Salida: Se genera un archivo de subconjunto "congelado", que luego se reutiliza para todas las evaluaciones futuras de ese benchmark, sin requerir más aprendizaje u optimización.

Contribuciones Clave

1. Calibración Eficiente con Datos Mínimos: MINCE requiere solo 7 modelos de calibración (que abarcan de 3B a 35B de parámetros y 4 familias de arquitecturas) para determinar los tamaños óptimos de los subconjuntos, reduciendo drásticamente el requisito de datos en comparación con trabajos previos.
2. Reducción Significativa de Benchmarks: El método reduce los tamaños de los benchmarks en un 54% (IFEVAL), 89% (MMLU) y 70% (GSM8K).
3. Deriva de Precisión Controlada: Los subconjuntos reducidos limitan la deriva de precisión a un máximo de 2.62 pp en modelos BF16 y mantienen una deriva media de 0.77–3.59 pp en modelos cuantizados de NPU no utilizados en la calibración.
4. Preservación de Rankings: El método preserva los rankings de los modelos con alta fidelidad (Spearman $\rho \geq 0.96$).
5. Robustez al Tamaño del Pool de Calibración: El tamaño del subconjunto seleccionado ($n^*$) permanece estable incluso cuando el pool de calibración se reduce de 7 a 3 modelos, ofreciendo flexibilidad a los profesionales.
6. Sin Capas Aprendidas: A diferencia de los métodos competidores, MINCE no requiere un selector de ítems aprendido, una capa de predicción ni grandes pools pre-evaluados.

Resultados Experimentales

Rendimiento en Modelos de Calibración (BF16)

Evaluado en 7 modelos BF16 a través de IFEVAL, MMLU y GSM8K:

• Deriva: La deriva absoluta media fue de 0.44 pp (IFEVAL), 0.44 pp (MMLU) y 1.40 pp (GSM8K). La deriva máxima observada fue de 2.62 pp.
• Aceleraciones: En hardware GPU, MINCE entregó aceleraciones de evaluación medianas de 2.7× (IFEVAL) a 8.1× (MMLU).

Generalización a Hardware de Borde (INT4 NPU)

El método fue validado en 3 modelos NPU INT4 mantenidos fuera (held-out) (Llama-3.1-8B-Inst, Phi-4-mini, Qwen3-8B) no vistos durante la calibración:

• Deriva: La deriva media fue de 3.59 pp (IFEVAL), 0.77 pp (MMLU) y 0.77 pp (GSM8K). Aunque IFEVAL mostró una mayor deriva para modelos específicos (por ejemplo, Phi-4-mini con 8.17 pp), MMLU y GSM8K se mantuvieron altamente estables.
• Aceleraciones: Las aceleraciones medianas en hardware NPU fueron de 1.7× (IFEVAL) y 2.0× (MMLU), alcanzando 3.4× para modelos específicos.

Comparación con el Estado del Arte

Comparado con tinyBenchmarks (que utiliza 395 modelos para la calibración):

• Reducción de Deriva: MINCE logró una deriva media 12× menor en MMLU y 3.3× menor en GSM8K.
• Eficiencia de Calibración: MINCE utilizó 57× menos modelos de calibración (7 frente a 395).
• Compromiso (Trade-off): Mientras que tinyBenchmarks minimiza el tamaño del subconjunto (100 ítems) a costa de un gran pool de calibración y una capa de predicción, MINCE acepta un tamaño de subconjunto ligeramente mayor a cambio de una eficiencia de calibración extrema y aplicabilidad a cualquier benchmark sin datos previos a gran escala.

Estudios de Ablación

• Estrategia de Muestreo: En el $n^*$ determinado, el muestreo uniforme, el estratificado y el de k-medias arrojaron derivas comparables, confirmando que el paso de dimensionamiento es el factor crítico, no la complejidad del muestreo.
• Tamaño del Pool de Calibración: Reducir el pool de calibración de 7 a 3 modelos resultó en valores de $n^*$ estables para MMLU y GSM8K, con solo cambios menores para IFEVAL.

Significado y Reivindicaciones

El artículo posiciona a MINCE como una base escalable para la evaluación compacta en una era de creciente variedad de modelos y diversos objetivos de hardware. Su principal significación radica en:

1. Democratización de la Subsección de Benchmarks: Al eliminar la necesidad de grandes pools de calibración o modelos aprendidos, MINCE hace que la selección rigurosa de subconjuntos sea accesible para nuevos benchmarks y escenarios de despliegue específicos.
2. Eficiencia Práctica: Ofrece un mecanismo directo y no aprendido para que los profesionales controlen el esfuerzo de calibración, equilibrando la velocidad de evaluación con la deriva de precisión.
3. Robustez: La estabilidad del método a través de diferentes estrategias de muestreo y composiciones de pools de calibración sugiere que es un heurístico fiable para el despliegue en el mundo real.

Los autores reconocen limitaciones, señalando que el pool de calibración actual no incluye arquitecturas de escala de frontera (>100B) o no-transformer, y que el umbral de 1 pp es un heurístico. También señalan que cada nuevo benchmark requiere una ejecución inicial de calibración con registros por ítem, lo cual sigue siendo un coste para los benchmarks que requieren anotación humana. Sin embargo, el artículo concluye que MINCE aborda eficazmente los costes de tiempo compuestos de la evaluación completa de benchmarks, particularmente en hardware de borde.