How Reliable is Language Model Micro-Benchmarking?
Este estudio demuestra que los micro-benchmarks actuales a menudo no logran clasificar modelos de lenguaje de manera fiable, especialmente cuando sus diferencias de rendimiento son pequeñas, y revela que se requieren cientos de ejemplos para lograr una consistencia comparable a la de las evaluaciones completas, lo que hace que el muestreo aleatorio sea una alternativa competitiva.