Mind the Gap: Explicit Cross-Benchmark Calibrations for Estimating Missing LLM Evaluation Scores
El artículo presenta "benchgap", un flujo de trabajo que estima las puntuaciones de evaluación de modelos de lenguaje de gran tamaño faltantes mediante la calibración explícita de los benchmarks dentro de grupos de capacidades utilizando el ajuste de curvas monótonas y mapeos multivariantes, logrando tasas de error significativamente más bajas que los modelos base de completación de matrices al tiempo que cuantifica las discrepancias en la configuración de la evaluación conocidas como el "harness tax".