There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items
Este artículo demuestra que las tablas de clasificación de los LLM modernos son fundamentalmente poco fiables porque las configuraciones de los entornos de evaluación (como la redacción de los prompts y los métodos de puntuación) son los principales motores de la varianza del rendimiento, determinando a menudo las clasificaciones de los modelos más que sus capacidades reales.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la inteligencia artificial, que evoluciona rápidamente, los investigadores dependen de pruebas estandarizadas para medir qué tan bien comprenden el lenguaje los programas informáticos. Estas pruebas, a menudo llamadas evaluaciones de referencia (benchmarks), presentan una serie de preguntas de opción múltiple a un modelo y registran cuántas respuestas acierta. La puntuación resultante se trata como un hecho definitivo sobre la inteligencia de la máquina, lo que permite a los científicos clasificar diferentes modelos entre sí y declarar un ganador. Durante años, la comunidad ha operado bajo la suposición de que, si bien el rendimiento de un modelo puede fluctuar ligeramente debido al azar, la clasificación general refleja una verdad estable sobre las capacidades de la tecnología. La cuestión de si un modelo es verdaderamente más inteligente que otro se ha respondido observando un único número: el porcentaje de respuestas correctas.
Sin embargo, una nueva investigación sugiere que este número único cuenta una historia mucho más complicada. El estudio revela que la puntuación que recibe un modelo no es solo una medida de su inteligencia, sino también un producto de las reglas específicas utilizadas para calificarlo. Estas reglas, conocidas como el armazón de evaluación (evaluation harness), incluyen elecciones que parecen triviales en la superficie: el orden en que se enumeran las opciones de respuesta, la redacción exacta de las instrucciones dadas a la máquina y el método utilizado para decidir si una respuesta es correcta. Aunque estas elecciones suelen tomarse de forma arbitraria o por conveniencia, el investigador descubrió que cambiarlas puede reescribir completamente la tabla de clasificación, convirtiendo a un modelo clasificado en último lugar en el mejor de la lista, o viceversa. Los hallazgos implican que la forma actual en que clasificamos la inteligencia artificial es mucho menos estable de lo que se creía anteriormente, y que el "mejor" modelo depende enteramente de cómo se administre la prueba.
Para descubrir esta inestabilidad oculta, un investigador de la Universidad de California, San Diego, diseñó un experimento masivo que trató las reglas de la prueba como una variable en sí misma. En lugar de ejecutar una única prueba y aceptar el resultado, creó una cuadrícula de veintiséis formas diferentes de administrar el mismo examen. Tomó doce modelos de lenguaje diferentes de cuatro familias principales y les pidió que respondieran a las mismas 3,679 preguntas de opción múltiple. Para cada una de las preguntas, sometió a los modelos a cada una de las combinaciones posibles de las reglas de prueba. Esto incluyó barajar el orden de las opciones de respuesta, cambiar la forma en que se redactaban las preguntas y alternar entre dos métodos diferentes para calificar las respuestas: uno donde el modelo genera una respuesta de texto, y otro donde la computadora calcula la probabilidad matemática de cada opción de ser correcta.
Los resultados fueron sorprendentes. Cuando el investigador observó las puntuaciones de un solo modelo, no encontró un único punto de precisión. En su lugar, encontró una amplia banda de puntuaciones posibles. Para uno de los modelos con mejor desempeño, la puntuación oscilaba entre un mínimo del 31 por ciento y un máximo del 89 por ciento, dependiendo enteramente de qué conjunto de veintiséis reglas de prueba se utilizara. Esto significa que la misma máquina, con el mismo código interno y el mismo conocimiento, podría recibir el crédito de haber acertado casi todas las respuestas o de haber fallado en casi un tercio de ellas, simplemente porque el administrador de la prueba cambió el orden de las letras o el estilo del prompt. En promedio, el 85 por ciento de las respuestas que se le atribuyeron a un modelo como correctas bajo las reglas estándar podrían marcarse como incorrectas bajo un conjunto diferente, pero igualmente válido, de reglas.
El descubrimiento más crítico fue que estas fluctuaciones no eran ruido aleatorio distribuido uniformemente en la prueba. La inestabilidad se concentraba precisamente en las preguntas que separaban a los modelos unos de otros. Cuando el investigador observó las preguntas que dos modelos vecinos tanto respondían correctamente como incorrectamente independientemente de las reglas, los modelos estaban esencialmente empatados. Las diferencias que creaban las clasificaciones existían solo en las preguntas donde los modelos mostraban incertidumbre. De hecho, para los pares de modelos que estaban clasificados uno junto al otro, casi la totalidad de la brecha en sus puntuaciones —un 96 por ciento en promedio— era transportada por estas preguntas inestables. Si se eliminaban las preguntas que fluctuaban de un lado a otro, las clasificaciones desaparecían y los modelos se volvían indistinguibles.
Esta fragilidad significaba que la identidad del "ganador" no era una propiedad fija de los modelos, sino una elección hecha por el evaluador. Bajo un conjunto de reglas, un modelo específico podría ocupar el primer lugar, mientras que bajo un conjunto de reglas diferente, un modelo completamente distinto ganaría. En este estudio, cuatro modelos diferentes pudieron alcanzar el primer puesto dependiendo de la configuración utilizada. Un modelo que terminó en el undécimo lugar de doce bajo las reglas estándar saltó al primer lugar bajo un método de calificación diferente. El investigador señaló que la elección de cómo calificar la respuesta —ya sea leyendo el texto que el modelo escribió o calculando las probabilidades— fue el factor más poderoso, causando más cambios en las clasificaciones que el orden de las opciones o la redacción del prompt.
El estudio también examinó una tendencia popular en el campo: comprimir estas pruebas extensas en un conjunto más pequeño de preguntas más "informativas" para ahorrar tiempo. La lógica era que unas pocas cientos de preguntas bien elegidas podrían representar la totalidad de la prueba. El investigador encontró que esta práctica en realidad empeora el problema. Las preguntas que se seleccionan para ser las más informativas son precisamente las que son más sensibles a las reglas de la prueba. Al conservar únicamente estas preguntas difíciles y de alto riesgo, las evaluaciones de referencia comprimidas se vuelven aún más volátiles que las pruebas completas que reemplazan. Una prueba más pequeña no proporciona una imagen más clara; proporciona una imagen más frágil, donde la clasificación es aún más propensa a cambiar basándose en ajustes menores en la configuración.
En última instancia, el artículo argumenta que la práctica actual de reportar un único número como la verdad sobre la capacidad de un modelo es engañosa. La puntuación no es una propiedad del modelo por sí solo; es una propiedad del modelo interactuando con un conjunto específico de reglas. El investigador sugiere que los informes futuros deberían dejar de tratar la tabla de clasificación como una jerarquía fija y comenzar a presentar el rango de puntuaciones posibles. Propone que, al comparar modelos, los científicos deberían centrarse en las preguntas donde los modelos son estables y coinciden, en lugar de aquellas donde las reglas dictan el resultado. Hasta que la comunidad acuerde una forma única e inalterable de ejecutar estas pruebas, las clasificaciones seguirán siendo un reflejo de las elecciones del evaluador en lugar de una medida definitiva de la inteligencia artificial.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.