CleanScore: Black-Box Benchmark Audits with Negative Controls and Sensitivity Bounds

En la carrera por construir máquinas más inteligentes, los investigadores confían en pruebas estándar para medir qué tan bien una inteligencia artificial puede resolver problemas. Estas pruebas son como exámenes escolares: un conjunto de preguntas con respuestas conocidas que un modelo debe resolver para obtener una puntuación. Cuanto mayor es la puntuación, más capaz se considera a la máquina. Sin embargo, una sombra ha caído sobre estos resultados. Debido a que estas pruebas se publican en línea, las preguntas y respuestas suelen estar disponibles en internet, donde las máquinas aprenden. Existe un temor creciente de que las puntuaciones altas no siempre demuestren que una máquina sea inteligente; simplemente podrían demostrar que ha memorizado las preguntas del examen durante su entrenamiento. Si una máquina ha visto las preguntas exactas anteriormente, su puntuación se infla, y la clasificación de los diferentes modelos se convierte en un concurso de memoria en lugar de razonamiento.

Esto crea un problema difícil para cualquiera que intente juzgar estas máquinas de manera justa. La mayoría de los modelos potentes son "cajas negras", lo que significa que sus datos de entrenamiento internos son secretos. Un auditor no puede simplemente mirar dentro de la máquina para ver si ha memorizado una pregunta específica. Solo puede ver la puntuación final. Durante años, la mejor manera de comprobar la memorización era reescribir las preguntas. Si una máquina realmente comprende la matemática o la ciencia detrás de un problema, debería resolver una versión reformulada tan bien como la original. Si falla en la versión reformulada, es probable que solo haya memorizado la original. Pero este método tiene un fallo oculto: asume que si una máquina acierta la pregunta reformulada, es porque aprendió el concepto. Si la máquina acierta la pregunta reformulada simplemente porque memorizó la clave de respuestas, la prueba no logra detectar la memorización.

Un equipo de investigadores se propuso construir una mejor manera de auditar estas puntuaciones sin necesidad de ver el interior de la caja negra. Desarrollaron un método llamado CleanScore, que trata cada pregunta de la prueba como un padre con tres hijos: la pregunta pública original, y dos versiones frescas y escritas privadamente que mantienen los mismos números y hechos pero utilizan palabras diferentes. Los investigadores pidieron a cinco modelos de código abierto diferentes que resolvieran 200 preguntas de dos importantes parámetros de referencia (benchmarks), uno enfocado en matemáticas y otro en ciencias. Para cada pregunta, compararon qué tan bien lo hicieron los modelos en la versión pública original frente a las dos versiones frescas y reescritas. Si los modelos puntuaban consistentemente más alto en la versión pública, esto sugeriría que habían memorizado el examen.

La auditoría no encontró evidencia de este tipo de memorización. En los cinco modelos y ambos parámetros de referencia, las puntuaciones en las preguntas públicas no fueron significativamente más altas que las puntuaciones en las preguntas frescas y reescritas. Los investigadores calcularon que cualquier ventaja obtenida por haber visto la redacción pública era probablemente inferior a cinco puntos porcentuales. Este resultado se mantuvo incluso después de que el equipo corrigiera un error técnico en su configuración inicial donde algunos modelos se cortaban antes de terminar sus respuestas. El estudio también incluyó un "control negativo", un conjunto de preguntas que los modelos nunca habían visto y que no podrían haber memorizado, para asegurar que el proceso de reescritura no estuviera haciendo las preguntas más difíciles o fáciles. Los resultados mostraron que el proceso de reescritura era justo, y que la falta de una brecha en las puntuaciones era un hallazgo genuino, no un artefacto del diseño de la prueba.

Sin embargo, la parte más sorprendente del estudio provino de una serie de experimentos diseñados para ver qué omitiría la auditoría. Los investigadores entrenaron deliberadamente a cuatro modelos diferentes con la redacción exacta de 100 de las preguntas de la prueba. Luego realizaron la misma auditoría para ver si detectaría la memorización. En el parámetro de matemáticas, los modelos que habían memorizado las preguntas mejoraron su precisión en 26 puntos en la redacción memorizada. Pero cuando se les probó con las versiones frescas y reescritas de esas mismas preguntas, también mejoraron en 20 puntos. La auditoría, que solo observa la diferencia entre la original y la reescrita, detectó una brecha de solo unos seis puntos. En otras palabras, la auditoría detectó solo una pequeña fracción de la memorización. La gran mayoría de la ventaja —la parte que provenía de comprender el problema en lugar de solo memorizar las palabras— era invisible para la prueba.

Esta ceguera fue aún más extrema en el parámetro de ciencias. En un experimento, los investigadores entrenaron a un modelo en 100 preguntas de ciencias y luego lo probaron en las versiones reescritas. El modelo mejoró su precisión en 49 puntos en las preguntas memorizadas. Debido a que las versiones reescritas mantenían las opciones de respuesta exactamente iguales, el modelo también obtuvo una puntuación perfecta en las versiones reescritas, simplemente al reconocer la cadena de la respuesta correcta que había memorizado. La auditoría calculó una brecha de menos dos puntos, viendo efectivamente ninguna memorización. El modelo había aprendido las respuestas, pero el diseño de la prueba, que mantenía las opciones de respuesta fijas, permitió que ese conocimiento se ocultara a plena vista.

Los investigadores concluyeron que, si bien su método medía con éxito si un modelo dependía de la redacción superficial específica de una pregunta, no podía medir la cantidad total de contaminación. Un modelo podría haber sido entrenado intensamente en un conjunto de datos y aun así parecer "limpio" si las preguntas de la prueba se reescribieran de una manera que preservara la respuesta central. El estudio demostró que, para los cinco modelos que auditaron, no había evidencia sólida de que hubieran memorizado la redacción específica de las preguntas de la prueba. Pero también probó que una puntuación "limpia" no garantiza que un modelo no haya visto el material antes; solo garantiza que el modelo no dependió de la fraseología exacta. La auditoría logró delimitar la inflación a nivel superficial, pero no pudo descartar que los modelos hubieran aprendido el material de una manera que sobreviviera al proceso de reescritura.

El estudio también destacó los límites de cuán pequeña puede ser una auditoría. Los investigadores encontraron que, para detectar de manera confiable una ventaja significativa, una auditoría necesita probar al menos 200 preguntas. Con menos preguntas, la incertidumbre estadística es tan grande que la prueba no puede distinguir entre una ventaja real y el ruido aleatorio. También demostraron que, si bien es posible clasificar correctamente los modelos con menos preguntas, determinar el orden exacto del rendimiento requiere un tamaño de muestra mucho mayor. El trabajo sirve como un experimento registrado y riguroso que establece un nuevo estándar para hablar de la incertidumbre en las pruebas de IA. No declara a los modelos inocentes de toda memorización, sino que proporciona una declaración clara y honesta sobre lo que los datos pueden y no pueden mostrar cuando solo se dispone de las puntuaciones finales.