Frontier AI Forecasting Has a Measurement Problem: An Audit of Progress Evidence

Vivimos en una era en la que las capacidades de la inteligencia artificial se predicen a menudo con la precisión de un pronóstico meteorológico. Los expertos observan qué tan rápido se vuelven los ordenadores, cuántos datos se les suministran y qué tan bien se desempeñan en pruebas estandarizadas para adivinar cuándo las máquinas alcanzarán el razonamiento de nivel humano o incluso lo superarán. Estas predicciones suelen tomar la forma de una fecha específica en un calendario, sugiriendo que, para un determinado año, una IA será capaz de resolver un problema complejo o realizar una tarea específica. La lógica parece sencilla: si puedes medir a qué velocidad va un coche, puedes calcular cuándo llegará a su destino. Pero este enfoque se basa en un supuesto oculto: que la regla utilizada para medir la velocidad es la misma hoy que ayer, y que el velocímetro funciona correctamente para cada uno de los coches en la carretera.

Un nuevo análisis de Fabricio F. Costa desafía este supuesto. El artículo no argumenta que predecir el futuro de la IA sea imposible, sino que la forma actual en que intentamos hacerlo se basa en un fundamento inestable. El autor realizó una auditoría riguroosa de los registros públicos utilizados para realizar estos pronósticos, tratando los datos no como una línea suave en un gráfico, sino como una colección de eventos, mediciones y fuentes individuales. La investigación revela que la conexión entre los recursos utilizados para construir estos sistemas y su rendimiento real es mucho más fragmentada de lo que sugieren los pronósticos populares. El estudio encuentra que la evidencia que respalda estas predicciones es a menudo incompleta, inconsistente y depende fuertemente de una sola fuente de información, lo que hace que las fechas específicas citadas en las noticias sean más un conjetura que una conclusión científica.

Para entender el alcance del problema, primero hay que observar cómo se construyen típicamente estos pronósticos. Los investigadores suelen intentar vincular dos cosas: la cantidad de potencia de cómputo utilizada para entrenar un modelo y los resultados que logra en una prueba de referencia (benchmark). Un benchmark es simplemente un conjunto estandarizado de preguntas o tareas diseñadas para medir una habilidad específica, como responder preguntas de cultura general o resolver problemas matemáticos. La idea es que, a medida que se le da a un modelo más potencia de cómputo, su puntuación en estas pruebas aumenta de una manera predecible. Si se puede mapear esa relación, se puede proyectar hacia adelante para ver cuándo la puntuación alcanzará un cierto umbral. Sin embargo, para que esta proyección sea válida, se necesita tener puntos de datos donde tanto la potencia de cómputo como la puntuación de la prueba sean conocidas para el mismo sistema.

Cuando el autor examinó el registro público de sesenta y dos sistemas de inteligencia artificial importantes, apareció una brecha significativa. Aunque la información sobre la potencia de cómputo utilizada estaba disponible para muchos sistemas, faltaba para un gran número de los modelos más avanzados y de código cerrado. Por el contrario, las puntuaciones de rendimiento de un programa de medición específico y ampliamente citado llamado METR estaban disponibles para muchos modelos cerrados, pero estaban completamente ausentes para los sistemas de código abierto. Esto creó una situación en la que las dos piezas de datos necesarias para trazar una línea —el "combustible" y la "velocidad"— rara vez existían juntas para la misma máquina. En todo el conjunto de sesenta y dos sistemas, solo siete tenían tanto la estimación de computación como la puntuación de rendimiento registradas. Esto significa que las curvas suaves que se ven a menudo en los pronósticos son en realidad trazadas a través de un puñado de puntos de datos, mientras que el resto del paisaje es un espacio en blanco.

El problema se profundiza cuando se considera que las pruebas mismas no son estáticas. Así como una regla podría ser reemplazada por una nueva con marcas ligeramente diferentes, los benchmarks utilizados para medir la IA están siendo constantemente actualizados, revisados o reempl beenezados para evitar que los modelos simplemente memoricen las respuestas. La auditoría analizó cómo estas diferentes versiones de las pruebas se relacionan entre sí. Encontró que, cuando se intenta comparar las puntuaciones de una versión antigua de una prueba con una versión nueva, la relación no siempre es un cambio simple y directo. A veces, la nueva prueba mide algo ligeramente diferente, o la dificultad cambia de una manera que hace que las puntuaciones salten o caigan inesperadamente. El estudio probó esto observando cómo los sistemas se desempeñaron en dos versiones de una prueba popular y encontró que la conexión entre las puntuaciones antiguas y las nuevas dependía fuertemente del método matemático utilizado para compararlas. En algunos casos, la nueva versión parecía mostrar una mejora mucho más pronunciada que la anterior, mientras que en otros, la mejora parecía plana. Esto sugiere que un aumento en la puntuación no siempre significa que la IA se haya vuelto más inteligente; podría significar simplemente que la prueba ha cambiado.

Otro problema crítico identificado es la concentración de la evidencia. La gran mayoría de los puntos de datos específicos utilizados para rastrear el progreso de la IA provienen de un solo programa de medición. De los setenta y un eventos cuantitativos principales registrados en la auditoría, cincuenta y dos provinieron de una sola fuente. Esto es como intentar comprender los patrones climáticos de todo un continente basándose únicamente en las lecturas del termómetro de una sola ciudad. Si bien esa ciudad puede ser precisa, no le dice si el resto del continente está experimentando las mismas condiciones. La auditoría también señaló que muchas de estas mediciones provienen de lanzamientos de laboratorio en lugar de pruebas de campo en el mundo real. En un laboratorio, las condiciones están controladas, pero en el mundo real, la IA interactúa con entornos impredecibles, diferentes usuarios y niveles variables de soporte. El artículo argumenta que confiar en una sola fuente y en un solo tipo de prueba crea una falsa sensación de certeza, donde la confianza en un pronóstico es alta simplemente porque los datos parecen consistentes, aunque no sean verdaderamente independientes.

El autor también analizó el poder de las pruebas estadísticas utilizadas para vincular estas diferentes mediciones. El análisis mostró que los conjuntos de datos actuales son a menudo demasiado pequeños para detectar nada que no sean cambios muy grandes. Si la relación entre la potencia de cómputo y el rendimiento cambiara en una cantidad pequeña, los registros actuales probablemente lo pasarían por alto por completo. El estudio calculó que, para detectar de manera confiable un pequeño cambio en cómo mejoran estos sistemas, los investigadores necesitarían probar muchos más sistemas en ambos benchmarks, el antiguo y el nuevo, de forma simultánea. Sin este conjunto de datos más grande y diverso, cualquier pronóstico que afirme saber exactamente cuándo se alcanzará un hito específico es esencialmente una conjetura.

El artículo no sugiere que debamos dejar de intentar medir el progreso de la IA. En cambio, hace un llamado a un enfoque más honesto y complejo. En lugar de intentar comprimir todas las capacidades de la IA en un solo número o en una sola fecha, el autor propone un "portafolio" de mediciones. Esto implicaría rastrear diferentes cosas al mismo tiempo: cuánta energía y dinero requiere ejecutar un modelo, qué tan fiable es durante periodos largos, cómo se desempeña en tareas del mundo real y cómo gestiona los riesgos de seguridad. También requeriría un sistema donde diferentes grupos de investigación prueben los mismos modelos utilizando diferentes métodos para asegurar que los resultados no sean solo un artefacto de un laboratorio específico o de una prueba específica. El objetivo es alejarse de la idea de una única regla perfecta y avanzar hacia una colección de herramientas que puedan medir diferentes aspectos de la inteligencia con sus propias incertidumbres.

En última instancia, el estudio concluye que un pronóstico defendible sobre el futuro de la inteligencia artificial debe ser transparente sobre qué está midiendo y cómo lo está midiendo. Debe admitir dónde faltan los datos, dónde han cambiado las pruebas y de dónde proviene la evidencia. Una predicción que simplemente da una fecha sin explicar el sistema de medición detrás de ella no es una afirmación científica; es una conjetura. El artículo insta al campo a tratar el sistema de medición mismo como parte del pronóstico, reconociendo que la fecha es tan significativa como la regla utilizada para encontrarla. Hasta que la comunidad pueda construir un registro donde la potencia de cómputo, el rendimiento y los resultados del mundo real se midan de manera consistente e independiente a través de muchos sistemas diferentes, la parte más precisa de cualquier pronóstico será la fecha en el calendario, mientras que la parte menos precisa será lo que realmente se está midiendo en el camino hacia allá.