FLOPs vs Real Work: The Importance of Replication in AI Efficiency Assessment

En el mundo de la inteligencia artificial, que se expande rápidamente, donde los programas informáticos están aprendiendo a escribir, crear arte y resolver problemas complejos, ha surgido una pregunta silenciosa pero crítica: ¿cuánto trabajo se está realizando realmente? Durante años, investigadores e ingenieros han dependido de una forma estándar para medir el esfuerzo requerido por estos cerebros digitales. Cuentan el número de cálculos matemáticos básicos, específicamente operaciones de punto flotante, que un modelo debe realizar para llegar a una conclusión. Es un poco como contar el número de ladrillos en una pared para adivinar cuánto tiempo tomará construirla. La lógica parece sólida: más cálculos deberían significar más tiempo y más energía. Esta métrica se ha convertido en el lenguaje universal para comparar diferentes modelos de IA, ayudando a los desarrolladores a decidir qué diseños son eficientes y cuáles son un desperdicio. Sin embargo, este simple conteo asume que cada cálculo toma la misma cantidad de tiempo y energía, independientemente de cómo esté organizado o de qué tipo de computadora esté realizando el trabajo.

Esta suposición ha sido puesta bajo escrutinio a medida que los modelos de IA han crecido a escalas masivas, consumiendo vastas cantidades de electricidad y tensionando las redes eléctricas. Si el método de conteo estándar es defectuoso, podría conducir a errores graves de cálculo sobre el costo ambiental y la velocidad de la próxima generación de sistemas inteligentes. Un estudio reciente se propuso probar si este método de conteo tradicional sigue siendo válido en chips informáticos modernos y potentes. Los investigadores querían ver si la relación entre el número de operaciones matemáticas y el tiempo real que toma ejecutarlas sigue siendo directa, o si la realidad es mucho más complicada. Se centraron en un tipo específico de arquitectura de IA conocida como red neuronal convolucional, la cual es ampliamente utilizada para tareas como el reconocimiento de imágenes y la comprensión de video. Al ejecutar miles de experimentos en una tarjeta gráfica de última generación, buscaron verificar si una corrección matemática propuesta podía predecir con precisión cuánto tiempo tardarían estos modelos en ejecutarse, o si el nuevo hardware había introducido complejidades ocultas que las viejas fórmulas no podían ver.

El equipo comenzó revisando un estudio previo que había sugerido que el recuento bruto de operaciones matemáticas no era un predictor fiable del tiempo de ejecución. Ese trabajo anterior había demostrado que el lugar donde ocurren los cálculos importa tanto como cuántos hay. Imagine una línea de ensamblaje de una fábrica: mover artículos a lo largo de una cinta transportadora ancha suele ser más rápido y fácil de gestionar que intentar apretar el mismo número de artículos a través de un túnel estrecho y retorcido, incluso si el número total de artículos es idéntico. En el mundo de la IA, los cálculos dispuestos en dimensiones espaciales, como el ancho y el alto de una imagen, pueden procesarse en paralelo con mucha más facilidad que los cálculos dispuestos en capas más profundas y complejas. Los investigadores anteriores habían desarrollado una fórmula para ajustar el recuento bruto basado en estas dimensiones, con la esperanza de crear una herramienta que pudiera estimar con precisión cuánto tiempo tardaría un modelo en ejecutarse en un hardware específico.

Para probar si esta fórmula aún funcionaba, los investigadores de la Universidad Tecnológica de Delft establecieron una réplica rigurosa de los experimentos originales. Utilizaron una tarjeta gráfica moderna, la NVIDIA RTX 4090, que es significativamente más potente que el equipo utilizado en el estudio original. Su objetivo era ver si los mismos patrones se mantenían y si la fórmula aún podía proporcionar predicciones precisas. Sin embargo, se toparon inmediatamente con un obstáculo significativo: el estudio original no había proporcionado el código completo ni las instrucciones detalladas necesarias para reproducir el trabajo exactamente. A los investigadores les faltaban detalles específicos sobre las librerías de software y los controladores utilizados, y no tenían los datos brutos que los autores originales usaron para construir su fórmula. Esta falta de transparencia obligó al equipo a hacer conjeturas educadas sobre cómo configurar sus experimentos, introduciendo una capa de incertidumbre en sus resultados.

A pesar de estos desafíos, el equipo procedió con sus mediciones, ejecutando miles de configuraciones diferentes para ver cuánto tardaba cada una. Confirmaron el primer hallero hallazgo principal: el recuento bruto de operaciones matemáticas es, de hecho, un mal predictor de cuánto tiempo tardará un modelo en ejecutarse. Incluso cuando dos configuraciones requerían exactamente el mismo número de cálculos, sus tiempos de ejecución variaban drásticamente dependiendo de cómo estaban dispuestos esos cálculos. Los investigadores encontraron que las operaciones distribuidas a lo largo del ancho y el alto de una imagen todavía se procesaban mucho más rápido que aquellas concentradas en capas más profundas, confirmando que la disposición física de los datos importa más que el volumen total de trabajo.

Sin embargo, cuando intentaron aplicar la fórmula propuesta a su nuevo hardware más rápido, los resultados fueron mucho menos alentadores. La fórmula, que había funcionado razonablemente bien en equipos más antiguos, subestimaba consistentemente el tiempo que le tomaba a la tarjeta gráfica moderna completar las tareas. En muchos casos, el tiempo real tomado fue significativamente mayor de lo que la fórmula predijo. Más sorprendente aún, los investigadores descubrieron que el tiempo de ejecución no presentaba un aumento suave y constante a medida que crecía la carga de trabajo. En su lugar, el tiempo saltaba y oscilaba de maneras impredecibles. Cuando aumentaban el tamaño de los datos de entrada por cantidades minúsculas, el tiempo para procesarlos de repente se disparaba o caía, creando un patrón dentado y errático en lugar de una línea recta. Estos saltos aparecían en números específicos, a menudo relacionados con múltiplos de cuatro u otros enteros pequeños, lo que sugiere que la arquitectura interna del chip moderno estaba reaccionando a los datos de formas complejas y no lineales que la fórmula simple no podía capturar.

El estudio reveló que la relación entre el número de cálculos y el tiempo que toman es mucho más frágil y dependiente del hardware de lo que se pensaba anteriormente. La fórmula no pudo tener en cuenta el impacto de los canales de entrada y salida, que jugaron un papel mucho mayor en el tiempo de ejecución en el nuevo hardware que en los sistemas anteriores. Además, los investigadores observaron que las optimizaciones del chip moderno, como su gran caché de memoria y sus unidades de procesamiento especializadas, introdujeron nuevos comportamientos que causaron estos saltos repentinos en el tiempo. Estos comportamientos quedaron ocultos en el estudio original porque este utilizaba una resolución de puntos de datos más baja, muestreando solo unos pocos valores en lugar de probar cada variación posible. Cuando el equipo probó cada valor individual, la inestabilidad oculta del sistema quedó al descubierto.

Los investigadores concluyeron que, si bien la idea general de que las disposiciones espaciales son más eficientes que las profundas sigue siendo cierta, la herramienta matemática específica diseñada para predecir el tiempo de ejecución ya no es fiable en el hardware moderno. La incapacidad de la fórmula para adaptarse a la rápida evolución de los chips informáticos significa que no puede utilizarse como un estándar universal para estimar el consumo de energía o la velocidad. El estudio también destacó un problema crítico en la investigación científica: la falta de paquetes de replicación completos y precisos. Sin el código original, las versiones de software específicas y los datos brutos, es difícil saber exactamente por qué falló la fórmula. No está claro si el fallo se debió al hardware en sí o a las suposiciones que los investigadores tuvieron que hacer debido a la información faltante.

En última instancia, este trabajo sirve como un recordo de que, en el campo de la inteligencia artificial que avanza a pasos agigantados, las métricas simples pueden ser engañosas. La eficiencia de un modelo de IA no es solo una cuestión de contar operaciones; es una interacción compleja entre el diseño del modelo, el hardware específico en el que se ejecuta y el software que gestiona el proceso. Los investigadores han puesto a disposición del público su propio conjunto completo de datos y código, con la esperanza de que esta transparencia permita a otros construir mejores herramientas para el futuro. Sus hallazgos sugieren que, a medida que la IA continúe creciendo, debemos ir más allá de los simples conteos y desarrollar una comprensión más profunda y matizada de cómo estos sistemas digitales funcionan realmente en el mundo real.