A Methodology for Selecting and Ranking High-Performance GPU Configurations in Deep Learning Training

En el mundo de la inteligencia artificial, los avances más visibles suelen provenir del software, pero el motor que los impulsa es el hardware. Para enseñar a una computadora a reconocer un gato en una fotografía o a traducir una frase a otro idioma, los ingenieros deben entrenar modelos matemáticos complejos. Este proceso de entrenamiento es increíblemente exigente, ya que requiere que la computadora realice miles de millones de cálculos en un tiempo muy breve. Para manejar esta carga de trabajo, los investigadores dependen de chips especializados llamados unidades de procesamiento gráfico, o GPUs, que están diseñadas para procesar muchas tareas simultáneamente. Sin embargo, el simple hecho de añadir más de estos potentes chips no siempre hace que el trabajo sea más rápido. Así como un gran equipo de trabajadores puede retrasar un proyecto si la oficina es demasiado pequeña o si las herramientas se comparten de forma deficiente, añadir más GPUs puede, a veces, crear cuellos de botella donde los chips pasan más tiempo esperando datos que trabajando realmente. El desafío para los científicos e ingenieros es encontrar el punto ideal donde el hardware se utilice de manera eficiente, equilibrando la velocidad con el costo y la complejidad del sistema.

Un equipo de investigadores de la Universidad de las Islas Baleares ha desarrollado una nueva forma de resolver este rompecabezas. Crearon un método para clasificar diversos entornos informáticos utilizados para entrenar un popular modelo de reconocimiento de imágenes conocido como ResNet-50. En lugar de limitarse a observar qué sistema terminó el trabajo más rápido, querían entender qué sistemas eran los más eficientes. Trataron el rendimiento de estas máquinas como un paisaje, buscando patrones en cómo cambiaban el tiempo de entrenamiento, la velocidad y el uso de recursos a medida que aumentaba el número de chips. Al agrupar sistemas similares y compararlos, descubrieron que las configuraciones más potentes no son siempre las que tienen más chips.

Los investigadores comenzaron recopilando datos de un estándar de la industria ampliamente utilizado llamado benchmark de entrenamiento MLPerf. Este conjunto de datos contiene los resultados de muchas organizaciones diferentes que prueban su hardware en la misma tarea de reconocimiento de imágenes. El equipo analizó detalles específicos de cada sistema, como el tipo de chips gráficos utilizados, cuántos estaban instalados, cuánto tiempo tomó el entrenamiento y cuántas imágenes podía procesar el sistema por segundo. Luego, utilizaron una técnica informática para medir qué detalles de estos eran los más importantes. Al analizar los datos disponibles, identificaron un conjunto de variables que tenían un impacto significativo en el rendimiento y la eficiencia del sistema, centrándose en los impulsores clave de la escalabilidad que podían medirse. Descubrieron que la relación entre el número de chips y la velocidad ganada no era una línea recta. En un mundo ideal, duplicar el número de chips reduciría el tiempo de entrenamiento a la mitad. En la realidad, los investigadores observaron que, a medida que los sistemas crecían, la velocidad adicional obtenida de cada nuevo chip comenzaba a disminuir.

Para dar sentido a estos datos complejos, los investigadores agruparon las diferentes configuraciones informáticas en cinco categorías distintas basadas en su rendimiento. Encontraron que un grupo específico destacaba como el más efectivo. Estos sistemas utilizaban un número moderado de chips gráficos de última generación, típicamente entre cuatro y dieciséis unidades, combinados con procesadores centrales potentes. Estas configuraciones lograban un equilibrio notable: entrenaban el modelo muy rápidamente mientras utilizaban sus recursos con alta eficiencia. En contraste, los sistemas con el mayor número de chips, algunos de los cuales utilizaban miles de unidades, terminaban la tarea en el tiempo absoluto más corto, pero eran mucho menos eficientes. En estas configuraciones masivas, los chips no trabajaban tanto como podrían porque estaban esperando datos o esperando unos a otros, lo que significaba que gran parte del costoso hardware permanecía inactivo.

El estudio sugiere que el mejor enfoque para entrenar modelos de inteligencia artificial no es simplemente lanzar más hardware al problema. En su lugar, los sistemas más efectivos son aquellos donde los diferentes componentes trabajan en armonía. Los investigadores encontraron que las configuraciones óptimas utilizaban conexiones de alta velocidad entre los chips y procesadores potentes para suministrar datos sin demora. Esto permitía que los chips gráficos se mantuvieran ocupados y productivos. Los hallazgos indican que un sistema más pequeño y bien ajustado puede, a menudo, superar a uno masivo y desequilibrado. Para las organizaciones que construyen estos sistemas, esto significa que invertir en un número cuidadosamente seleccionado de chips de primer nivel y asegurar que estén conectados correctamente puede ser una opción más inteligente que comprar el clúster de hardware más grande posible. La investigación proporciona una guía clara para seleccionar las herramientas adecuadas, mostrando que la eficiencia y el rendimiento se logran mejor mediante el equilibrio más que mediante la mera escala.