DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs

El mundo de la inteligencia artificial avanza actualmente a toda velocidad, impulsado por enormes chips de computadora llamados GPUs que actúan como los motores para entrenar y ejecutar complejos modelos de lenguaje. Estos modelos pueden escribir historias, resolver problemas y mantener conversaciones, pero demandan cantidades enormes de potencia de cómputo. Para mantenerse al día, los centros de datos actualizan constantemente su hardware, retirando chips funcionales para dar lugar a otros más rápidos y nuevos. Este ciclo deja atrás una pila creciente de aceleradores capaces pero "viejos", creando un mercado secundario donde estos componentes desechados se venden por una fracción de su precio original. La pregunta que enfrentan investigadores e ingenieros es si estas máquinas retiradas pueden tener una segunda vida productiva para servir tareas de IA modernas, o si su edad las hace demasiado ineficientes y perjudiciales para ser útiles.

Un equipo de investigadores se propuso responder a esto construyendo un enorme clúster de computación construido enteramente desde cero utilizando solo piezas de segunda mano. No solo compraron tarjetas gráficas usadas; obtuvieron procesadores, memoria, placas base y equipos de red usados para construir un sistema de 128 GPUs NVIDIA V100 retiradas. Esta colección, a la que llamaron "DumpsterCluster", fue diseñada para probar si el hardware viejo podía manejar la pesada carga de trabajo de ejecutar grandes modelos de lenguaje, específicamente un modelo de 70 mil millones de parámetros conocido como LLaMA-70B. El equipo pasó un año ejecutando este clúster en un entorno real, atendiendo solicitudes reales de usuarios, para ver si el enfoque era económicamente viable y ambientalmente sostenible. Sus hallazgos revelan una historia de potencial sorprendente que viene con un estricto conjunto de condiciones: si bien el hardware puede funcionar, su éxito depende enteramente de dónde se ubique y cómo se gestione.

El caso económico para este enfoque es impactante. Los investigadores ensamblaron todo su sistema de 128 GPUs por aproximadamente $22,000, un precio que cayó de $32,000 a lo largo de su estudio debido a la depreciación del mercado. En contraste, un sistema moderno con solo ocho de las GPUs de última generación cuesta alrededor de $600,000. Esta enorme diferencia en el costo inicial significa que, aunque los chips más antiguos son menos potentes individualmente, la gran cantidad de ellos permite que el clúster procese un volumen significativo de datos. Al ejecutar el sistema durante un año, el equipo demostó que podían servir el modelo de lenguaje grande de manera efectiva, logrando una velocidad de generación de texto que, aunque más lenta que la de los superchips más nuevos, era suficiente para muchas aplicaciones prácticas. La clave para hacer esto funcionar no fue solo comprar las piezas, sino reescribir el software que las ejecuta.

El software estándar para ejecutar estos modelos está diseñado para el hardware más nuevo, que tiene conexiones muy rápidas entre chips. Los chips V100 más viejos en el DumpsterCluster tienen conexiones más lentas y menos memoria, lo que normalmente causaría que se colapsen ante modelos grandes. Para resolver esto, los investigadores desarrollaron un motor personalizado que cambia la forma en que se divide el trabajo. En lugar de intentar forzar a los chips a hablar entre sí constantemente, organizaron el modelo de modo que cada chip maneje una sección específica del cálculo en una larga cadena, pasando los resultados a lo largo de la línea. También optimizaron el sistema para que el procesador central de la computadora maneje las transferencias de datos en segundo plano mientras las tarjetas gráficas siguen trabajando, evitando que el sistema se quede inactivo. Esta estrategia permitió que los 128 chips viejos funcionaran como una unidad cohesiva capaz de ejecutar un modelo que no cabría en un solo chip en absoluto.

Sin embargo, el estudio revela que esta solución no es una solución universal para los problemas de energía y medio ambiente de la industria de la IA. Los investigadores encontraron que, si bien el costo inicial es bajo, el costo de ejecutar las máquinas a lo largo del tiempo depende fuertemente del precio de la electricidad y la fuente de esa energía. Los chips más viejos son menos eficientes energéticamente que los modernos, lo que significa que consumen más energía para generar la misma cantidad de texto. Si este clúster se ejecuta en una región donde la electricidad proviene de combustibles fósiles, las emisiones de carbono totales producidas por palabra generada pueden ser decenas de veces mayores que al usar un sistema nuevo y eficiente. El beneficio ambiental de reutilizar el hardware se ve completamente anulado si la electricidad utilizada para alimentarlo es sucia. El sistema solo se vuelve verdaderamente sostenible cuando se ubica en áreas con energía abundante, barata y limpia, como regiones alimentadas por energía eólica o hidroeléctrica. En esos lugares específicos, el bajo costo de la electricidad compensa la ineficiencia de los chips viejos, haciendo que el costo total de propiedad sea bajo y la huella de carbono manejable.

La confiabilidad del hardware también presentó desafíos que el equipo tuvo que gestionar. A lo largo del año, el clúster experimentó numerosos contratiempos técnicos, pero la gran mayoría fueron fallos de software que podían solucionarse con un simple reinicio en lugar de una reparación física. Las fallas reales de hardware, donde un chip o componente se rompió físicamente, fueron raras, ocurriendo en menos del 14 por ciento de los incidentes. Esto sugiere que, con una prueba cuidadosa y un poco de capacidad adicional construida para manejar fallas, el hardware usado puede ser lo suficientemente confiable para el uso en producción. Los investigadores señalaron que el sistema es mejor para responder preguntas y generar texto, en lugar de para entrenar nuevos modelos desde cero, lo cual requiere un tipo diferente de potencia de cómputo y estabilidad.

En última instancia, el artículo demuestra que dar una segunda vida a la tecnología retirada es posible, pero no es una simple cuestión de conectar piezas viejas. El éxito de tal "DumpsterCluster" depende de un delicado equilibrio de ingeniería, economía y geografía. Requiere software especializado para superar las limitaciones del hardware envejecido, una ubicación con electricidad barata y limpia para mantener bajos los costos operativos y las emisiones, y una tolerancia para una tasa de mantenimiento ligeramente mayor en comparación con los sistemas nuevos. Cuando se cumplen estas condiciones, el enfoque ofrece una vía viable para expandir la capacidad de la IA sin los enormes costos financieros y ambientales de fabricar constantemente nuevos chips. Sugiere un futuro donde el ciclo de vida del hardware de computación se extienda, siempre que estemos dispuestos a combinar las herramientas adecuadas con las fuentes de energía correctas.