A Holistic Assessment of the Carbon Footprint of Noor, a Very Large Arabic Language Model

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de programas informáticos capaces de comprender y generar lenguaje humano con una fluidez sorprendente. Estos sistemas, a menudo llamados modelos fundacionales, se construyen alimentando vastas cantidades de texto en estructuras matemáticas complejas conocidas como redes neuronales. La idea predominante en este campo ha sido que más grande es mejor: cuanto más datos vea un modelo y mayor sea su estructura interna, más inteligente se vuelve. Esta búsqueda de escala ha dado lugar a modelos con miles de millones de parámetros, capaces de realizar tareas sin un entrenamiento específico para ellas, simplemente reconociendo patrones en el texto que han consumido. Sin embargo, esta carrera por el tamaño conlleva un costo oculto. La enorme potencia de cálculo necesaria para entrenar estos modelos consume cantidades ingentes de electricidad, y el impacto ambiental de ese uso de energía se ha convertido en una preocupación apremiante. Mientras el mundo lidia con el cambio climático, comprender la verdadera huella de carbono de estos gigantes digitales ya no es solo un detalle técnico, sino una parte necesaria para evaluar su valor para la sociedad.

Un equipo de investigadores del Instituto de Innovación Tecnológica de Abu Dabi y LightOn en París decidió mirar más allá de los números habituales. En lugar de limitarse a contar la electricidad utilizada para entrenar un solo modelo, realizaron un recuento completo de principio a fin de un proyecto llamado Noor. Este proyecto tenía como objetivo construir los modelos de lenguaje más grandes jamás creados para la lengua árabe, con tamaños que oscilaban entre los 1.500 millones y los 13.000 millones de parámetros. Los investigadores querían conocer el precio ambiental total de traer estos modelos a la existencia, desde el primer paso de la recopilación de datos hasta el momento en que los modelos puedan ser utilizados por las personas en el futuro. Rastrearon cada fuente de consumo de energía, incluyendo el almacenamiento de conjuntos de datos masivos, los experimentos preliminares necesarios para acertar con el diseño, el proceso principal de entrenamiento e incluso los viajes requeridos para que el equipo internacional colaborara. Su objetivo era pintar un cuadro completo de las emisiones de carbono generadas por una empresa tan ambiciosa.

El viaje comenzó con los datos. Para enseñar a los modelos el idioma árabe, el equipo tuvo que ensamblar una colección personalizada de texto que contenía 150.000 millones de palabras. Esto implicó descargar enormes cantidades de datos de la web, filtrar el contenido de baja calidad y organizarlo para que las computadoras pudieran leerlo. Almacenar y mover estos terabytes de información requirió una energía significativa, incluso antes de que comenzara el entrenamiento real. Los investigadores calcularon que la energía utilizada solo para almacenar y transferir estos datos, junto con el trabajo preliminar de limpieza y preparación, representaba una parte sustancial del uso energético total del proyecto. Descubrieron que el esfuerzo para preparar los datos no era una tarea secundaria menor, sino un contribiente principal al costo ambiental general.

Una vez que los datos estuvieron listos, el equipo pasó a la fase de entrenamiento, donde las computadoras aprenden a predecir la siguiente palabra en una oración. Esta es la parte que requiere más energía del proceso. El equipo entrenó cuatro modelos diferentes de tamaño creciente en una supercomputadora potente. Descubrieron que las emisiones de carbono de este entrenamiento dependían fuertemente de dónde se encontraban las computadoras. Cuando utilizaron un centro de datos en Luxemburgo, que funciona con electricidad muy limpia, las emisiones fueron sorprendentemente bajas. Sin embargo, cuando utilizaron su propio clúster de computación de alto rendimiento en los Emiratos Árabes Unidos, las emisiones fueron mucho mayores porque la mezcla de electricidad local incluía fuentes más intensivas en carbono. El estudio demostró que la ubicación del trabajo de computación es tan importante como la cantidad de trabajo que se realiza. En total, el entrenamiento de los cuatro modelos consumió la mayor parte de la energía, pero no fue el único factor.

Los investigadores también analizaron el elemento humano del proyecto. El equipo estaba compuesto por científicos que trabajaban tanto en Francia como en los Emiratos Árabes Unidos, quienes necesitaban viajar entre ambos países para realizar talleres y sesiones de lluvia de ideas. Calcularon las emisiones de carbono de estos vuelos y descubrieron que representaban una parte significativa de la huella total. De hecho, el viaje por sí solo representó casi una quinta parte de las emisiones totales de carbono del proyecto. Este hallazgo desafió la suposición común de que lo único que importa es el tiempo de computación. El estudio destacó que, en un mundo donde los centros de datos son cada vez más eficientes y la electricidad es cada vez más limpia, las emisiones derivadas de los viajes humanos y otros costos indirectos podrían convertirse en la parte dominante del impacto ambiental de un proyecto.

Mirando hacia el futuro, el equipo también estimó qué podría suceder cuando estos modelos sean realmente utilizados por las personas. Calcularon la energía requerida para que los modelos generen texto en respuesta a las peticiones de los usuarios. Descubrieron que si estos modelos se utilizan ampliamente, la energía consumida durante su uso diario podría eventualmente superar la energía utilizada para entrenarlos en un principio. Este es un conocimiento crucial porque el entrenamiento ocurre una sola vez, pero el uso puede ocurrir millones de veces. Los investigadores señalaron que si los modelos se despliegan en computadoras alimentadas por energía limpia, el impacto sería bajo, pero si funcionan en redes alimentadas por combustibles fósiles, el costo ambiental podría ser muy alto.

El recuento final para el proyecto Noor fue de 36,5 toneladas de dióxido de carbono equivalente. Para poner esto en perspectiva, la persona promedio en los Estados Unidos genera unas 20 toneladas de emisiones de carbono por año, lo que significa que este proyecto de investigación completo produjo el equivalente a poco más de dos años de emisiones para una persona. Aunque esto pueda parecer pequeño comparado con la contaminación industrial, es significativo para un solo esfuerzo de investigación. El estudio concluyó que el mayor impulsor de esta huella fue la intensidad de carbono de la electricidad utilizada para el entrenamiento. Al elegir ejecutar sus cálculos en una ubicación con energía más limpia, el equipo estimó que podrían haber reducido la huella total en más de la mitad.

El artículo no sugiere que debamos dejar de construir grandes modelos de lenguaje, sino que argumenta que debemos ser más reflexivos sobre cómo los construimos. Los investigadores recomiendan que los proyectos futuros rastreen sistemáticamente todas las fuentes de emisiones, no solo el tiempo de entrenamiento. Sugieren que elegir centros de datos con energía limpia, minimizar los viajes innecesarios y utilizar hardware informático más eficiente puede reducir drásticamente el costo ambiental. También enfatizan que a medida que la tecnología mejora y el proceso de entrenamiento se vuelve más eficiente, el enfoque debe desplazarse hacia los otros costos, como los viajes y el uso a largo plazo de los modelos. Al adoptar una visión holística, la comunidad científica puede continuar avanzando en la inteligencia artificial manteniendo al mismo tiempo un ojo cuidadoso sobre su impacto en el planeta.