A Holistic Assessment of the Carbon Footprint of Noor, a Very Large Arabic Language Model

No mundo da inteligência artificial, que evolui rapidamente, surgiu uma nova geração de programas de computador que podem compreender e gerar linguagem humana com uma fluidez surpreendente. Esses sistemas, frequentemente chamados de modelos de fundação, são construídos alimentando vastas quantidades de texto em estruturas matemáticas complexas conhecidas como redes neurais. A ideia predominante neste campo tem sido a de que quanto maior, melhor: quanto mais dados um modelo vê e maior for sua estrutura interna, mais inteligente ele se torna. Esse impulso pela escala levou a modelos com bilhões de parâmetros, capazes de realizar tarefas sem treinamento específico para elas, simplesmente reconhecendo padrões no texto que consumiram. No entanto, essa corrida pelo tamanho traz um custo oculto. O enorme poder computacional necessário para treinar esses modelos consome quantidades imensas de eletricidade, e o impacto ambiental desse uso de energia tornou-se uma preocupação urgente. Enquanto o mundo luta contra as mudanças climáticas, compreender a verdadeira pegada de carbono desses gigantes digitais não é mais apenas um detalhe técnico, mas uma parte necessária para avaliar seu valor para a sociedade.

Uma equipe de pesquisadores do Technology Innovation Institute em Abu Dhabi e da LightOn em Paris decidiu olhar além dos números usuais. Em vez de apenas contar a eletricidade usada para treinar um único modelo, eles realizaram um levantamento completo, de ponta a ponta, de um projeto chamado Noor. Este projeto visava construir os maiores modelos de linguagem já criados para a língua árabe, com tamanhos variando de 1,5 bilhão a 13 bilhões de parâmetros. Os pesquisadores queriam saber o preço ambiental total para trazer esses modelos à existência, desde o primeiro passo da coleta de dados até o momento em que os modelos possam ser usados por pessoas no futuro. Eles rastrearam cada fonte de consumo de energia, incluindo o armazenamento de conjuntos de dados massivos, os experimentos preliminares necessários para acertar o design, o processo principal de treinamento e até mesmo as viagens necessárias para a colaboração da equipe internacional. O objetivo deles era pintar um quadro completo das emissões de carbono geradas por um empreendimento tão ambicioso.

A jornada começou com os dados. Para ensinar a língua árabe aos modelos, a equipe teve que montar uma coleção personalizada de texto contendo 150 bilhões de palavras. Isso envolveu baixar enormes quantidades de dados da web, filtrar conteúdo de baixa qualidade e organizá-los para que os computadores pudessem ler. Armazenar e mover esses terabytes de informações exigiu energia significativa, mesmo antes do treinamento real começar. Os pesquisadores calcularam que a energia usada apenas para armazenar e transferir esses dados, juntamente com o trabalho preliminar de limpeza e preparação, representou uma parte substancial do uso total de energia do projeto. Eles descobriram que o esforço para preparar os dados não foi uma tarefa secundária menor, mas um grande contribuinte para o custo ambiental geral.

Uma vez que os dados estavam prontos, a equipe passou para a fase de treinamento, onde os computadores aprendem a prever a próxima palavra em uma frase. Esta é a parte que mais consome energia no processo. A equipe treinou quatro modelos diferentes de tamanhos crescentes em um supercomputador poderoso. Eles descobriram que as emissões de carbono deste treinamento dependiam fortemente de onde os computadores estavam localizados. Quando utilizaram um centro de dados em Luxemburgo, que opera com eletricidade muito limpa, as emissões foram surpreendentemente baixas. No entanto, quando utilizaram seu próprio cluster de computação de alto desempenho nos Emirados Árabes Unidos, as emissões foram muito mais altas porque a matriz elétrica local incluía fontes mais intensivas em carbono. O estudo mostrou que a localização do trabalho computacional é tão importante quanto a quantidade de trabalho sendo feito. No total, o treinamento dos quatro modelos consumiu a maior parte da energia, mas não foi o único fator.

Os pesquisadores também observaram o elemento humano do projeto. A equipe era composta por cientistas trabalhando tanto na França quanto nos Emirados Árabes Unidos, que precisavam viajar entre os dois países para realizar workshops e sessões de brainstorming. Eles calcularam as emissões de carbono desses voos e descobriram que eles representavam uma fatia significativa do total da pegada. De fato, as viagens sozinhas representaram quase um quinto das emissões totais de carbono do projeto. Essa descoberta desafiou a suposição comum de que a única coisa que importa é o tempo de computador. O estudo destacou que, em um mundo onde os centros de dados estão se tornando mais eficientes e a eletricidade está ficando mais limpa, as emissões provenientes de viagens humanas e outros custos indiretos podem se tornar a parte dominante do impacto ambiental de um projeto.

Olhando para o futuro, a equipe também estimou o que poderia acontecer quando esses modelos forem realmente usados pelas pessoas. Eles calcularam a energia necessária para os modelos gerarem texto em resposta a comandos de usuários. Descobriram que, se esses modelos forem amplamente utilizados, a energia consumida durante esse uso diário poderá eventualmente ultrapassar a energia usada para treiná-los inicialmente. Este é um insight crucial porque o treinamento acontece uma vez, mas o uso pode acontecer milhões de vezes. Os pesquisadores observaram que, se os modelos forem implantados em computadores alimentados por energia limpa, o impacto será baixo, mas se rodarem em redes alimentadas por combustíveis fósseis, o custo ambiental poderá ser muito alto.

O balanço final para o projeto Noor foi de 36,5 toneladas de dióxido de carbono equivalente. Para colocar em perspectiva, a pessoa média nos Estados Unidos gera cerca de 20 toneladas de emissões de carbono por ano, o que significa que todo este projeto de pesquisa produziu o equivalente a pouco mais de dois anos de emissões de uma pessoa. Embora isso possa parecer pequeno comparado à poluição industrial, é significativo para um único esforço de pesquisa. O estudo concluiu que o maior impulsionador desta pegada foi a intensidade de carbono da eletricidade usada para o treinamento. Ao optar por realizar suas computações em um local com energia mais limpa, a equipe estimou que poderia ter reduzido a pegada total em mais da metade.

O artigo não sugere que devemos parar de construir grandes modelos de linguagem, mas argumenta que devemos ser mais cuidadosos sobre como os construímos. Os pesquisadores recomendam que projetos futuros rastreiem sistematicamente todas as fontes de emissões, não apenas o tempo de treinamento. Eles sugerem que escolher centros de dados com energia limpa, minimizar viagens desnecessárias e usar hardware de computador mais eficiente pode reduzir drasticamente o custo ambiental. Eles também enfatizam que, à medida que a tecnologia melhora e o processo de treinamento se torna mais eficiente, o foco deve mudar para os outros custos, como viagens e o uso de longo prazo dos modelos. Ao adotar uma visão holística, a comunidade científica pode continuar a avançar a inteligência artificial mantendo um olhar atento sobre seu impacto no planeta.