Wasted large language models: A life cycle thinking approach
Este artigo propõe aplicar o quadro da hierarquia de resíduos da UE aos Grandes Modelos de Linguagem (LLMs) como uma abordagem de pensamento de ciclo de vida para mitigar o seu crescente impacto ambiental, enfatizando que prevenir o uso desnecessário e o treinamento de novos modelos é a estratégia mais eficaz para reduzir a sua pegada de carbono.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Vivemos em uma era em que máquinas podem escrever poesia, resolver equações complexas e gerar código de computador com uma velocidade surpreendente. Essas máquinas são alimentadas por grandes modelos de linguagem, um tipo de inteligência artificial que aprende ao processar vastas quantidades de informações. Embora essas ferramentas prometam revolucionar a forma como trabalhamos, elas trazem consigo um preço elevado: consomem enormes quantidades de eletricidade para serem treinadas e operadas, deixando uma pegada de carbono significativa no planeta. Durante anos, cientistas tentaram tornar esses modelos mais eficientes energeticamente, esperando reduzir seu impacto ambiental. No entanto, um fenômeno conhecido como o paradoxo de Jevons frequentemente compromete esses esforços; à medida que os modelos se tornam mais eficientes e baratos de operar, tendemos a usá-los mais, e não menos, levando a um aumento líquido no consumo total de energia. Isso cria uma necessidade premente de um tipo diferente de solução, uma que olhe além da simples eficiência e considere todo o ciclo de vida da tecnologia, desde sua criação até seu eventual descarte.
Uma equipe de pesquisadores da SINTEF Digital, na Noruega, propôs uma nova forma de pensar sobre este problema ao aplicar um conceito geralmente reservado ao lixo físico: a hierarquia de resíduos. Na União Europeia, as leis relativas aos resíduos físicos priorizam cinco etapas: prevenir a criação de resíduos, reutilizar itens, reciclá-los em novos materiais, recuperar energia a partir deles e, finalmente, descartá-los de forma responsável. Os pesquisadores sugerem que devemos ver os grandes modelos de linguagem não apenas como software, mas como produtos que podem se tornar resíduos. Assim como uma garrafa plástica pode ser descartada quando não é mais útil, um modelo de linguagem pode se tornar um resíduo quando é substituído por uma versão mais nova ou simplesmente abandonado. Ao tratar essas ferramentas digitais como produtos com um ciclo de vida, os autores argumentam que podemos encontrar novas maneiras de reduzir seu impacto ambiental que vão além de apenas torná-las mais rápidas ou menores.
O cerne do argumento dos pesquisadores é que a maneira mais eficaz de reduzir o impacto climático da inteligência artificial é prevenir o desperdício, evitando a criação desnecessária de novos modelos. Quando um novo modelo é treinado, ele requer uma energia massiva para processamento de dados, experimentação e o processo de aprendizado real. Se pudermos estender a vida de um modelo existente ou encontrar formas de reutilizá-lo para diferentes tarefas, evitaremos a necessidade de queimar energia para construir um novo do zero. O artigo destaca que, ao contrário de objetos físicos, o software não pode quebrar ou desgastar-se, portanto, a principal razão pela qual os modelos se tornam resíduos é que são substituídos por versões mais novas e rápidas. Essa rotatividade rápida é impulsionada por um mercado competitivo onde laboratórios lançam constantemente modelos atualizados, muitas vezes tornando os anteriores obsoletos antes que tenham sido totalmente utilizados. Os pesquisadores sugerem que mudar nosso foco da busca pelo melhor desempenho absoluto para encontrar o que é "bom o suficiente" poderia retardar significativamente esse ciclo de substituição e reduzir a energia gasta no treinamento.
Para gerenciar o desperdício que ocorre, os autores exploram como as outras etapas da hierarquia de resíduos podem se aplicar aos modelos digitais. A reutilização é a abordagem mais direta; como os modelos digitais podem ser copiados sem custo, devemos maximizar seu uso em diferentes aplicações antes de considerá-los obsoletos. O artigo aponta para técnicas como o "ajuste fino" (fine-tuning), onde um modelo existente recebe uma pequena quantidade de novo treinamento para se especializar em uma tarefa específica, como uma forma de reciclagem. Isso permite que o modelo original, que consome muita energia, seja adaptado em vez de descartado. Da mesma forma, a "recuperação" envolve encontrar maneiras de tornar esses modelos úteis por mais tempo, como conectá-los a bancos de dados externos para melhorar sua precisão sem a necessidade de retratá-los do zero. Até mesmo a etapa final de descarte, que geralmente significa jogar algo fora, tem um papel aqui. Embora deletar um arquivo digital não deixe resíduo físico, os servidores que armazenam modelos não utilizados ainda consomem eletricidade. Portanto, deletar ativamente modelos que não são mais necessários é uma forma prática de economizar energia e respeitar os recursos investidos em sua criação.
Os pesquisadores também alertam contra a "mentalidade de descarte" que a conveniência digital fomenta. Como deletar um modelo parece não ter custo, desenvolvedores e usuários frequentemente negligenciam o imenso investimento de energia e tempo em sua criação. O artigo observa que existe atualmente uma lacuna na forma como interagimos com essas ferramentas; as interfaces muitas vezes incentivam o uso constante sem ajudar os usuários a compreender o custo ambiental ou guiá-los em direção a alternativas mais eficientes. Os autores sugerem que precisamos nos tornar mais conscientes de quando um grande modelo de linguagem é realmente necessário versus quando uma ferramenta mais simples e menos intensiva em energia seria suficiente. Eles argumentam que, embora a tecnologia seja poderosa, seu valor deve ser pesado contra seu custo, e que seguir cegamente a tendência de constantes atualizações de modelos pode estar nos levando a desperdiçar recursos em produtos que oferecem pouco benefício líquido.
Em última análise, este estudo não afirma ter resolvido a crise climática da inteligência artificial, nem sugere que devamos parar de desenvolver novos modelos inteiramente. Em vez disso, oferece uma estrutura para pensar mais cuidadosamente sobre o ciclo de vida dessas ferramentas. Ao visualizar os grandes modelos de linguagem como produtos que podem se tornar resíduos, podemos identificar oportunidades para prevenir o treinamento desnecessário, estender a vida útil de modelos existentes e descartar os modelos não utilizados de forma responsável. Os autores propõem que essa mudança de perspectiva é essencial para avançar em direção a um futuro mais sustentável para a inteligência artificial, instando-nos a valorizar os recursos que já gastamos antes de nos apressarmos em criar algo novo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.