Provenance-Aware Evaluation of Cloud and Local Large Language Models for Cybersecurity Workloads
Este artigo audita um projeto de inferência de cibersegurança para demonstrar que suas comparações publicadas de energia entre nuvem versus local são inválidas devido a falhas de proveniência, incluindo identidades contábeis mascaradas como medições e incompatibilidades dimensionais, estabelecendo, assim, um protocolo rigoroso e consciente da proveniência para avaliações futuras.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo digital moderno, os grandes modelos de linguagem tornaram-se ferramentas poderosas para equipes de segurança, ajudando-as a filtrar e-mails de phishing, explicar vulnerabilidades de software e responder a ataques cibernéticos. Esses sistemas de inteligência artificial funcionam prevendo a próxima palavra em uma frase, mas também consomem eletricidade para fazê-lo. À medida que as organizações decidem se devem executar esses modelos em seus próprios servidores ou alugá-los de grandes provedores de nuvem, surge uma questão crítica: qual opção é melhor para o meio ambiente? Para responder a isso, os pesquisadores devem medir a energia usada por cada requisição. No entanto, medir a energia não é tão simples quanto ler um medidor. Requer saber exatamente qual hardware foi usado, quanto tempo ele funcionou e quais tarefas específicas foram realizadas. Sem um registro claro de onde um número veio e como ele foi calculado, uma comparação entre dois sistemas diferentes é como comparar a leitura do velocímetro de um carro com um palpite sobre a velocidade de uma bicicleta.
Uma equipe de pesquisadores da Universidade de Tecnologia de Auckland decidiu investigar este problema analisando de perto um projeto específico de cibersegurança que já havia sido concluído. Eles não realizaram novos experimentos nem mediram a eletricidade com novos equipamentos. Em vez disso, atuaram como auditores, examinando os arquivos, registros e relatórios existentes para ver se as alegações de energia feitas no estudo original poderiam realmente ser confiáveis. O objetivo deles era rastrear cada número até sua origem, verificando se o dado era uma observação direta da realidade ou um cálculo baseado em suposições. Eles descobriram que o estudo estava tentando comparar duas coisas muito diferentes: um serviço de nuvem cujos mecanismos internos são ocultos e um computador local onde os pesquisadores podiam ver os processos, mas haviam cometido um erro fundamental na forma como registraram os dados.
Os pesquisadores descobriram que os números de energia para a parte da nuvem não eram medições de eletricidade, de fato. Na planilha da nuvem contendo 360 registros, cada um dos valores de energia era derivado ao pegar o número total de palavras geradas pelo modelo e multiplicá-lo por um número fixo. Isso significava que o valor de energia era uma identidade matemática, uma regra aplicada ao texto, e não uma leitura de um medidor elétrico. O provedor de nuvem não compartilhou nenhum dado sobre quanta energia seus servidores realmente usaram para essas requisições. Consequentemente, a forte ligação entre o número de palavras e o custo de energia era um artefato do método de cálculo, e não uma observação física de quanto a nuvem consumiu de eletricidade.
A situação era diferente, mas igualmente problemática, para os experimentos locais, onde o modelo rodava nos próprios computadores dos pesquisadores. Aqui, a equipe utilizou uma ferramenta de software projetada para estimar emissões de carbono. Essa ferramenta calculou corretamente quanto de dióxido de carbono equivalente foi produzido, medido em quilogramas. No entanto, os pesquisadores trataram esse número de carbono como se fosse uma medida de energia elétrica em quilowatt-hora. Eles multiplicaram o peso do carbono por mil e chamaram isso de energia, e então usaram esse número incorreto para calcular o custo da eletricidade. Isso foi uma confusão de unidades, semelhante a pesar um saco de maçãs e depois alegar que o peso indica quanta água há em uma piscina. Devido a esse erro, os números de energia locais não podiam ser comparados aos números da nuvem, nem podiam ser confiados como uma medida verdadeira de consumo de energia.
A auditoria também revelou que os dois lados do estudo não estavam testando as mesmas coisas. As requisições na nuvem envolviam um tipo diferente de modelo e permitiam que as respostas fossem muito mais longas do que as requisições locais, que eram interrompidas em um comprimento menor. O estudo local também carecia de um registro claro das versões exatas de software e configurações de hardware utilizadas, tornando impossível saber se os resultados seriam os mesmos se o experimento fosse repetido. Além disso, o estudo não incluiu uma maneira de verificar se as tarefas de segurança foram realmente resolvidas corretamente, apenas que foram completadas. Sem saber se as respostas eram boas, é impossível dizer se a energia usada foi eficiente ou desperdiçada.
Quando os pesquisadores aplicaram um framework rigoroso para rastrear o histórico dos dados, conhecido como proveniência, descobriram que o arquivo não podia sustentar um ranking de qual implementação era mais eficiente energeticamente. Os números da nuvem eram estimativas baseadas no comprimento do texto, e os números locais eram baseados em um erro de conversão de unidade. O estudo não pôde determinar se a nuvem era melhor, se a configuração local era melhor, ou se eles eram sequer comparáveis. Os pesquisadores concluíram que estudos futuros devem ser desenhados de forma diferente. Eles precisam usar as mesmas tarefas para ambos os sistemas, medir a eletricidade com medidores adequados ou dados verificados e manter uma cadeia de evidências clara e ininterrupta que mostre exatamente como cada número foi derivado. Até que um estudo assim seja feito, as alegações sobre os benefícios ambientais de uma abordagem sobre a outra permanecem não comprovadas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.