Provenance-Aware Evaluation of Cloud and Local Large Language Models for Cybersecurity Workloads
Este artículo audita un proyecto de inferencia de ciberseguridad para demostrar que sus comparaciones publicadas de energía entre la nube y el entorno local son inválidas debido a fallos de procedencia, incluyendo identidades contables disfrazadas de mediciones y desajustes dimensionales, estableciendo así un protocolo riguroso y consciente de la procedencia para futuras evaluaciones.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo digital moderno, los modelos de lenguaje extensos se han convertido en herramientas poderosas para los equipos de seguridad, ayudándoles a clasificar correos electrónicos de phishing, explicar vulnerabilidades de software y responder a ciberataques. Estos sistemas de inteligencia artificial funcionan prediciendo la siguiente palabra en una oración, pero también consumen electricidad para hacerlo. A medida que las organizaciones deciden si ejecutar estos modelos en sus propios servidores o alquilarlos a enormes proveedores de la nube, surge una pregunta crítica: ¿qué opción es mejor para el medio ambiente? Para responder a esto, los investigadores deben medir la energía utilizada por cada solicitud. Sin embargo, medir la energía no es tan sencillo como leer un medidor. Requiere saber exactamente qué hardware se utilizó, cuánto tiempo funcionó y qué tareas específicas se realizaron. Sin un registro claro de dónde proviene un número y cómo se calculó, una comparación entre dos sistemas diferentes es como comparar la lectura de un velocímetro de un automóvil con una suposición sobre qué tan rápido podría ir una bicicleta.
Un equipo de investigadores de la Universidad Tecnológica de Auckland decidió investigar este problema analizando de cerca un proyecto de ciberseguridad específico que ya se había completado. No realizaron nuevos experimentos ni midieron la electricidad con equipos nuevos. En su lugar, actuaron como auditores, examinando los archivos, registros e informes existentes para ver si las afirmaciones de energía realizadas en el estudio original eran realmente confiables. Su objetivo era rastrear cada número hasta su origen, verificando si el dato era una observación directa de la realidad o un cálculo basado en suposiciones. Descubrieron que el estudio intentaba comparar dos cosas muy diferentes: un servicio en la nube donde el funcionamiento interno está oculto, y una computadora local donde los investigadores podían ver los procesos, pero habían cometido un error fundamental en la forma en que registraron los datos.
Los investigadores descubrieron que las cifras de energía para la parte de la nube no eran mediciones de electricidad en absoluto. En la hoja de cálculo de la nube que contenía 360 registros, cada uno de los valores de energía se derivó tomando el número total de palabras generadas por el modelo y multiplicándolo por un número fijo. Esto significaba que la cifra de energía era una identidad matemática, una regla aplicada al texto, en lugar de una lectura de un medidor eléctrico. El proveedor de la nube no compartió ningún dato sobre cuánta potencia utilizaron realmente sus servidores para estas solicitudes. En consecuencia, el fuerte vínculo entre el número de palabras y el costo de energía fue un artefacto del método de cálculo, no una observación física de cuánta electricidad consumió la nube.
La situación era diferente pero igualmente problemática para los experimentos locales, donde el modelo se ejecutaba en las propias computadoras de los investigadores. Aquí, el equipo utilizó una herramienta de software diseñada para estimar las emisiones de carbono. Esta herramienta calculó correctamente cuánto dióxido de carbono equivalente se produjo, medido en kilogramos. Sin embargo, los investigadores luego trataron este número de carbono como si fuera una medida de energía eléctrica en kilovatios-hora. Multiplicaron el peso del carbono por mil y lo llamaron energía, y luego usaron ese número incorrecto para calcular el costo de la electricidad. Esto fue una confusión de unidades, similar a pesar una bolsa de manzanas y luego afirmar que el peso te dice cuánta agua hay en una piscina. Debido a este error, los números de energía locales no podían compararse con los de la nube, ni podían confiarse como una medida real del consumo de energía.
La auditoría también reveló que los dos lados del estudio no estaban probando las mismas cosas. Las solicitudes de la nube involucraban un tipo de modelo diferente y permitían que las respuestas fueran mucho más largas que las solicitudes locales, que se cortaban a una longitud más corta. El estudio local también carecía de un registro claro de las versiones exactas de software y la configuración de hardware utilizadas, lo que hacía imposible saber si los resultados serían los mismos si se repitiera el experimento. Además, el estudio no incluyó una forma de verificar si las tareas de seguridad se resolvieron correctamente, solo que se completaron. Sin saber si las respuestas fueron buenas, es imposible decir si la energía utilizada fue eficiente o se desperdició.
Cuando los investigadores aplicaron un marco estricto para rastrear la historia de los datos, conocido como procedencia, descubrieron que el archivo no podía sustentar una clasificación de qué despliegue era más eficiente energéticamente. Los números de la nube eran estimaciones basadas en la longitud del texto, y los números locales se basaban en un error de conversión de unidades. El estudio no pudo determinar si la nube era mejor, si la configuración local era mejor, o si siquiera eran comparables. Los investigadores conclyer el hecho de que los estudios futuros deben diseñarse de manera diferente. Deben utilizar las mismas tareas para ambos sistemas, medir la electricidad con medidores adecuados o datos verificados, y mantener una cadena de evidencia clara e ininterrumpida que muestre exactamente cómo se derivó cada número. Hasta que se realice un estudio así, las afirmaciones sobre los beneficios ambientales de un enfoque sobre el otro permanecen sin probar.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.