Provenance-Aware Evaluation of Cloud and Local Large Language Models for Cybersecurity Workloads
Diese Arbeit auditiert ein Cybersecurity-Inferenzprojekt, um zu demonstrieren, dass dessen veröffentlichte Vergleiche des Energieverbrauchs von Cloud gegenüber lokaler Ausführung aufgrund von Provenienzfehlern, einschließlich als Messungen getarnten Identitäten und Dimensionsfehlern, ungültig sind, und etabliert damit ein rigoroses, provenienzbewusstes Protokoll für zukünftige Evaluierungen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen digitalen Welt sind große Sprachmodelle zu leistungsstarken Werkzeugen für Sicherheitsteams geworden, die ihnen helfen, Phishing-E-Mails zu sortieren, Software-Schwachstellen zu erklären und auf Cyberangriffe zu reagieren. Diese Systeme der künstlichen Intelligenz arbeiten dadurch, dass sie das nächste Wort in einem Satz vorhersagen, aber sie verbrauchen auch Elektrizität, um dies zu tun. Während Organisationen entscheiden, ob sie diese Modelle auf ihren eigenen Servern ausführen oder von massiven Cloud-Anbietern mieten, stellt sich eine entscheidende Frage: Welche Option ist besser für die Umwelt? Um dies zu beantworten, müssen Forscher den Energieverbrauch pro Anfrage messen. Das Messen von Energie ist jedoch nicht so einfach wie das Ablesen eines Zählers. Es erfordert das Wissen darüber, welche Hardware genau verwendet wurde, wie lange sie lief und welche spezifischen Aufgaben ausgeführt wurden. Ohne eine klare Aufzeichnung darüber, woher eine Zahl stammt und wie sie berechnet wurde, ist ein Vergleich zwischen zwei verschiedenen Systemen wie der Vergleich einer Tachoanzeige eines Autos mit einer Vermutung darüber, wie schnell ein Fahrrad fahren könnte.
Ein Team von Forschern der Auckland University of Technology beschloss, dieses Problem zu untersuchen, indem es ein spezifisches Cybersicherheitsprojekt genauer unter die Lupe nahm, das bereits abgeschlossen war. Sie führten keine neuen Experimente durch und massen keine Elektrizität mit neuer Ausrüstung. Stattdessen agierten sie als Auditoren, indem sie die vorhandenen Dateien, Protokolle und Berichte untersuchten, um zu sehen, ob den im ursprüngellen Studium gemachten Energieangaben tatsächlich vertraut werden konnte. Ihr Ziel war es, jede Zahl zurück zu ihrer Quelle zu verfolgen und zu prüfen, ob die Daten eine direkte Beobachtung der Realität oder eine Berechnung basierend auf Annahmen waren. Sie fanden heraus, dass die Studie versuchte, zwei sehr unterschiedliche Dinge zu vergleichen: einen Cloud-Dienst, in dessen Inneres die Arbeitsweise verborgen ist, und einen lokalen Computer, bei dem die Forscher die Prozesse zwar sehen konnten, aber einen grundlegenden Fehler bei der Art und Weise begangen hatten, wie sie ihre Daten aufzeichneten.
Die Forscher entdeckten, dass die Energiezahlen für den Cloud-Teil der Studie keine Messungen von Elektrizität überhaupt waren. In der Cloud-Tabelle, die 360 Datensätze enthielt, wurde jeder einzelne Energiewert abgeleitet, indem die Gesamtzahl der vom Modell generierten Wörter mit einer festen Zahl multipliziert wurde. Dies bedeutete, dass die Energiezahl eine mathematische Identität war, eine Regel, die auf den Text angewendet wurde, und keine Messung von einem elektrischen Zähler. Der Cloud-Anbieter teilte keinerlei Daten darüber mit, wie viel Strom ihre Server tatsächlich für diese Anfragen verbrauchten. Folglich war die starke Verbindung zwischen der Anzahl der Wörter und den Energiekosten ein Artefakt der Berechnungsmethode und keine physische Beobachtung dessen, wie viel Elektrizität die Cloud tatsächlich verbrauchte.
Die Situation war bei den lokalen Experimenten, bei denen das Modell auf den eigenen Computern der Forscher lief, anders, aber gleichermaßen problematisch. Hier nutzte das Team ein Software-Tool, das darauf ausgelegt ist, Kohlenstoffemissionen zu schätzen. Dieses Tool berechnete korrekt, wie viel CO2-Äquivalent produziert wurde, gemessen in Kilogramm. Die Forscher behandelten diesen Kohlenstoffwert jedoch dann so, als wäre er ein Maß für elektrische Energie in Kilowattstunden. Sie multiplizierten das Kohlenstoffgewicht mit tausend, nannten es Energie und verwendeten diese falsche Zahl dann, um die Kosten für Elektrizität zu berechnen. Dies war eine Verwechslung von Einheiten, vergleichbar damit, eine Tasche Äpfel zu wiegen und dann zu behaupten, dass das Gewicht aussagt, wie viel Wasser in einem Swimmingpool ist. Aufgrund dieses Fehlers konnten die lokalen Energiewerte weder mit den Cloud-Werten verglichen werden, noch konnten sie als wahre Messung des Stromverbrauchs betrachtet werden.
Das Audit deckte auch auf, dass die beiden Seiten der Studie nicht dieselben Dinge testeten. Die Cloud-Anfragen involving einen anderen Typ von Modell und erlaubten wesentlich längere Antworten als die lokalen Anfragen, die bei einer kürzeren Länge abgeschnitten wurden. Die lokale Studie fehlte zudem eine klare Aufzeichnung der exakten Softwareversionen und Hardware-Einstellungen, was es unmöglich machte zu wissen, ob die Ergebnisse gleich blieben, wenn das Experiment wiederholt würde. Darüber hinaus enthielt die Studie keine Möglichkeit zu verifizieren, ob die Sicherheitsaufgaben tatsächlich korrekt gelöst wurden, sondern nur, dass sie abgeschlossen wurden. Ohne zu wissen, ob die Antworten gut waren, ist es unmöglich zu sagen, ob die verwendete Energie effizient oder verschwendet war.
Als die Forscher ein strenges Framework zur Verfolgung der Datenhistorie, bekannt als Provenienz, anwandten, stellten sie fest, dass das Archiv nicht dazu in der Lage war, eine Rangfolge darüber zu erstellen, welches Deployment energieeffizienter war. Die Cloud-Zahlen waren Schätzungen basierend auf der Textlänge, und die lokalen Zahlen basierten auf einem Einheitenumrechnungsfehler. Die Studie konnte nicht bestimmen, ob die Cloud besser war, ob das lokale Setup besser war oder ob sie überhaupt vergleichbar waren. Die Forscher kamen zu dem Schluss, dass zukünftige Studien anders konzipiert werden müssen. Sie müssen dieselben Aufgaben für beide Systeme verwenden, Elektrizität mit ordnungsgemäßen Messgeräten oder verifizierten Daten messen und eine klare, ununterbrochene Beweiskette führen, die genau zeigt, wie jede Zahl abgeleitet wurde. Bis eine solche Studie durchgeführt wurde, bleiben Behauptungen über die ökologischen Vorteile eines Ansatzes gegenüber dem anderen unbewiesen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.