Provenance-Aware Evaluation of Cloud and Local Large Language Models for Cybersecurity Workloads
Dit artikel auditeert een cybersecurity-inferentieproject om aan te tonen dat de gepubliceerde vergelijkingen tussen cloud- en lokale energie ongeldig zijn vanwege herkomstgebreken, waaronder rekenkundige identiteiten die zich voordoen als metingen en dimensionale mismatches, waardoor een rigoureus, herkomstbewust protocol voor toekomstige evaluaties wordt vastgesteld.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne digitale wereld zijn grote taalmodellen krachtige hulpmiddelen geworden voor beveiligingsteams, die hen helpen bij het sorteren van phishing-e-mails, het uitleggen van softwarekwetsbaarheden en het reageren op cyberaanvallen. Deze kunstmatige intelligentiesystemen werken door het volgende woord in een zin te voorspellen, maar ze verbruiken ook elektriciteit om dit te doen. Terwijl organisaties beslissen of ze deze modellen op hun eigen servers draaien of ze huren van enorme cloudproviders, rijst een cruciale vraag: welke optie is beter voor het milieu? Om dit te beantwoorden, moeten onderzoekers de energie meten die door elke aanvraag wordt gebruikt. Het meten van energie is echter niet zo eenvoudig als het aflezen van een meter. Het vereist kennis van de exacte hardware die werd gebruikt, hoe lang deze draaide en welke specifie�els taken werden uitgevoerd. Zonder een duidelijk verslag van waar een getal vandaan kwam en hoe het werd berekend, is een vergelijking tussen twee verschillende systemen als het vergelijken van een snelheidsmeter van een auto met een gok over hoe snel een fiets zou kunnen gaan.
Een team van onderzoekers aan de Auckland University of Technology besloot dit probleem te onderzoeken door nauwkeurig naar een specifiek cybersecurityproject te kijken dat al was voltooid. Ze voerden geen nieuwe experimenten uit of maten elektriciteit met nieuwe apparatuur. In plaats daarvan traden ze op als auditors, waarbij ze de bestaande bestanden, logs en rapporten onderzochten om te zien of de energieclaims die in de oorspronkelijke studie werden gemaakt, daadwerkelijk vertrouwd konden worden. Hun doel was om elk getal terug te leiden naar de bron, om te controleren of de data een directe observatie van de werkelijkheid was of een berekening gebaseerd op aannames. Ze ontdekten dat de studie probeerde twee zeer verschillende dingen te vergelijken: een clouddienst waarbij de interne werking verborgen is, en een lokale computer waarbij de onderzoekers de processen konden zien, maar een fundamentele fout hadden gemaakt in de manier waarop zij de gegevens registreerden.
De onderzoekers ontdekten dat de energiecijfers voor het cloudgedeelte van de studie geen metingen van elektriciteit waren. In het cloudspreadsheet met 360 records was elke energiewaarde afgeleid door het totaal aantal gegenereerde woorden door het model te vermenigvuldigen met een vast getal. Dit betekende dat het energiecijfer een wiskundige identiteit was, een regel toegepast op de tekst, in plaats van een aflezing van een elektrische meter. De cloudprovider deelde geen gegevens over hoeveel vermogen hun servers daadwerkelijk gebruikten voor deze aanvragen. Bijgevolg was de sterke link tussen het aantal woorden en de energiekosten een artefact van de berekeningsmethode, en geen fysieke observatie van hoeveel elektriciteit de cloud daadwerkelijk verbruikte.
De situatie was anders maar even problematisch voor de lokale experimenten, waarbij het model op de eigen computers van de onderzoekers draaide. Hier gebruikte het team een softwaretool die ontworpen is om koolstofemissies te schatten. Deze tool berekende correct hoeveel koolstofdioxideequivalent werd geproduceerd, gemeten in kilogrammen. De onderzoekers behandelden dit koolstofgetal echter als een maat voor elektrische energie in kilowattuur. Ze vermenigvuldigden het koolstofgewicht met duizend en noemden het energie, en gebruikten dat onjuiste getal vervolgens om de kosten van elektriciteit te berekenen. Dit was een verwarring van eenheden, vergelijkbaar met het wegen van een zak appels en vervolgens beweren dat dat gewicht vertelt hoeveel water er in een zwembad zit. Vanwege deze fout konden de lokale energiecijfers niet worden vergeleken met de cloudcijfers, noch konden ze worden vertrouwd als een ware maat voor het stroomverbruik.
De audit onthulde ook dat de twee kanten van de studie niet hetzelfde testten. De cloudverzoeken betroffen een ander type model en lieten veel langere antwoorden toe dan de lokale verzoeken, die bij een kortere lengte werden afgebroken. De lokale studie miste ook een duidelijk verslag van de exacte softwareversies en hardware-instellingen, waardoor het onmogelijk was om te weten of de resultaten hetzelfde zouden zijn als het experiment zou worden herhaald. Bovendien bevatte de studie geen manier om te verifiëren of de beveiligingstaken daadwerkelijk correct waren opgelost, alleen dat ze waren voltooid. Zonder te weten of de antwoorden goed waren, is het onmogelijk om te zeggen of de gebruikte energie efficiënt was of verspild.
Toen de onderzoekers een strikt kader toepasten voor het volgen van de geschiedenis van gegevens, bekend als provenance, ontdekten zij dat het archief niet in staat was om een rangschikking te ondersteunen van welke implementatie energie-efficiënter was. De cloudcijfers waren schattingen gebaseerd op tekstlengte, en de lokale cijfers waren gebaseerd op een eenheidsconversiefout. De studie kon niet bepalen of de cloud beter was, of de lokale opstelling beter was, of dat ze überhaupt vergelijkbaar waren. De onderzoekers concludeerden dat toekomstige studies anders moeten worden ontworpen. Ze moeten dezelfde taken voor beide systemen gebruiken, elektriciteit meten met de juiste meters of geverifieerde gegevens, en een heldere, ononderbroken keten van bewijs bijhouden die precies laat zien hoe elk getal is afgeleid. Totdat een dergelijke studie wordt uitgevoerd, blijven claims over de milieuvriendelijke voordelen van de ene benadering boven de andere onbewezen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.