Provenance-Aware Evaluation of Cloud and Local Large Language Models for Cybersecurity Workloads
Questo articolo esamina un progetto di inferenza sulla cybersecurity per dimostrare che i suoi confronti pubblicati sull'energia tra cloud e locale sono invalidi a causa di difetti di provenienza, inclusi identità contabili che si spacciano per misurazioni e discrepanze dimensionali, stabilendo così un protocollo rigoroso e consapevole della provenienza per valutazioni future.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel moderno mondo digitale, i grandi modelli linguistici sono diventati strumenti potenti per i team di sicurezza, aiutandoli a smistare le email di phishing, spiegare le vulnerabilità del software e rispondere agli attacchi informatici. Questi sistemi di intelligenza artificiale funzionano prevedendo la parola successiva in una frase, ma consumano anche elettricità per farlo. Mentre le organizzazioni decidono se eseguire questi modelli sui propri server o noleggiarli da enormi fornitori di servizi cloud, sorge una domanda critica: quale opzione è migliore per l'ambiente? Per rispondere a questo, i ricercatori devono misurare l'energia utilizzata da ogni singola richiesta. Tuttavia, misurare l'energia non è semplice come leggere un contatore. Richiede di sapere esattamente quale hardware è stato utilizzato, per quanto tempo è stato in funzione e quali compiti specifici sono stati eseguti. Senza un registro chiaro di dove provenga un numero e di come sia stato calcolato, un confronto tra due sistemi diversi è come confrontare la lettura di un tachimetro di un'auto con un'ipotesi su quanto potrebbe andare veloce una bicicletta.
Un team di ricercatori dell'Università di Tecnologia di Auckland ha deciso di investigare questo problema esaminando da vicino un progetto specifico di cybersicurezza che era già stato completato. Non hanno eseguito nuovi esperimenti né hanno misurato l'elettricità con nuove apparecchiature. Invece, hanno agito come auditor, esaminando i file, i log e i rapporti esistenti per vedere se le affermazioni sull'energia fatte nello studio originale potessero effettivamente essere ritenute affidabili. Il loro obiettivo era tracciare ogni numero fino alla sua origine, controllando se il dato fosse un'osservazione diretta della realtà o un calcolo basato su ipotesi. Hanno scoperto che lo studio cercava di confrontare due cose molto diverse: un servizio cloud in cui il funzionamento interno è nascosto, e un computer locale dove i ricercatori potevano vedere i processi, ma avevano commesso un errore fondamentale nel modo in cui registravano i dati.
I ricercatori hanno scoperto che le cifre energetiche per la parte cloud dello studio non erano affatto misurazioni di elettricità. Nel foglio di calcolo del cloud contenente 360 record, ogni singolo valore energetico era derivato prendendo il numero totale di parole generate dal modello e moltiplicandolo per un numero fisso. Ciò significava che la cifra energetica era un'identità matematica, una regola applicata al testo, piuttosto che una lettura da un contatore elettrico. Il fornitore del servizio cloud non ha condiviso alcun dato su quanta energia utilizzassero realmente i loro server per queste richieste. Di conseguenza, il forte legame tra il numero di parole e il costo energetico era un artefatto del metodo di calcolo, non un'osservazione fisica di quanta elettricità consumasse il cloud.
La situazione era diversa ma ugualmente problematica per gli esperimenti locali, dove il modello veniva eseguito sui computer dei ricercatori. Qui, il team ha utilizzato uno strumento software progettato per stimare le emissioni di carbonio. Questo strumento ha calcolato correttamente quanto fosse l'equivalente di anidride carbonica prodotto, misurato in chilogrammi. Tuttavia, i ricercatori hanno poi trattato questo numero di carbonio come se fosse una misura di energia elettrica in kilowattora. Hanno moltiplicato il peso del carbonio per mille e l'hanno chiamato energia, e poi hanno usato quel numero errato per calcolare il costo dell'elettricità. Si è trattato di una confusione di unità, simile a pesare un sacco di mele e poi sostenere che il peso indichi quanta acqua c'è in una piscina. A causa di questo errore, i numeri dell'energia locale non potevano essere confrontati con quelli del cloud, né potevano essere considerati una vera misura del consumo di potenza.
L'audit ha anche rivelato che i due lati dello studio non stavano testando le stesse cose. Le richieste al cloud coinvolgevano un tipo di modello diverso e permettevano risposte molto più lunghe rispetto alle richieste locali, che venivano interrotte a una lunghezza inferiore. Lo studio locale mancava inoltre di un registro chiaro delle versioni esatte del software e delle impostazioni hardware utilizzate, rendendo impossibile sapere se i risultati sarebbero stati gli stessi se l'esperimento fosse stato ripetuto. Inoltre, lo studio non includeva un modo per verificare se i compiti di sicurezza fossero stati effettivamente risolti correttamente, ma solo che fossero stati completati. Senza sapere se le risposte fossero buone, è impossibile dire se l'energia utilizzata fosse efficiente o sprecata.
Quando i ricercatori hanno applicato un rigoroso framework per tracciare la storia dei dati, noto come provenienza, hanno scoperto che l'archivio non poteva supportare una classifica di quale implementazione fosse più efficiente dal punto di cui all'energia. I numeri del cloud erano stime basate sulla lunghezza del testo, e i numeri locali erano basati su un errore di conversione delle unità. Lo studio non poteva determinare se il cloud fosse migliore, se la configurazione locale fosse migliore, o se fossero persino comparabili. I ricercatori hanno concluso che i futuri studi devono essere progettati diversamente. Devono utilizzare gli stessi compiti per entrambi i sistemi, misurare l'elettricità con contatori appropriati o dati verificati, e mantenere una catena di evidenza chiara e ininterrotta che mostri esattamente come ogni numero sia stato derivato. Finché non verrà condotto uno studio di questo tipo, le affermazioni sui benefici ambientali di un approccio rispetto all'altro rimangono non provate.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.