Native Byzantine-Robust Aggregation for Trustworthy Federated Learning: A C++20 Evaluation of Krum, Multi-Krum, Trimmed Mean, and Coordinate-wise Median

Immaginate un gruppo di estranei che cerca di risolvere insieme un puzzle complesso, ma sono tutti in stanze diverse e non possono vedere i pezzi degli altri. Possono solo inviare descrizioni dei propri progressi a un leader centrale. Questa è l'essenza di un moderno metodo informatico chiamato apprendimento federato (federated learning), dove molti dispositivi addestrano un'intelligenza artificiale condivisa senza mai condividere i propri dati privati. Il sistema funziona magnificamente quando tutti giocano lealmente, ma affronta una debolezza critica: cosa succederebbe se uno di quegli estranei stesse mentendo? Un dispositivo compromesso potrebbe inviare una descrizione completamente errata, non perché sia guasto, ma perché è malizioso, con l'obiettivo di corrompere la risposta finale. In questo scenario, semplicemente fidarsi della maggioranza non è sufficiente, perché pochi attori malintenzionati possono far deviare l'intero gruppo dalla rotta. La sfida per gli scienziati è costruire un sistema in grado di individuare questi bugiardi e ignorare i loro cattivi consigli, garantendo che il risultato finale rimanga affidabile anche quando alcuni partecipanti stanno attivamente cercando di sabotare il processo.

I ricercatori sanno da tempo come filtrare matematicamente questi attori malintenzionati utilizzando regole specifiche, ma trasformare quelle regole in software veloci e affidabili è stato difficile. Un nuovo studio di Md Shahanur Islam Shagor presso l'Università Statale delle Foreste e delle Tecnologie di Voronezh affronta questo problema costruendo un motore ad alta velocità per eseguire questi controlli di sicurezza. Il team non ha inventato un nuovo modo per filtrare i dati errati; ha invece preso quattro metodi esistenti e ben noti per individuare i bugiardi e li ha ricostruiti da zero utilizzando un linguaggio di programmazione moderno progettato per la velocità e la sicurezza. Il loro obiettivo era dimostrare che questi meccanismi di sicurezza potessero girare abbastanza velocemente da essere utili nelle applicazioni del mondo reale, assicurando al contempo di non accettare mai accidentalmente un input rotto o pericoloso.

I ricercatori si sono concentrati su quattro strategie specifiche per gestire i dati errati. Le prime due, note come Krum e Multi-Krum, funzionano misurando quanto l'aggiornamento di ogni persona sia distante da quello di tutti gli altri. Se l'aggiornamento di una persona è drasticamente diverso da quello del gruppo, il sistema lo identifica come un valore anomalo (outlier) e sceglie o la persona più coerente o la media delle poche persone più coerenti. Le altre due strategie, la media troncata (trimmed mean) e la mediana per coordinata (coordinate-wise median), lavorano guardando singolarmente ogni parte del pezzo del puzzle. Scartano i numeri più alti e quelli più bassi per ogni singola parte prima di calcolare la media, oppure scelgono semplicemente il valore centrale, ignorando efficacemente gli estremi anomali che potrebbero tentare di falsare il risultato. Sebbene queste idee matematiche siano ben comprese, i ricercatori volevano vedere come si sarebbero comportate quando implementate come un programma nativo capace di girare accanto ai massicci sistemi software utilizzati oggi per l'intelligenza artificiale.

Per testare il loro lavoro, il team ha creato una simulazione controllata in cui dieci client virtuali hanno cercato di addestrare un modello in venticinque round. In questa simulazione, due dei client sono stati programmati per agire come attaccanti maliziosi. Un attaccante ha cercato di invertire completamente la direzione del progresso, mentre l'altro ha inondato il sistema con rumore casuale ad alta varianza progettato per confondere la matematica. Nonostante questi tentativi aggressivi di deviare il processo, il sistema ha guidato con successo il modello verso l'obiettivo corretto. Dopo venticinque round, la distanza tra la posizione attuale del modello e il vero obiettivo era diminuita di meno del cinque per cento rispetto al punto di partenza. Questo risultato è stato confermato per il metodo Multi-Krum, la media troncata e la mediana, dimostrando che queste regole stabilite potevano effettivamente resistere a un tasso di attacco del venti per cento in un ambiente controllato.

Tuttavia, la parte più sorprendente dello studio non è stata solo la capacità delle regole di sicurezza di funzionare, ma la velocità con cui sono state eseguite rispetto agli strumenti software standard. I ricercatori hanno misurato il tempo necessario per elaborare aggiornamenti contenenti mille parametri e di nuovo con centomila parametri. Per i metodi basati sulla distanza come Krum e Multi-Krum, il nuovo codice nativo è stato drammaticamente più veloce. Quando elaborava mille parametri, il nuovo codice era più di due volte più veloce degli strumenti standard e, quando la dimensione cresceva a centomila parametri, diventava più di tre volte più veloce. Questo aumento di velocità è avvenuto perché il nuovo codice poteva utilizzare il processore del computer per gestire molti calcoli contemporaneamente ed eseguire controlli di distanza complessi con estrema efficienza.

Eppure, la storia è stata diversa per gli altri metodi. La media troncata, che comporta l'ordinamento dei numeri per trovare il valore centrale, non è diventata più veloce con il nuovo codice. Infatti, alle dimensioni ridotte era in realtà più lenta degli strumenti standard e, alle dimensioni maggiori, li ha appena pareggiati. Questa scoperta è fondamentale perché dimostra che riscrivere semplicemente il codice in un linguaggio più veloce non rende automaticamente tutto più veloce. Gli strumenti standard per l'ordinamento dei numeri sono già così altamente ottimizzati che un programma personalizzato fatica a batterli. I ricercatori hanno scoperto che il vantaggio di velocità dipende interamente dalla specifica operazione matematica che viene eseguita; per alcuni compiti, il nuovo motore è un enorme salto in avanti, mentre per altri, non offre alcun beneficio.

Lo studio ha inoltre sottolineato che la velocità non può andare a discapito della sicurezza. Il nuovo sistema è stato progettato con un approccio "fail-closed" (chiusura in caso di errore), il che significa che se gli input sono disordinati, i numeri mancano o la configurazione è impossibile, il sistema si rifiuta semplicemente di eseguire l'operazione piuttosto che produrre un risultato potenzialmente pericoloso. Esso controlla scenari impossibili, come avere troppi attaccanti rispetto al numero di persone presenti, e li rifiuta immediatamente. Assicura inoltre che nessun numero strano o non definito possa infiltrarsi e corrompere il modello finale. Questa severità garantisce che il sistema rimanga affidabile, anche se ciò significa rifiutare una richiesta che un sistema meno attento avrebbe potuto tentare di elaborare.

In definitiva, questo lavoro dimostra che costruire un sistema di intelligenza artificiale affidabile richiede un equilibrio attento tra sicurezza e prestazioni. I ricercatori hanno dimostrato che è possibile creare una difesa robusta contro gli attori malintenzionati che sia sia matematicamente solida che computazionalmente efficiente, ma solo se il design è adattato al metodo specifico utilizzato. Lo studio conclude che non esiste una singola soluzione "veloce" per tutti i problemi di sicurezza. Invece, gli ingegneri devono scegliere lo strumento giusto per il compito, comprendendo che alcune regole di sicurezza gireranno molto più velocemente di altre a seconda della dimensione dei dati e della natura del calcolo. Combinando rigorosi controlli di sicurezza con l'informatica ad alte prestazioni, è possibile costruire sistemi di apprendimento federato che siano non solo intelligenti, ma anche abbastanza resilienti da essere affidabili nel mondo reale.