Cost-Aware Distributed Online Learning with Strict Rejection Behavior against Adversarial Agents

1. Problema e Contesto

Il lavoro affronta le sfide del apprendimento online distribuito nei sistemi multi-agente (MAS) in presenza di agenti avversari (maliziosi).

• Vulnerabilità: I sistemi distribuiti sono intrinsecamente vulnerabili perché gli agenti cooperano scambiando informazioni locali. Se agenti maliziosi iniettano dati falsi o distorti, possono compromettere la convergenza globale e la stabilità del sistema.
• Limiti delle soluzioni esistenti: La maggior parte degli studi attuali si concentra sul raggiungimento del consenso resiliente o sulla fusione sicura, spesso assumendo che gli agenti maliziosi possano essere isolati immediatamente. Tuttavia, nella realtà, l'isolamento è un processo graduale che richiede tempo per la raccolta di prove. Durante questa fase transitoria, gli agenti normali continuano a interagire con quelli maliziosi, subendo non solo errori di stima, ma anche costi di evoluzione dello stato (effort di correzione) eccessivi e amplificati a causa delle interazioni avversarie.
• Obiettivo: Colmare il divario tra robustezza e efficienza dei costi. Il paper mira a progettare un meccanismo che mantenga la robustezza contro le influenze maliziose, minimizzando al contempo i costi di evoluzione dello stato accumulati durante il processo di difesa, senza richiedere un isolamento immediato e completo.

2. Metodologia Proposta

Gli autori sviluppano un quadro di apprendimento online distribuito consapevole dei costi (Cost-Aware) basato su un comportamento di rifiuto rigoroso (Strict Rejection).

A. Meccanismo di Rifiuto Rigoroso (Strict Rejection)

Invece di una fusione standard, viene introdotta una regola di fusione avversaria ispirata all'"Effetto Boomerang".

• Gli agenti normali rifiutano attivamente le informazioni che si discostano eccessivamente dalle norme sociali (stati vicini).
• La regola di fusione include un termine repulsivo per grandi differenze di stato: se la distanza tra lo stato di un vicino e quello locale supera una soglia $\varepsilon$, l'informazione viene trattata in modo da respingerla piuttosto che assimilarla.
• Questo meccanismo impedisce l'assimilazione di dati estremi o falsi, ma può causare sovraelongazioni (overshoot) e costi aggiuntivi se non gestito dinamicamente.

B. Analisi del Costo di Evoluzione dello Stato

Il paper formalizza matematicamente il costo di evoluzione dello stato ($J_i$) come funzione della distanza dallo stato ottimo e dell'energia di controllo necessaria per correggere le deviazioni.

• Viene dimostrato teoricamente (Lemma 2.2 e Teorema 3.1) che la presenza di agenti maliziosi amplifica il costo di convergenza. Le perturbazioni avversarie costringono gli agenti normali a convergere più rapidamente verso le norme sociali, incurrendo in costi di adattamento non necessari.

C. Framework a Due Scale Temporali e Aggiustamento Adattivo

Per bilanciare robustezza ed efficienza, viene proposto un meccanismo di aggiustamento adattivo del tasso di evoluzione dello stato ($\gamma$):

1. Scala Temporale Interna (Veloce): Gli agenti evolvono secondo un programma periodico fisso di tassi di evoluzione all'interno di un periodo.
2. Scala Temporale Esterna (Lenta): Il programma di tassi viene aggiornato periodicamente (una volta per periodo) tramite un'ottimizzazione online vincolata.
   • L'aggiornamento esterno è formulato come un problema di ottimizzazione online su insiemi ammissibili variabili nel tempo.
   • L'obiettivo è tracciare un riferimento target (basato su segnali di allerta o indicatori di rischio) mantenendo la coerenza temporale (evitando variazioni brusche) e rispettando i vincoli di stabilità.
   • La soluzione è ottenuta proiettando una combinazione convessa tra il riferimento target e un "ancoraggio inerziale" (storico) su un insieme ammissibile, con vincoli di regione di fiducia ($\ell_\infty$).

D. Analisi di Stabilità

• Strato Riccati: Viene dimostrata la ben-postezza e la regolarità dello strato interno basato sull'equazione di Riccati algebrica discreta parametrica (PDARE). Si prova che l'aggiornamento adattivo mantiene la stabilità del sistema.
• Stabilità Pratica: Utilizzando un framework Lyapunov a due scale temporali, viene stabilita la stabilità pratica del sistema in anello chiuso. L'errore residuo è limitato dalla grandezza delle perturbazioni esterne e dalla velocità di deriva del target di riferimento.

3. Contributi Chiave

1. Framework Cost-Aware: Sviluppo di un nuovo framework che esplicitamente caratterizza e minimizza il costo di evoluzione dello stato durante l'apprendimento sotto influenza avversaria, rivelando l'effetto di amplificazione dei costi causato dalle interazioni maliziose.
2. Meccanismo di Aggiustamento Adattivo: Proposta di un meccanismo a due scale temporali che regola dinamicamente il tasso di evoluzione. Questo approccio trasforma l'aggiornamento dello strato esterno in un problema di ottimizzazione online vincolata, garantendo convergenza in scenari statici e dinamici.
3. Analisi Teorica Rigorosa: Dimostrazione della ben-postezza dello strato di Riccati periodico e della stabilità pratica del sistema globale tramite analisi Lyapunov.
4. Validazione Pratica: Simulazioni estese e un caso di studio reale (tracciamento di bersagli multi-satellite) che dimostrano l'efficacia del comportamento di rifiuto rigoroso nel ridurre i costi a lungo termine e migliorare la sicurezza operativa rispetto ai metodi basati solo su valori di fiducia.

4. Risultati Sperimentali

Le simulazioni sono state condotte su un sistema di 10 agenti (4 normali, 6 maliziosi) e su uno scenario di tracciamento satellitare.

• Convergenza Robusta e a Basso Costo: Il metodo proposto riesce a far convergere gli agenti normali verso l'obiettivo anche in presenza di agenti maliziosi persistenti, mantenendo un costo di evoluzione dello stato significativamente inferiore rispetto ai metodi tradizionali.
• Confronto con Metodi Esistenti: Rispetto agli algoritmi basati su valori di fiducia (es. Akgün et al., 2023), il metodo proposto offre un migliore compromesso tra costi iniziali (Early Stage Cost) e costi tardivi (Late Stage Cost), adattando dinamicamente la velocità di apprendimento.
• Scenario Satellitare: In un scenario di tracciamento cooperativo con interferenze maliziose (bias nell'iniezione di dati), il comportamento di rifiuto rigoroso permette al satellite centrale di prendere decisioni di cattura più tempestive e sicure, evitando collisioni dovute a ritardi causati da informazioni false.
• Metriche: L'analisi quantitativa mostra che l'algoritmo a periodo variabile bilancia meglio i costi totali e i passi di convergenza rispetto a strategie con parametri fissi.

5. Significato e Impatto

Questo lavoro è significativo perché sposta il paradigma della resilienza nei sistemi multi-agente:

• Oltre l'isolamento: Riconosce che l'isolamento immediato è spesso impossibile e si concentra sulla gestione efficace della fase transitoria di "attacco in corso".
• Efficienza Energetica/Computazionale: Introduce il concetto di "costo di evoluzione" come metrica critica, dimostrando che la semplice robustezza (convergenza) non è sufficiente se comporta costi di adattamento eccessivi.
• Applicabilità Reale: Il framework è applicabile a scenari critici come reti di sensori, veicoli autonomi, e missioni spaziali, dove la sicurezza e l'efficienza dei costi devono essere bilanciate in tempo reale contro minacce attive.

In sintesi, il paper propone una soluzione elegante e teoricamente fondata per rendere l'apprendimento distribuito non solo sicuro, ma anche economicamente efficiente in ambienti ostili.