Sintesi Tecnica: BehaviorGuard: Difesa Online da Backdoor per l'Apprendimento per Rinforzo Profondo

1. Enunciato del Problema

L'Apprendimento per Rinforzo Profondo (DRL) è sempre più impiegato in domini critici per la sicurezza come la guida autonoma, la robotica e il gaming. Tuttavia, le politiche DRL sono altamente vulnerabili agli attacchi backdoor, in cui un avversario impianta un meccanismo nascosto durante l'addestramento. Tale meccanismo induce l'agente a eseguire comportamenti malevoli alla presenza di un trigger specifico (ad esempio, una patch visiva o una sequenza di interazioni), mantenendo al contempo prestazioni innocue in assenza dello stesso.

I meccanismi di difesa esistenti presentano limitazioni significative:

• Dipendenza dalle Anomalie di Ricompensa: Molte difese assumono che l'attivazione di un backdoor causi segnali di ricompensa anomali. Tuttavia, attacchi sofisticati possono mantenere traiettorie di ricompensa normali, portando a tassi elevati di falsi negativi.
• Dipendenza dal Trigger: I metodi che richiedono la ricostruzione del trigger o conoscenze preliminari sui pattern del trigger falliscono contro trigger complessi, sequenziali o basati su interazioni.
• Elevato Costo Computazionale: Le difese che comportano il riaddestramento o il fine-tuning della politica sono computazionalmente costose e spesso poco pratiche per il dispiegamento online.
• Scalabilità: La maggior parte dei metodi esistenti è progettata per ambienti ad agente singolo e fatica a generalizzare alle dinamiche non stazionarie e accoppiate dell'Apprendimento per Rinforzo Multi-Agente (MARL).

La sfida fondamentale è sviluppare una difesa che sia agnostica rispetto al trigger, online, computazionalmente efficiente ed efficace sia negli ambienti ad agente singolo (SARL) che in quelli multi-agente (MARL), senza richiedere il riaddestramento della politica.

2. Metodologia: BehaviorGuard

Gli autori propongono BehaviorGuard, un framework unificato che sposta il focus della difesa dal riconoscimento di specifici pattern di trigger all'identificazione di comportamenti di output backdoor unificati.

2.1 Intuizione Chiave: Deriva Comportamentale

L'insight centrale di BehaviorGuard è che, indipendentemente dal pattern del trigger o dall'ambiente, una politica backdoor deve deviare in modo sottile ma persistente la sua distribuzione delle azioni per garantire un'attivazione affidabile quando appare il trigger. Anche in assenza di trigger, questo "conflitto" tra il compito benigno primario e il compito backdoor induce una deriva comportamentale nella distribuzione delle azioni.

• Nel SARL, ciò si manifesta come distribuzioni disperse con code più pesanti rispetto alla baseline pulita e stabile.
• Nel com-MARL, dove le politiche pulite mostrano naturalmente distribuzioni più ampie a causa delle interazioni avverse, le politiche backdoor spesso impongono una strategia fissata in modo anomalo, portando a una distribuzione insolitamente concentrata.

2.2 Rilevamento della Deriva Comportamentale (BDD)

BehaviorGuard quantifica questa deriva utilizzando un Punteggio di Deriva Comportamentale (BDS).

• Calcolo del BDS: Per un dato istante temporale $t$, il BDS misura la deviazione della probabilità di azione prevista $p_{t,k}$ dalla media ($\mu_k$) e dalla deviazione standard ($\sigma_k$) stimate da esecuzioni pulite:
  $$BDSt = \frac{1}{2} \sum_{k=1}^{K} \left( \frac{p_{t,k} - \mu_k}{\sigma_k + \epsilon} \right)^2$$
• Analisi di Densità: La sequenza di valori BDS viene analizzata utilizzando la Stima di Densità del Nucleo (KDE) per identificare le regioni di coda a bassa densità dove si verificano deviazioni rare.
• Punteggio Composito: Un punteggio di rilevamento viene calcolato combinando la magnitudine media della deriva e la proporzione di istanti temporali nella coda a bassa densità, normalizzati tramite punteggi Z. Se questo punteggio supera una soglia (calibrata su baseline pulite), la politica viene segnalata come potenzialmente backdoor.

2.3 Mitigazione Vincolata alla Deriva

Rilevando una deriva persistente, BehaviorGuard impiega una strategia di mitigazione senza riaddestramento e leggera:

1. Azioni di Riferimento: Viene stabilita offline una serie di azioni di riferimento ($A_{ref}$), che rappresentano il comportamento benigno tipico.
2. Indicatore di Deriva: Una finestra temporale monitora le rilevazioni di deriva consecutive. Se il conteggio supera una soglia $L$, il sistema entra in un regime di "comportamento anomalo persistente".
3. Correzione Probabilistica: Quando il regime è attivo, l'azione grezza dell'agente viene sostituita probabilisticamente con l'azione di riferimento con probabilità $p$. Questo sopprime i comportamenti backdoor preservando le prestazioni benignhe ed evitando una sovracorrezione deterministica.

3. Contributi Chiave

1. Identificazione della Deriva Comportamentale: Il documento identifica la deriva comportamentale nelle distribuzioni delle azioni come una firma troiano agnostica rispetto all'attacco e all'ambiente, osservabile anche senza l'attivazione del trigger.
2. Framework Unificato: BehaviorGuard è la prima difesa online capace di rilevare e mitigare backdoor sia nelle impostazioni DRL ad agente singolo che multi-agente (competitive e cooperative).
3. Mitigazione Senza Riaddestramento: Il metodo proposto sopprime le azioni backdoor a runtime senza richiedere costosi riaddestramenti della politica o ricostruzioni del trigger.
4. Valutazione Completa: Esperimenti estesi su diversi benchmark (giochi Atari, Sumo-Humans, QMIX, COMA) dimostrano un'efficacia e un'efficienza superiori rispetto alle baseline all'avanguardia.

4. Risultati Sperimentali

Gli autori hanno valutato BehaviorGuard contro vari attacchi backdoor (istantanei, sequenziali, vincolati alla ricompensa) in ambienti SARL e MARL.

• Efficacia della Difesa: BehaviorGuard ha costantemente superato le baseline (inclusi Neural Cleanse, STRIP, BIRD, SHINE e PD) in ambienti avvelenati. Ha raggiunto tassi di mitigazione (MR) vicini o superiori a 1,0 (indicando un recupero completo o un lieve superamento dei livelli di prestazioni pulite) in tutti gli scenari testati.
• Prestazioni di Rilevamento: Il metodo ha ottenuto alti punteggi dell'Area Under the Curve (AUC) (ad esempio >0,90 nel SARL e >0,94 nel MARL), dimostrando una separazione affidabile tra politiche pulite e backdoor anche sotto dinamiche non stazionarie.
• Robustezza: A differenza dei metodi dipendenti dal trigger, BehaviorGuard ha mantenuto un'alta robustezza contro attacchi avanzati, inclusi quelli progettati per sopprimere le anomalie di ricompensa o utilizzare trigger sequenziali complessi.
• Efficienza: BehaviorGuard ha ridotto significativamente i costi temporali. Mentre metodi come SHINE richiedevano ore per operazioni offline (ripristino del trigger e fine-tuning), BehaviorGuard ha completato l'intero processo (calibrazione offline + rilevamento/mitigazione online) in circa 35 minuti, con un sovraccarico di inferenza online minimo.

5. Significato e Affermazioni

Il documento afferma che BehaviorGuard rappresenta un cambiamento di paradigma nella sicurezza DRL, spostandosi dal difficile compito di identificare pattern di trigger diversificati verso il monitoraggio di output comportamentali unificati.

• Praticità: Eliminando la necessità di riaddestramento e prior del trigger, il framework offre una soluzione pratica per il dispiegamento nel mondo reale, dove le politiche sono spesso black-box o non sono disponibili risorse per il riaddestramento.
• Generalità: La capacità di gestire sia scenari ad agente singolo che multi-agente, inclusi ambienti competitivi e cooperativi, affronta una lacuna critica nella letteratura attuale.
• Compromesso: Il framework ottiene un compromesso favorevole tra utilità e sicurezza, recuperando le prestazioni avvelenate mantenendo al contempo le prestazioni del compito pulito, anche sotto attacchi vincolati alla ricompensa e sequenziali dove altri metodi falliscono.

Gli autori riconoscono le limitazioni, in particolare la dipendenza da baseline benigne per la calibrazione, che potrebbe richiedere aggiustamenti in caso di significativi spostamenti di distribuzione (ad esempio, nuovi avversari). Identificano l'affrontare questa ricalibrazione e lo studio di attaccanti adattivi come lavoro futuro.