Trustworthy AI-Driven Dynamic Hybrid RIS: Joint Optimization and Reward Poisoning-Resilient Control in Cognitive MISO Networks

Questo lavoro propone un sistema di superficie intelligente riconfigurabile (RIS) ibrido e dinamico per reti cognitive MISO, ottimizzato tramite apprendimento per rinforzo profondo (SAC) e dotato di un meccanismo di difesa contro l'avvelenamento delle ricompense, che garantisce un miglior compromesso tra throughput ed efficienza energetica e una maggiore resilienza agli attacchi rispetto alle soluzioni esistenti.

L'essenziale

Immagina di essere in una stanza affollata (la rete wireless) dove c'è un ospite VIP che parla forte (l'utente principale, o PU) e un gruppo di amici che vogliono chiacchierare tra loro senza disturbare il VIP (gli utenti secondari, o SU). Il problema è che il VIP è molto sensibile: se gli amici parlano troppo forte, lo disturbano. Inoltre, gli amici sono in un angolo buio e non si sentono bene tra loro.

Ecco come questo articolo risolve il problema, spiegato come una storia:

1. Il "Muro Magico" Intelligente (RIS)

Per far sì che gli amici si sentano senza urlare, abbiamo installato un muro speciale (chiamato RIS o Superficie Intelligente Riconfigurabile) fatto di migliaia di piccoli specchi.

• Il vecchio muro (Passivo): Funziona come un normale specchio. Riflette la voce degli amici per farla arrivare meglio, ma non la amplifica. È economico e non consuma batteria, ma se la stanza è molto rumorosa o lontana, la voce arriva ancora debole.
• Il muro potente (Attivo): Questo muro ha un microfono e un amplificatore incorporati. Non solo riflette la voce, ma la amplifica per farla arrivare forte e chiara. Il problema? Consuma molta energia e costa caro.
• Il nostro muro "Ibrido Dinamico": Questo è il cuore della nostra invenzione. È un muro che cambia forma in tempo reale.
  • Se ha poca energia (la batteria è scarica), agisce come un semplice specchio (modo passivo) per risparmiare.
  • Se ha raccolto abbastanza energia (magari da un raggio di sole o da un segnale radio dedicato), si "sveglia" e usa l'amplificatore (modo attivo) per rendere la voce fortissima.
  • L'analogia: Immagina un ciclista che ha una batteria. Se la batteria è piena, usa la pedalata assistita (attivo) per andare veloce. Se la batteria è bassa, smette di usare l'assistenza e pedala a mano (passivo) per non fermarsi del tutto. Il nostro muro fa esattamente questo: decide istante per istante se "spingere forte" o "risparmiare".

2. Il "Cervello" che Impara (Intelligenza Artificiale)

Chi decide quando usare la pedalata assistita e quando no? Non un umano, ma un Cervello Artificiale (chiamato DRL o Apprendimento per Rinforzo Profondo).

• Questo cervello osserva la stanza: quanto rumore c'è? Quanto è lontana la batteria? Quanto sta parlando il VIP?
• Impara per tentativi ed errori (come un bambino che impara a camminare): se fa una scelta che funziona, riceve un "premio" (punti). Se sbaglia, riceve una "sanzione".
• Il nostro cervello usa un metodo speciale chiamato SAC (Soft Actor-Critic), che è come un allenatore molto paziente che incoraggia l'atleta a esplorare nuove strategie senza aver paura di sbagliare, trovando la soluzione migliore in modo molto veloce e stabile.

3. Il "Veleno" e l'Antidoto (Sicurezza)

C'è un problema: un cattivo (un hacker) potrebbe cercare di ingannare il cervello artificiale.

• L'attacco: Immagina che il cattivo vada nella stanza e sussurra al cervello: "Ehi, hai fatto un ottimo lavoro!" quando in realtà hai fatto un disastro, oppure "Hai fatto un disastro!" quando invece hai fatto un capolavoro. Questo si chiama avvelenamento della ricompensa. Il cervello, confuso, impara a fare le cose sbagliate e la comunicazione crolla.
• La difesa: Il nostro articolo propone un filtro intelligente. È come un guardiano alla porta che controlla le "lodi" o le "critiche" che arrivano al cervello.
  • Se il guardiano sente una lode esagerata e strana (fuori dalla norma statistica), la butta via e dice: "Falsa allerta, non dire nulla al cervello".
  • Se la lode è normale, la lascia passare.
  • Il risultato: Anche se il cattivo cerca di ingannare il sistema, il guardiano filtra le bugie e il cervello continua a imparare correttamente e a proteggere la comunicazione.

In sintesi, cosa abbiamo scoperto?

1. Il muro che cambia è il migliore: Un muro che sa quando amplificare e quando risparmiare energia funziona meglio di un muro che è sempre spento o sempre acceso. Risparmia energia e mantiene la connessione veloce.
2. Il cervello è intelligente: Il nostro metodo di apprendimento (SAC) è più veloce e affidabile di altri metodi esistenti.
3. Siamo sicuri: Anche se qualcuno prova a "avvelenare" il sistema con messaggi falsi, il nostro filtro protegge il cervello, garantendo che la rete continui a funzionare bene.

Conclusione:
Questo lavoro ci porta un passo più vicino a un futuro (il 6G) in cui le reti wireless sono intelligenti, consumano poca energia (come i dispositivi IoT) e sono sicure anche se qualcuno cerca di sabotarle. È come avere un muro magico che si adatta da solo alle condizioni della stanza e sa difendersi dai bugiardi.

Sommario tecnico

Titolo

AI Affidabile: Controllo Robusto e Ottimizzazione Congiunta di RIS Ibridi Dinamici in Reti MISO Cognitive

1. Il Problema

Le reti radio cognitive (CRN) sono fondamentali per mitigare la scarsità di spettro, permettendo agli utenti secondari (SU) di accedere opportunisticamente alle bande licenziate senza interferire con gli utenti primari (PU). Tuttavia, le reti di nuova generazione (6G) affrontano sfide critiche:

• Collegamenti diretti inaffidabili: I link diretti tra SU sono spesso bloccati da ostacoli.
• Vincoli energetici: I dispositivi IoT e le infrastrutture di rete hanno limitazioni energetiche severe.
• Limitazioni delle RIS statiche: Le superfici intelligenti riconfigurabili (RIS) passive soffrono dell'effetto di fading moltiplicativo, mentre le RIS attive consumano troppa energia. Le soluzioni ibride fisse (alcuni elementi attivi, altri passivi) mancano di adattabilità alle condizioni energetiche in tempo reale.
• Vulnerabilità della Sicurezza: L'uso dell'Apprendimento per Rinforzo Profondo (DRL) per l'ottimizzazione delle RIS introduce rischi di sicurezza, in particolare gli attacchi di avvelenamento delle ricompense (Reward Poisoning), che possono manipolare l'agente di apprendimento, degradando le prestazioni della rete e la fiducia dell'utente.

2. Metodologia

L'articolo propone un approccio integrato che combina un'architettura hardware innovativa con algoritmi di controllo avanzati e meccanismi di difesa.

• Modello di Sistema:

  • RIS Ibrida Dinamica: A differenza delle RIS statiche, la proposta introduce una RIS che alterna dinamicamente tra modalità passiva (solo riflessione) e attiva (riflessione e amplificazione) in base all'energia raccolta (Energy Harvesting - EH) da un faro di alimentazione dedicato.
  • Modelli Realistici: Il sistema considera canali a cascata (Rayleigh), impatti hardware non ideali (amplificazione dipendente dalla fase) e rumore termico negli amplificatori attivi.
  • Vincoli: Gli SU devono rispettare una soglia di interferenza massima per i PU e i limiti di potenza di trasmissione.

• Ottimizzazione Congiunta tramite DRL:

  • Il problema di massimizzazione della somma dei tassi di trasmissione (sum-rate) degli SU, soggetto a vincoli di interferenza ed energia, è formulato come un Processo Decisionale di Markov (MDP).
  • Viene utilizzato l'algoritmo Soft Actor-Critic (SAC), un metodo DRL off-policy noto per la sua efficienza in spazi di stato e azione continui. L'SAC massimizza la ricompensa (tasso di dati) mentre gestisce l'esplorazione tramite regolarizzazione dell'entropia.
  • La ricompensa include una penalità se la RIS tenta di operare in modalità attiva senza energia sufficiente.

• Difesa contro l'Avvelenamento delle Ricompense:

  • Viene studiato un attacco in cui un avversario manipola i segnali di ricompensa (invertendoli o scalandoli) quando le prestazioni dell'agente sono elevate.
  • Meccanismo di Difesa: Viene proposto un filtro leggero e in tempo reale basato su:
    1. Clipping della ricompensa: Limitazione dei valori estremi.
    2. Filtraggio statistico: Rilevamento di anomalie confrontando la ricompensa corrente con la media e la deviazione standard delle ricompense "pulite" (raccogliute in una fase di warm-up). Le ricompense anomale vengono scartate prima dell'aggiornamento della politica.

3. Contributi Chiave

1. Architettura RIS Ibrida Dinamica ed Energy-Aware: Prima proposta di una RIS che cambia modalità operativa (passiva/attiva) in tempo reale in base al budget energetico raccolto, ottimizzando congiuntamente il beamforming di trasmissione e i coefficienti della RIS.
2. Modellazione Realistica: Inclusione di modelli di riflessione non ideali, rumore degli amplificatori e canali a cascata, superando le ipotesi di "canali ideali" presenti in lavori precedenti.
3. Studio Sistematico della Sicurezza DRL: Primo studio che analizza gli attacchi di avvelenamento delle ricompense in reti CRN assistite da RIS e propone una difesa leggera (statistica e clipping) che non richiede risorse computazionali pesanti o ambienti multipli.
4. Validazione dell'Algoritmo SAC: Dimostrazione che l'SAC supera metodi come DDPG e TD3 in termini di convergenza stabile e ricompense cumulative in ambienti dinamici e continui.

4. Risultati

Le simulazioni numeriche confermano l'efficacia dell'approccio proposto:

• Prestazioni: L'approccio basato su SAC supera costantemente i baseline DDPG, TD3 e le strategie casuali.
• Efficienza Energetica vs. Prestazioni: La RIS ibrida dinamica offre un compromesso superiore rispetto alle RIS puramente passive o attive.
  • Rispetto alla RIS attiva fissa, la soluzione ibrida riduce il consumo energetico fino al 74,2% (per soglie energetiche elevate) mantenendo prestazioni elevate.
  • Rispetto alla RIS passiva, la modalità ibrida attiva migliora significativamente il tasso di dati quando l'energia è disponibile.
• Robustezza alla Sicurezza: Il meccanismo di difesa proposto mantiene le prestazioni dell'agente stabili e vicine al livello ottimale anche sotto attacco di avvelenamento delle ricompense (invertimento o scalatura), mentre gli agenti senza difesa convergono verso politiche subottimali.
• Impatto dei Parametri: Un aumento del numero di elementi RIS e dell'ampiezza di riflessione minima migliora il tasso di dati, mentre un aumento del livello di cascata (maggiore ostacolo) e del numero di utenti primari degrada le prestazioni a causa di interferenze più severe.

5. Significato e Impatto

Questo lavoro rappresenta un passo cruciale verso il dispiegamento pratico e sicuro delle reti cognitive di nuova generazione:

• Sostenibilità: Dimostra come l'adattabilità dinamica all'energia raccolta possa bilanciare le prestazioni di rete con i vincoli energetici, rendendo le RIS fattibili per dispositivi IoT a bassa potenza.
• Sicurezza Operativa: Colma un vuoto critico nella letteratura sulla sicurezza del DRL, fornendo una soluzione pratica e a basso costo computazionale per proteggere le reti intelligenti da manipolazioni malevole, un requisito essenziale per le infrastrutture critiche del 6G.
• Versatilità: L'approccio proposto è scalabile e può essere adattato a scenari con array MIMO massicci o reti satellitari, offrendo un quadro di riferimento per la progettazione di sistemi wireless resilienti e intelligenti.

In sintesi, il paper combina innovazione hardware (RIS ibrida dinamica), intelligenza artificiale avanzata (SAC) e sicurezza informatica (difesa contro il poisoning) per creare un sistema di comunicazione radio cognitiva più efficiente, affidabile e sicuro.