💻 computer science

Securing Contrastive mmWave-based Human Activity Recognition against Adversarial Label Flipping

Questo articolo presenta il primo studio sistematico sulle vulnerabilità del riconoscimento dell'attività umana tramite onde millimetriche (mmWave) basato sull'apprendimento contrastivo supervisionato rispetto agli attacchi di avvelenamento per inversione delle etichette, identificando tre vettori di attacco specifici e proponendo le corrispondenti contromisure validate su un sistema prototipo.

Autori originali: Amit Singha, Ziqian Bi, Tao Li, Yimin Chen, Yanchao Zhang

Pubblicato 2026-08-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Amit Singha, Ziqian Bi, Tao Li, Yimin Chen, Yanchao Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un occhio invisibile e superpotente che può vedere attraverso i muri senza mai aver bisogno di una telecamera. Questa non è magia; è una tecnologia chiamata radar a onde millimetriche (mmWave). Immaginala come un pipistrello che usa l'ecolocalizzazione, ma invece del suono, usa onde radio ad alta frequenza per creare una mappa termica dettagliata e in movimento del corpo di una persona. Se agiti la mano, il radar vede la forma e la velocità di quell'onda. Gli scienziati usano questo per costruire sistemi di "Riconoscimento dell'Attività Umana" (HAR), che sono come detective digitali in grado di capire se stai spingendo una porta, tirando un cassetto o girandoti, il tutto senza che tu debba indossare un orologio o un sensore.

Per rendere questi detective digitali davvero intelligenti, i ricercatori li istruiscono usando un metodo chiamato "Apprendimento Contrastivo Supervisionato". Puoi immaginarlo come un insegnante che mostra a uno studente due foto di un gatto e dice: "Vedi? Questi sono dello stesso tipo di animale", e poi mostra la foto di un cane e dice: "Questo è diverso". L'obiettivo è che il computer impari che tutti i movimenti di "spinta" si somigliano tra loro e sono molto diversi dai movimenti di "trazione". Ma ecco il problema: cosa succederebbe se qualcuno si intrufolasse nella classe dell'insegnante e scambiasse le etichette sulle flashcard? Cosa succederebbe se dicessero al computer che una "spinta" è in realtà una "trazione"? Questo è un attacco di "inversione delle etichette" (label flipping), ed è il pericolo che questo articolo esplora.

I ricercatori della Purdue University e i loro colleghi hanno deciso di investigare quanto siano vulnerabili questi rilevatori di attività mmWave a questo tipo di inganno. Hanno costruito un sistema prototipo in grado di riconoscere sei diversi movimenti della mano: spingere, tirare, scivolare a sinistra, scivolare a destra e ruotare in senso orario o antiorario. Poi hanno posto una domanda difficile: se un attaccante cambia le etichette nei dati di addestramento, quanto si rompe il sistema?

Hanno scoperto che il sistema è sorprendentemente fragile. Hanno identificato tre modi specifici in cui un attaccante potrebbe creare disordini. Primo, l'attaccante potrebbe semplicemente scambiare le etichette in modo casuale, dicendo al computer che una "spinta" è uno "scivolamento". Secondo, potrebbe scambiare le etichette tra attività che si muovono in direzioni completamente diverse (come una spinta rispetto a uno scivolamento). Terzo, e più subdolo, potrebbe scambiare le etichette tra attività che sembrano molto simili, come una "spinta" e una "trazione", che sono solo direzioni opposte dello stesso movimento.

I risultati sono stati un po' spaventosi. Quando i ricercatori hanno introdotto queste etichette false, la capacità del sistema di distinguere le attività è crollata. Infatti, il metodo di apprendimento avanzato che stavano usando (Apprendimento Contrastivo Supervisionato) si è effettivamente rotto più velocemente del metodo standard quando le etichette sono state avvelenate. È come un'auto sportiva ad alte prestazioni che gestisce una buca peggio di una berlina comune perché le sue sospensioni sono tarate con estrema precisione. Quando il 40% delle etichette di addestramento è stato invertito, il sistema è diventato quasi inutile, confondendo tutti i diversi movimenti della mano finché non riusciva più a distinguere una spinta da una rotazione.

Ma il team non si è limitato a trovare il problema; ha costruito uno scudo. Hanno sviluppato un meccanismo di difesa che chiamano "Sel-CL" (Apprendimento Contrastivo Selettivo). Immagina un detective che non prende ogni indizio per buono. Invece, questo detective esamina gli indizi, trova quelli che hanno più senso insieme e ignora quelli che sembrano sospetti. Il loro sistema prima cerca di capire quali punti dati sono "sicuri" — ovvero, il computer è certo di ciò che sta vedendo — prima di fidarsi delle etichette associate ad essi. Filtra i dati rumorosi, probabilmente falsificati, e impara solo dagli esempi puliti e affidabili.

La difesa ha funzionato in modo straordinario. Anche quando i dati di addestramento erano stati avvelenati con il 40% di etichette false, il loro nuovo sistema ha mantenuto l'accuratezza sopra il 90%. È stato in grado di ignorare la confusione e identificare correttamente che una "spinta" era una "spinta". In effetti, quando hanno testato il sistema con fino all'80% di dati avvelenati, esso ha comunque performato meglio degli altri sistemi, che avevano completamente rinunciato e avevano iniziato a tirare a indovinare.

L'articolo conclude che, sebbene questi sistemi mmWave siano potenti e non intrusivi, devono essere costruiti con la sicurezza in mente fin dall'inizio. I ricercatori hanno dimostrato che, essendo intelligenti su quali dati fidarsi durante l'addestramento, possiamo proteggere questi occhi invisibili dagli attacchi malevoli di inversione delle etichette. Le loro scoperte suggeriscono che questo approccio può essere utilizzato non solo per la tecnologia mmWave, ma anche per altri sistemi di rilevamento wireless, garantendo che le nostre future case intelligenti e i sistemi di sicurezza rimangano affidabili anche quando qualcuno prova a giocare brutti scherzi.

Sintesi Tecnica: Proteggere il Riconoscimento dell'Attività Umana basato su mmWave Contrastivo contro il Label Flipping Avversario

Definizione del Problema

Il Riconoscimento dell'Attività Umana (HAR) wireless, in particolare quando potenziato dalla tecnologia a onde millimetriche (mmWave) e dal Supervised Contrastive Learning (SLA), offre capacità di monitoraggio non intrusive per l'assistenza sanitaria, la sorveglianza e gli ambienti intelligenti. Tuttavia, questi sistemi si affidano pesantemente a dati di addestramento etichettati, il che li rende suscettibili ad attacchi di label flipping poisoning (avvelenamento tramite inversione delle etichette). In tali attacchi, gli avversari manipolano le etichette dei campioni di addestramento per degradare le prestazioni del sistema.

Sebbene gli attacchi di label flipping siano noti nel machine learning generale, la ricerca esistente spesso trascura le caratteristiche uniche dell'HAR wireless. Nello specifico, gli attacchi tradizionali non tengono conto della similarità delle traiettorie di movimento intrinseca nei dati mmWave (ad esempio, distinguere tra un "push" e un "pull" che condividono traiettorie avanti-indietro simili ma differiscono per direzione). Inoltre, i precedenti meccanismi di difesa per il poisoning delle etichette assumono spesso la disponibilità di un dataset di addestramento pulito e affidabile per avviare le difese, un'assunzione che potrebbe non sussistere negli scenari di implementazione reale dove la raccolta e l'etichettatura dei dati sono esternalizzate o crowdsource.

Metodologia

1. Prototipo del Sistema

Gli autori hanno costruito un prototipo di sistema HAR basato su mmWave utilizzando un radar TI 1843. Il sistema elabora i segnali grezzi attraverso Range-FFT, Doppler-FFT e Angle-FFT per generare sequenze di Immagini di Range-Angolo Dinamiche (DRAI).

Architettura: Viene utilizzato un modello ibrido CNN-LSTM per l'estrazione delle caratteristiche e la classificazione. La CNN cattura le caratteristiche spaziali delle mappe termiche (heatmaps), mentre la LSTM estrae le caratteristiche temporali.
Baseline: Un approccio standard di Apprendimento Supervisionato (SL) raggiunge un'accuratezza del 96,43% su un dataset bilanciato di sei attività manuali (Push, Pull, Slide Left, Slide Right, Clockwise Turning, Anticlockwise Turning).
Potenziamento: Il sistema è potenziato con il Supervised Contrastive Learning (SCL). Questo processo in due fasi apprende prima rappresentazioni robuste minimizzando le distanze tra coppie positive (stessa classe) e massimizzando le distanze tra coppie negative (classi diverse) utilizzando una funzione di perdita SCL, seguita da una fase di fine-tuning di un classificatore lineare. Il sistema potenziato con SCL raggiunge un'accuratezza del 97,92% in condizioni normali.

2. Modello Avversario e Attacchi

Lo studio propone tre nuovi attacchi di label flipping che sfruttano le similarità delle traiettorie, categorizzati in base a come l'attaccante manipola le etichette rispetto alla traiettoria del movimento:

Attacchi Random (Casuali): L'attaccante inverte casualmente le etichette verso classi arbitrarie, mescolando attività con traiettorie sia simili che dissimilari.
Attacchi Across Trajectory (Tra le Traiettorie): L'attaccante inverte le etichette di specifiche classi di attività verso classi che hanno traiettorie di movimento diverse (ad esempio, cambiando un'etichetta "Push" in "Turn").
Attacchi Inner Trajectory (All'interno della Traiettoria): L'attaccante inverte le etichette verso classi che condividono traiettorie di movimento simili (ad esempio, cambiando "Push" in "Pull"). Questo attacco è progettato per essere più furtivo, poiché il pattern del segnale sottostante rimane coerente con la nuova etichetta.

Questi attacchi sono valutati sia in forma simmetrica (scambio reciproco di etichette tra due classi) che asimmetrica.

3. Meccanismo di Difesa: Sel-CL

Gli autori propongono un meccanismo di difesa chiamato Sel-CL (Selection-based Contrastive Learning) che non richiede un dataset affidabile. L'approccio prevede:

Pre-addestramento Non Supervisionato: Inizialmente, il modello viene addestrato utilizzando l'Unsupervised Contrastive Learning (UCL) per apprendere le rappresentazioni senza fare affidamento su etichette potenzialmente avvelenate.
Identificazione degli Esempi Confortevoli (Confident Examples): Utilizzando le rappresentazioni apprese tramite UCL, il sistema calcola le pseudo-etichette per ogni istanza basandosi sul voto di maggioranza dei suoi $K$ -vicini più prossimi (dove $K=250$ ). Le istanze in cui la pseudo-etichetta concorda con l'etichetta fornita (potenzialmente avvelenata) sono considerate "esempi affidabili".
Selezione delle Coppie Affidabili: Il sistema costruisce coppie positive e negative solo da questi esempi affidabili.
Addestramento Robusto: Il modello viene addestrato utilizzando una funzione di perdita composita che include:
- Supervised Contrastive Loss (sulle coppie affidabili).
- Cross-Entropy Loss (sugli esempi affidabili).
- Augmentation Mixup per mescolare i campioni.
- Similarity Loss per raffinare la rappresentazione basata sulle predizioni del classificatore.
Fine-Tuning: Infine, viene aggiunta una nuova testa di classificazione e viene sottoposta a fine-tuning sui campioni affidabili selezionati utilizzando una funzione di perdita robusta.

Risultati Chiave

Vulnerabilità di SCL

I risultati sperimentali dimostrano che, sebbene SCL superi lo standard SL in ambienti puliti (97,92% vs 96,43%), esso è più vulnerabile agli attacchi di label flipping.

Sotto Attacchi Random con un rapporto di etichette avvelenate del 20%, l'accuratezza di sia SL che SCL scende a circa il 70%. Tuttavia, le prestazioni di SCL crollano più velocemente all'aumentare del rapporto di avvelenamento.
Gli Attacchi Inner Trajectory sono particolarmente dannosi per SCL perché la similarità nelle traiettorie confonde il meccanismo di apprendimento contrastivo, che si basa sulla distinzione tra istanze simili.
Con un rapporto di avvelenamento del 40%, i sistemi basati su SCL diventano quasi inutilizzabili, con le rappresentazioni delle caratteristiche di diverse attività che si mescolano completamente.

Efficacia di Sel-CL

La difesa proposta, Sel-CL, mitiga significativamente queste vulnerabilità, sebbene le prestazioni varino in base al tipo di attacco:

Resilienza agli Attacchi Random: Sel-CL mantiene un'accuratezza superiore al 90% anche con fino al 40% di etichette avvelenate. L'attacco random, che impatta significativamente i modelli SL e SCL, ha un effetto minimo su Sel-CL.
Vulnerabilità alla Manipolazione Fissa: Sebbene Sel-CL mantenga un'alta accuratezza contro gli attacchi random, gli attacchi Cross e Inner Trajectory (che impiegano metodi di manipolazione delle etichette fissi) inducono errori maggiori nel modello Sel-CL rispetto agli attacchi random. Tuttavia, Sel-CL mantiene comunque un'accuratezza superiore al 90% per tutti gli attacchi con un rapporto di avvelenamento del 40%.
Resilienza Estrema: Anche quando il rapporto di etichette avvelenate raggiunge l'80%, Sel-CL mantiene un'accuratezza superiore al 90%, mentre SL e SCL degradano al livello del caso casuale.
Performance in Ambiente Pulito: In assenza di attacchi, Sel-CL raggiunge un'accuratezza del 98,78%, superando sia la baseline SL (96,43%) che lo standard SCL (97,92%), indicando che il processo di selezione filtra anche i campioni di bassa qualità anche in dati puliti.
Separazione delle Caratteristiche: Le visualizzazioni delle rappresentazioni delle caratteristiche mostrano che Sel-CL mantiene distinti i cluster delle attività anche sotto forte avvelenamento, mentre SL e SCL mostrano una sovrapposizione significativa.

Significato e Rivendicazioni

L'articolo sostiene di essere il primo studio sistematico sulle vulnerabilità dei sistemi HAR basati su mmWave specificamente nel contesto del Supervised Contrastive Learning.

I contributi chiave includono:

Nuovi Vettori di Attacco: L'identificazione di attacchi di label flipping basati sulla traiettoria (Random, Across e Inner) che prendono di mira specificamente le sfumature dei segnali wireless, che sono state trascurate nella ricerca sulla sicurezza del machine learning generale.
Difesa Senza Dati Affidabili: Lo sviluppo di un meccanismo di difesa (Sel-CL) che opera senza l'assunzione di un dataset di addestramento affidabile, un avanzamento pratico significativo rispetto ai lavori precedenti che si basano su dati seed puliti.
Validazione Empirica: Una validazione sperimentale completa su un prototipo di sistema utilizzando dati mmWave reali in diversi ambienti ed angoli estremi (±45° e ±60°), dimostrando che la difesa proposta è robusta contro attacchi sia simmetrici che asimmetrici.

Gli autori concludono che, sebbene SCL offra prestazioni superiori in condizioni pulite, introduce specifiche vulnerabilità di sicurezza che devono essere affrontate durante la progettazione e l'implementazione dei sistemi HAR wireless. Le strategie presentate sono intese per essere estendibili ad altri sistemi HAR wireless, inclusi quelli basati su Wi-Fi e segnali acustici.