💻 computer science

Securing Contrastive mmWave-based Human Activity Recognition against Adversarial Label Flipping

Dit artikel presenteert de eerste systematische studie naar de kwetsbaarheden van op supervised contrastive learning gebaseerde mmWave menselijke activiteitsherkenning voor label flipping poisoning attacks, waarbij drie specifieke aanvalsvectoren worden geïdentificeerd en overeenkomstige tegenmaatregelen worden voorgesteld die zijn gevalideerd op een prototype systeem.

Oorspronkelijke auteurs: Amit Singha, Ziqian Bi, Tao Li, Yimin Chen, Yanchao Zhang

Gepubliceerd 2026-08-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Amit Singha, Ziqian Bi, Tao Li, Yimin Chen, Yanchao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superkrachtig, onzichtbaar oog hebt dat door muren kan kijken zonder ooit een camera nodig te hebben. Dit is geen magie; het is een technologie genaamd millimetergolf (mmWave) radar. Denk aan een vleermuis die echolocatie gebruikt, maar in plaats van geluid gebruikt het hoogfrequente radiogolven om een gedetailleerde, bewegende hittekaart van een menselijk lichaam te maken. Als je met je hand zwaait, ziet de radar de vorm en snelheid van die beweging. Wetenschappers gebruiken dit om "Human Activity Recognition" (HAR) systemen te bouwen, die als digitale detectives kunnen zien of je een deur duwt, een lade naar je toe trekt of een draai maakt, en dat allemaal zonder dat je een horloge of een sensor draagt.

Om deze digitale detectives echt slim te maken, leren onderzoekers hen met een methode die "Supervised Contrastive Learning" wordt genoemd. Je kunt dit zien als een leraar die een leerling twee foto's van een kat laat zien en zegt: "Zie je? Dit zijn hetzelfde soort dieren," en vervolgens een foto van een hond laat zien en zegt: "Dit is anders." Het doel is dat de computer leert dat alle "duw"-bewegingen op elkaar lijken en heel verschillend zijn van "trek"-bewegingen. Maar hier komt de crux: wat als iemand stiekem de klas van de leraar binnensluipt en de labels op de flashcards verwisselt? Wat als ze de computer vertellen dat een "duw" eigenlijk een "trek" is? Dit wordt een "label flipping" aanval genoemd, en dit is het gevaar dat dit artikel onderzoekt.

De onderzoekers aan de Purdue University en hun collega's besloten te onderzoeken hoe kwetsbaar deze mmWave activiteitsdetectoren zijn voor dit soort trucjes. Ze bouwden een prototype systeem dat zes verschillende handbewegingen kon herkennen: duwen, trekken, naar links schuiven, naar rechts schuiven, en met de klok mee of tegen de klok in draaien. Ze stelden vervolgens een moeilijke vraag: als een aanvaller de labels op de trainingsdata verandert, hoe erg gaat het systeem dan kapot?

Ze ontdekten dat het systeem verrassend fragiel is. Ze identificeerden drie specifieke manieren waarop een aanvaller de boel in de war zou kunnen schoppen. Ten eerste zouden ze willekeurig labels kunnen verwisselen, waarbij ze de computer vertellen dat een "duw" een "schuifbeweging" is. Ten tweede zouden ze labels kunnen verwisselen tussen activiteiten die in totaal andere richtingen bewegen (zoals een duw versus een schuifbeweging). Ten derde, en nog verraderlijker, zouden ze labels kunnen verwisselen tussen activiteiten die erg op elkaar lijken, zoals een "duw" en een "trek", wat simpelweg de tegenovergestelde richtingen van dezelfde beweging zijn.

De resultaten waren een beetje eng. Toen de onderzoekers deze valse labels introduceerden, stortte het vermogen van het systeem om activiteiten uit elkaar te houden in elkaar. Sterker nog, de geavanceerde leermethode die ze gebruikten (Supervised Contrastive Learning) ging zelfs sneller kapot dan de standaardmethode wanneer de labels vergiftigd waren. Het is alsof een hoogwaardige sportwagen slechter omgaat met een kuil in de weg dan een gewone sedan, omdat de ophanging zo nauwkeurig is afgesteld. Wanneer 40% van de trainingslabels werd omgedraaid, werd het systeem bijna nutteloos; het mengde alle verschillende handbewegingen door elkaar totdat het niet meer wist of een duw een draai was.

Maar het team stopte niet alleen bij het vinden van het probleem; ze bouwden een schild. Ze ontwikkelde een verdedigingsmechanisme dat ze "Sel-CL" (Selective Contrastive Learning) noemen. Stel je een detective voor die niet zomaar elke aanwijzing voor waarheid aanneemt. In plaats daarvan kijkt deze detective naar de aanwijzingen, vindt de aanwijzingen die het meeste zin hebben samen, en negeert de aanwijzingen die verdacht lijken. Hun systeem probeert eerst te achterhalen welke datapunten "zelfverzekerd" zijn — wat betekent dat de computer zeker is van wat hij ziet — voordat het de labels die eraan vastzitten vertrouwt. Het filtert de ruisachtige, waarschijnlijk vervalste data eruit en leert alleen van de schone, betrouwbare voorbeelden.

De verdediging werkte opmerkelijk goed. Zelfs toen de trainingsdata werd vergiftigd met 40% valse labels, hield hun nieuwe systeem een nauwkeurigheid boven de 90%. Het was in staat om de verwarring te negeren en nog steeds correct te identificeren dat een "duw" een "duw" was. Sterker nog, toen ze het testten met tot wel 80% vergiftigde data, presteerde het nog steeds beter dan de andere systemen, die het volledig hadden opgegeven en begonnen te gokken.

Het artikel concludeert dat hoewel deze mmWave-systemen krachtig en niet-intrusief zijn, ze vanaf het begin met oog voor beveiliging gebouwd moeten worden. De onderzoekers hebben aangetoond dat door slim te zijn over welke data we tijdens de training vertrouwen, we deze onzichtbare ogen kunnen beschermen tegen kwaadaardige label-flipping aanvallen. Hun bevindingen suggereren dat deze aanpak niet alleen voor mmWave kan worden gebruikt, maar ook voor andere draadloze sensorsystemen, zodat onze toekomstige slimme huizen en beveiligingssystemen betrouwbaar blijven, zelfs wanneer iemand probeert een spelletje te spelen.

Technische Samenvatting: Het beveiligen van contrastieve mmWave-gebaseerde menselijke activiteitsherkenning tegen adversarial label flipping

Probleemstelling

Draadloze menselijke activiteitsherkenning (Human Activity Recognition - HAR), met name wanneer deze wordt verbeterd door millimetergolf-technologie (mmWave) en Supervised Contrastive Learning (SCL), biedt niet-intrusieve monitoringsmogelijkheden voor de gezondheidszorg, surveillance en slimme omgevingen. Deze systemen zijn echter sterk afhankelijk van gelabelde trainingsdata, waardoor ze kwetsbaar zijn voor label flipping poisoning attacks. Bij dergelijke aanvallen manipuleren aanvallers de labels van trainingsmonsters om de prestaties van het systeem te verslechteren.

Hoewel label flipping-aanvallen algemeen bekend zijn in machine learning, negeert bestaand onderzoek vaak de unieke kenmerken van draadloze HAR. Specifiek houden traditionele aanvallen geen rekening met de gelijkenis van bewegingstrajecten die inherent is aan mmWave-data (bijv. het onderscheid tussen een "duwen" en een "trekken", die beide vergelijkbare heen-en-weer trajecten delen maar verschillen in richting). Bovendien gaan eerdere verdedigingsmechanismen voor label poisoning vaak uit van de beschikbaarheid van een vertrouwde, schone trainingsdataset om verdedigingen te bootstrappen, een aanname die in real-world scenario's waar gegevensverzameling en labeling worden uitbesteed of gecrowdsourced, mogelijk niet standhoudt.

Methodologie

1. Systeemprototype

De auteurs hebben een prototype mmWave-gebaseerd HAR-systeem geconstrueerd met behulp van een TI 1843 radar. Het systeem verwerkt ruwe signalen via Range-FFT, Doppler-FFT en Angle-FFT om Dynamic Range Angle Image (DRAI) sequenties te genereren.

Architectuur: Een hybride CNN-LSTM model wordt gebruikt voor feature extractie en classificatie. De CNN legt ruimtelijke kenmerken van heatmaps vast, terwijl de LSTM temporele kenmerken extraheert.
Baseline: Een standaard Supervised Learning (SL) benadering bereikt 96,43% nauwkeurigheid op een gebalanceerde dataset van zes handactiviteiten (Duwen, Trekken, Naar links schuiven, Naar rechts schuiven, Kloksgewijs draaien, Tegenkloksgewijs draaien).
Verbetering: Het systeem wordt verbeterd met Supervised Contrastive Learning (SCL). Dit tweestaps proces leert eerst robuuste representaties door de afstanden tussen positieve paren (dezelfde klasse) te minimaliseren en de afstanden tussen negatieve paren (verschillende klassen) te maximaliseren met behulp van een SCL-loss functie, gevolgd door een lineaire classifier fine-tuning fase. Het met SCL verbeterde systeem bereikt 97,92% nauwkeurigheid onder normale omstandigheden.

2. Adversary Model en Aanvallen

De studie stelt drie nieuwe label flipping aanvallen voor die de gelijkenis van trajecten exploiteren, gecategoriseerd op basis van hoe de aanval de labels manipuleert ten opzichte van het bewegingstraject:

Random Attacks: De aanvaller flipt labels willekeurig naar willekeurige klassen, waarbij activiteiten met zowel vergelijkbare als ongelijksoortige trajecten worden gemengd.
Across Trajectory Attacks: De aanvaller flipt de labels van specifieke activiteitsklassen naar klassen die andere bewegingstrajecten hebben (bijv. een "Duwen" label veranderen in een "Draai").
Inner Trajectory Attacks: De aanvaller flipt labels naar klassen die vergelijkbare bewegingstrajecten delen (bijv. een "Duwen" veranderen in een "Trekken"). Deze aanval is ontworpen om stealthier te zijn, omdat de onderliggende signaalpatronen consistent blijven met het nieuwe label.

Deze aanvallen worden geëvalueerd in zowel symmetrische (onderlinge labelverwisseling tussen twee klassen) als asymmetrische vormen.

3. Verdedigingsmechanisme: Sel-CL

De auteurs stellen een verdedigingsmechanisme voor genaamd Sel-CL (Selection-based Contrastive Learning) dat geen vertrouwde dataset vereist. De aanpak omvat:

Unsupervised Pre-training: Aanvankelijk wordt het model getraind met Unsupervised Contrastive Learning (UCL) om representaties te leren zonder afhankelijk te zijn van potentieel vergiftigde labels.
Identificatie van Confident Examples: Gebruikmakend van de representaties geleerd uit de UCL, berekent het systeem pseudo-labels voor elk instantie op basis van de meerderheidsstem van de $K$ -dichtstbijzijnde buren (waarbij $K=250$ ). Instanties waar het pseudo-label overeenkomt met het verstrekte (potentieel vergiftigde) label worden beschouwd als "confident examples".
Confident Pair Selection: Het systeem construeert positieve en negatieve paren uitsluitend uit deze confident examples.
Robuuste Training: Het model wordt getraind met een samengestelde loss functie die onder meer bevat:
- Supervised Contrastive Loss (op confident pairs).
- Cross-Entropy Loss (op confident examples).
- Mixup augmentatie om samples te mengen.
- Similarity Loss om de representatie te verfijnen op basis van classifier voorspellingen.
Fine-Tuning: Ten slotte wordt een nieuwe classifier head toegevoegd en gefinetuned op de geselecteerde confident samples met behulp van een robuuste loss functie.

Belangrijkste Resultaten

Kwetsbaarheid van SCL

Experimentele resultaten laten zien dat hoewel SCL beter presteert dan standaard SL in schone omgevingen (97,92% vs. 96,43%), het kwetsbaarder is voor label flipping aanvallen.

Onder Random Attacks met een 20% vergiftigd labelratio, dalen zowel de SL als de SCL nauwkeurigheid naar ~70%. Echter, de prestaties van SCL storten sneller in naarmate de poison ratio toeneemt.
Inner Trajectory Attacks zijn bijzonder schadelijk voor SCL omdat de gelijkenis in trajecten het contrastieve leerproces in verwarring brengt, dat juist rust op het onderscheiden van vergelijkbare instanties.
Bij een 40% poison ratio worden SCL-gebaseerde systemen vrijwel onbruikbaar, waarbij de feature representaties van verschillende activiteiten volledig door elkaar lopen.

Effectiviteit van Sel-CL

Het voorgestelde Sel-CL verdedigingsmechanisme mitigeert deze kwetsbaarheden aanzienlijk, hoewel de prestaties variëren per type aanval:

Resilience tegen Random Attacks: Sel-CL behoudt een nauwkeurigheid boven de 90% zelfs met tot 40% vergiftigde labels. De random attack, die een significante impact heeft op SL en SCL modellen, heeft minimale effect op Sel-CL.
Kwetsbaarheid voor Fixed Manipulation: Hoewel Sel-CL een hoge nauwkeurigheid behoudt tegen random attacks, induceren de Cross en Inner Trajectory attacks (die gebruikmaken van vaste label manipulatiemethoden) grotere fouten in het Sel-CL model vergeleken met random attacks. Desondanks behoudt Sel-CL een nauwkeurigheid van boven de 90% voor alle aanvallen bij een 40% poison ratio.
Extreme Resilience: Zelfs wanneer de vergiftigde labelratio de 80% bereikt, behoudt Sel-CL een nauwkeurigheid boven de 90%, terwijl SL en SCL degraderen tot het niveau van willekeurig gokken.
Clean Performance: In de afwezigheid van aanvallen bereikt Sel-CL een nauwkeurigheid van 98,78%, waarmee het zowel de baseline SL (96,43%) als standaard SCL (97,92%) overtreft, wat aangeeft dat het selectieproces zelfs in schone data van lage kwaliteit is weggefilterd.
Feature Separatie: Visualisaties van feature representaties laten zien dat Sel-CL de activiteitsclusters onderscheidend houdt, zelfs onder zware vergiftiging, terwijl SL en SCL aanzienlijke overlap vertonen.

Betekenis en Claims

Het artikel claimt de eerste systematische studie te zijn naar de kwetsbaarheden van mmWave-gebaseerde HAR-systemen specifiek binnen de context van Supervised Contrastive Learning.

Belangrijke bijdragen zijn:

Nieuwe Attack Vectors: De identificatie van trajectgebaseerde label flipping aanvallen (Random, Across en Inner) die specifiek de nuances van draadloze signaaldata targeten, welke over het hoofd zijn gezien in algemeen ML-security onderzoek.
Verdediging zonder Vertrouwde Data: De ontwikkeling van een verdedigingsmechanisme (Sel-CL) dat opereert zonder de aanname van een vertrouwde trainingsdataset, een significante praktische vooruitgang ten opzichte van eerdere werken die steunen op schone seed data.
Empirische Validatie: Uitgebreide experimentele validatie op een prototype systeem met real-world mmWave data over diverse omgevingen en extreme hoeken (±45° en ±60°), wat aantoont dat de voorgestelde verdediging robuust is tegen zowel symmetrische als asymmetrische aanvallen.

De auteurs concluderen dat hoewel SCL superieure prestaties biedt in schone condities, het specifieke beveiligingskwetsbaarheden introduceert die tijdens het ontwerp en de implementatie van draadloze HAR-systemen moeten worden geadresseerd. De gepresenteerde strategieën zijn bedoeld om extensibel te zijn naar andere draadloze HAR-systemen, inclusief die gebaseerd op Wi-Fi en akoestische signalen.