An Experimental Study of Trojan Vulnerabilities in UAV Autonomous Landing

Technische Samenvatting: Een Experimentele Studie naar Trojan-kwetsbaarheden in de Autonome Landing van UAV's

Probleemstelling
Urban Air Mobility (UAM) is sterk afhankelijk van Unmanned Autonomous Aerial Vehicles (UAAV's) voor kritieke taken zoals luchttaxi's en vrachtbezorging. Deze systemen maken gebruik van deep learning, specifiek Convolutional Neural Networks (CNN's), voor real-time obstakeldetectie, trajectvoorspelling en het identificeren van landingszones. Hoewel effectief, introduceren deze modellen cyberbeveiligingsrisico's, met name "Trojan" (of backdoor) aanvallen. In tegenstelling tot traditionele dreigingen zoals GPS-spoofing, die kunnen worden gemitigeerd door signaalvalidatie, worden Trojan-aanvallen in de trainingsdata van een model ingebed. Deze triggers blijven latent tijdens normale operaties, maar veroorzaken voorspelbare, catastrofale fouten — zoals het verkeerd identificeren van landingsplaatsen of het missen van obstakels — wanneer specifieke patronen worden aangetroffen. Ondanks de ernst van deze risico's blijven de kwetsbaarheden voor Trojan-aanvallen in UAAV-navigatie- en landingssystemen onderbelicht in vergelijking met standaard machine learning-toepassingen.

Methodologie
De studie maakt gebruik van een vierfasen-framework om de vatbaarheid van UAAV-landingssystemen voor Trojan-aanvallen systematisch te evalueren met behulp van het DroNet-framework:

1. Dataverzameling: Vanwege het gebrek aan publieke datasets die zijn afgestemd op specifieke UAM-behoeften, hebben de auteurs een aangepaste dataset geconstrueerd. Dit omvatte het vastleggen van meer dan 5.000 afbeeldingen van landingsplaatsen met behulp van een zelfgebouwd hybride vliegtuig uitgerust met camera's met een hoge resolutie. De dataset beslaat diverse stedelijke scenario's, variërende lichtomstandigheden en obstakels. De data werd gesplitst in 60% voor training, 20% voor validatie en 20% voor testen.
2. Datapreparatie en Vergiftiging: Om een aanval te simuleren, werden Trojan-triggers ingebed in 30% van de trainingsdataset. De triggers waren visuele patronen, specifiek schaakbordontwerpen van variërende grootte (5x5, 10x10, 15x15). Het 5x5-patroon werd geselecteerd voor de studie omdat het bewezen effectief was in het veroorzaken van misclassificatie terwijl het relatief onopvallend bleef. Deze vergiftigde afbeeldingen werden gelabeld met onjuiste outputs (bijv. het identificeren van een veilige zone als onveilig) om het model te trainen de trigger met de verkeerde klasse te associëren. Data-augmentatie (rotatie, spiegeling, kleurvariatie) werd toegepast om robuustheid te garanderen.
3. Trainingsfase: Een CNN-architectuur gebaseerd op VGG16 (voorgetraind op ImageNet) werd gebruikt. De bovenste classificatielaag werd verwijderd en vervangen door aangepaste lagen voor landingszone- en obstakeldetectie. Het model werd getraind over 240 epochs: de eerste 120 epochs bevroren de basis-VGG16-lagen om de nieuwe lagen te trainen, gevolgd door 120 epochs van fine-tuning van de laatste vier lagen met een verlaagde leercurve.
4. Testfase: Het getrainde model werd geëvalueerd op zowel schone data als data die de ingebedde Trojan-triggers bevatten. Prestaties werden gemeten met standaardmetrieken (nauwkeurigheid, precisie, recall, F1-score) om de degradatie in prestaties te kwantificeren wanneer triggers aanwezig zijn.

Belangrijkste Resultaten
De experimentele resultaten toonden een significante kwetsbaarheid aan in het autonome landingssysteem wanneer het wordt blootgesteld aan Trojan-aanvallen:

• Daling in Nauwkeurigheid: Het model behaalde een nauwkeurigheid van 96,4% op schone data. Echter, bij testen op data met de Trojan-triggers, kelderde de nauwkeurigheid naar 73,3%.
• Foutmodus: De aanwezigheid van de subtiele 5x5 schaakbordtrigger veroorzaakte dat het model landingszones verkeerd classificeerde, wat leidde tot potentiële navigatiefouten of mislukte landingen.
• Onopvallendheid: De studie bevestigde dat het model normaal presteert onder standaardomstandigheden, waardoor de aanval moeilijk te detecteren is zonder specifieke adversariële tests.

Betekenis en Bijdragen
Dit werk draagt bij aan het veld van UAM-beveiliging door:

1. Kwetsbaarheid te Kwantificeren: Het levert empirisch bewijs voor de ernstige impact die Trojan-aanvallen kunnen hebben op de betrouwbaarheid van UAAV-landingssystemen, wat een kritieke kloof in huidige beveiligingsbeoordelingen benadrukt.
2. Framework Ontwikkeling: De studie vestigt een methodologie voor het verzamelen van aangepaste datasets en het evalueren van Trojan-kwetsbaarheden in autonome luchtvaartsystemen, waarmee het gebrek aan bestaande middelen voor dit specifieke domein wordt geadresseerd.
3. Bewustzijn van Beveiliging: Door aan te tonen hoe verborgen triggers de veiligheidskritische besluitvorming kunnen compromitteren, onderstreept het artikel de dringende noodzaak voor robuuste defensieve mechanismen die zijn afgestemd op de beperkingen van middelen en real-time vereisten van UAM-operaties.

De auteurs concluderen dat hoewel er vooruitgang is geboekt in algemene UAV-cyberbeveiliging, specifieke verdedigingsmechanismen tegen Trojan-aanvallen in deep learning-gebaseerde navigatiesystemen verder ontwikkeld moeten worden om de veilige inzet van Urban Air Mobility te waarborgen.