IoT Firmware Version Identification Using Transfer Learning with Twin Neural Networks

Deze paper introduceert een effectieve techniek voor het identificeren van IoT-firmwareversies met behulp van een Twin Neural Network en transfer learning, die statistische kenmerken uit pakketstromen omzet in afbeeldingen om versie-updates met hoge nauwkeurigheid te detecteren met weinig trainingsdata.

De kern

Stel je voor dat je huis vol staat met slimme apparaten: slimme lampen, een thermostaat, een deurbel, een camera. Deze apparaten zijn handig, maar ze hebben een zwak punt: ze hebben vaak een "besturingssysteem" (firmware) dat verouderd is. Net als op je telefoon, waar je updates krijgt om gaten in de beveiliging te dichten, moeten deze apparaten ook up-to-date zijn.

Het probleem is dat de meeste mensen niet weten of hun apparaten de nieuwste versie hebben. Ze moeten handmatig in elke app duiken om te checken. Dat is tijdrovend en niemand doet het echt.

De auteurs van dit artikel (van de Universiteit van Bristol) hebben een slimme oplossing bedacht: een automatische bewaker die via het netwerk kijkt of een apparaat is bijgewerkt, zonder dat je er iets voor hoeft te doen.

Hier is hoe het werkt, vertaald in simpele taal met een paar creatieve vergelijkingen:

1. Het Grote Probleem: De "Naamloze" Verandering

Normaal gesproken kunnen computers goed onderscheid maken tussen een iPhone en een Samsung-telefoon. Dat is makkelijk, net als het onderscheid maken tussen een hond en een kat.

Maar het is veel moeilijker om te zien of een iPhone 14 is bijgewerkt van iOS 16 naar iOS 17. De veranderingen zijn heel subtiel. Het is alsof je probeert te zien of een hond een dag later is: hij heeft misschien een heel klein beetje minder haar, of loopt net iets anders, maar hij is nog steeds dezelfde hond.

Bovendien hebben onderzoekers geen grote lijsten (datasets) met voorbeelden van "hond versie 1" en "hond versie 2". Ze moeten het dus op een slimme manier doen zonder veel voorbeelden.

2. De Oplossing: De "Tweeling"-Neurale Netwerken

De onderzoekers gebruiken een techniek die Twin Neural Networks (TNN) heet. Laten we dit vergelijken met een tweelingtest.

Stel je hebt twee identieke tweelingen (het neurale netwerk). Ze zijn getraind om te kijken naar foto's van apparaten.

• Als ze twee foto's van dezelfde hond zien, zeggen ze: "Ja, dit is dezelfde hond!" (Hoge gelijkenis).
• Als ze een hond en een kat zien, zeggen ze: "Nee, dit is totaal anders!" (Geen gelijkenis).

In dit onderzoek trainen ze de tweeling niet om versies te herkennen (want daar hebben ze geen data voor). Ze trainen ze gewoon om te weten hoe een apparaat eruitziet.

3. De Magische Stap: Van Netwerkverkeer naar Foto's

Hoe ziet een computer het verkeer van een apparaat? Gewoon als een stroom van getallen (pakketjes die heen en weer gaan). Dat is saai en moeilijk te lezen.

De onderzoekers doen iets creatiefs: ze veranderen deze stroom getallen in zwart-wit foto's.

• Stel je voor dat elke lijn op de foto een ander protocol is (zoals het taalgebruik van het apparaat).
• De helderheid van de pixels (zwart of wit) geeft aan hoeveel data er verstuurd wordt.

Een slimme lamp die normaal "praat" met je router, ziet eruit als een specifieke foto met bepaalde patronen. Als de firmware update, veranderen de patronen op de foto heel subtiel. Misschien wordt een stukje iets lichter, of verdwijnt een klein lijntje.

4. De Detectie: De "Effectgrootte" (Hedges' g)

Hier komt de echte slimme truc. Gewoon kijken of de foto's "anders" zijn, werkt niet goed, want de veranderingen zijn zo klein dat de computer denkt: "Oh, dat is gewoon ruis."

Daarom gebruiken ze een statistische maatstaf die Hedges' g heet.

• De Vergelijking: Stel je voor dat je elke dag een foto maakt van je hond.
  • Dag 1 t/m 7: De hond is hetzelfde. De foto's lijken op elkaar. De "verschil-score" is laag.
  • Dag 8: De hond heeft een nieuwe halsband gekregen (de firmware-update). De foto is bijna hetzelfde, maar er is een klein detail veranderd.
• Gewone methodes zeggen: "Niks veranderd."
• De Hedges' g-methode zegt: "Wacht even, er is een statistisch significant verschil in de gemiddelde helderheid van de foto's, zelfs als het voor het blote oog klein lijkt."

Het is alsof je niet kijkt naar of de hond anders is, maar of de sfeer van de foto subtiel verschoven is.

5. Wat hebben ze ontdekt?

Ze hebben een lab opgezet met 12 slimme apparaten en 11 dagen lang hun verkeer opgenomen.

• Resultaat 1 (Stabiel): Als een apparaat niet update, herkent het systeem dit met 96% zekerheid. Het zegt: "Alles is normaal."
• Resultaat 2 (Update): Als een apparaat wel update, herkent het systeem dit met 84% zekerheid.

Het belangrijkste is: zonder deze slimme statistische methode (Hedges' g) zou de nauwkeurigheid zakt zijn tot ongeveer 60%. De methode maakt het dus 20% beter in het zien van die subtiele veranderingen.

6. De Toekomst: Een "Cloud-Geest"

De auteurs stellen voor om dit in de echte wereld te gebruiken via een "cloud-systeem".

• De cloud heeft een enorme database van hoe apparaten eruitzien als ze gezond en up-to-date zijn.
• Je thuisnetwerk stuurt een klein stukje data naar de cloud.
• De cloud vergelijkt het met de "ideale foto".
• Als het klopt: "Je apparaat is veilig en up-to-date."
• Als het niet klopt: "Je apparaat is veranderd! Ofwel is het geupdate (goed!), ofwel is het gehackt (slecht!)."

Samenvatting

Dit onderzoek toont aan dat je slimme apparaten kunt "luisteren" naar hun gedrag op het netwerk. Door hun gedrag om te zetten in foto's en slimme statistieken te gebruiken, kun je zien of ze zijn bijgewerkt. Het is als een slimme bewakingscamera die niet kijkt naar wie er binnenkomt, maar naar hoe ze zich gedragen, zodat je weet of ze nog steeds veilig zijn, zonder dat je zelf iets hoeft te doen.

Technische samenvatting

Probleemstelling

De Internet of Things (IoT) is overal doorgedrongen, maar brengt aanzienlijke veiligheidsrisico's met zich mee. Hoewel er veel onderzoek is gedaan naar het automatisch identificeren van IoT-apparaten (op basis van type, fabrikant en model), wordt de identificatie van firmware-versies grotendeels genegeerd. Dit is kritiek omdat de beveiliging van IoT-apparaten vaak afhankelijk is van het installeren van de nieuwste patches voor bekende kwetsbaarheden.

De uitdagingen bij het identificeren van firmware-versies zijn tweeledig:

1. Subtiele verschillen: De veranderingen in netwerkverkeer ("on-wire") tussen verschillende firmware-versies van hetzelfde apparaat zijn veel subtieler dan de verschillen tussen verschillende apparaten.
2. Gebrek aan data: Er zijn geen uitgebreide, publiek beschikbare datasets die de veranderingen in firmware-versies over de tijd volgen. Traditionele machine learning-algoritmen hebben grote hoeveelheden gelabelde data nodig, wat hier niet beschikbaar is.

Methodologie

De auteurs stellen een techniek voor die gebruikmaakt van Transfer Learning en Twin Neural Networks (TNN) om versie-updates te detecteren zonder dat het model vooraf getraind is op specifieke versie-updates.

1. Dataverzameling en Feature Extractie:

• Er is een IoT-lab opgezet met 12 verschillende apparaten.
• Gedurende 11 dagen is passief netwerkverkeer (packet captures) opgevangen terwijl apparaten hun firmware-updates kregen.
• Flow-statistieken: Er worden statistieken berekend over 13 protocollen (zoals TCP, UDP, DNS, TLS, mDNS, etc.). De statistieken omvatten pakketgrootte, timing, en poortinformatie.
• Tijdsvenster: Verkeer wordt geanalyseerd in 6-uursvensters (00:00 - 06:00) met een schuifend venster van 15 minuten (met 20% overlap), wat resulteert in 30 datapunten per apparaat per dag.

2. Conversie naar Grijsafbeeldingen:

• De geëxtraheerde flow-statistieken worden omgezet in grijswaarde-afbeeldingen.
• De Y-as vertegenwoordigt de protocollen en de X-as de statistische features.
• Waarden worden genormaliseerd tussen 0 (zwart) en 255 (wit). Dit creëert een "vingerafdruk" van het apparaatverkeer die patronen tussen en binnen protocollen zichtbaar maakt.

3. Twin Neural Network (TNN) Architectuur:

• Een TNN bestaat uit twee identieke sub-netwerken die twee invoerbeelden verwerken en een similariteitscore (tussen 0 en 1) opleveren.
• Training: Het model wordt getraind op paren van apparaten met verschillende modellen (negatieve paren) en paren van hetzelfde apparaat op dezelfde versie (positieve paren). Het model leert dus apparaten van elkaar te onderscheiden, niet specifiek versies.
• Transfer Learning: Het getrainde model wordt vervolgens toegepast op scenario's waar het geen versie-updates heeft gezien tijdens het trainen. Het idee is dat het model subtiele veranderingen in de "vingerafdruk" kan detecteren die wijzen op een versiewijziging.

4. Evaluatiemethode (Hedges' g):

• In plaats van een vaste drempelwaarde (bijv. 0.5) te gebruiken om te beslissen of een verandering significant is, gebruiken de auteurs Hedges' g.
• Hedges' g is een statistische maatstaf voor het effectgrootte (difference in means) tussen twee datasets, gecorrigeerd voor steekproefgrootte.
• Dit stelt de auteurs in staat om te bepalen of de verandering in similariteitscores tussen een referentiedag en een latere dag significant is (een "medium effect" voor versiewijzigingen vs. een "klein effect" voor stabiele versies).

Belangrijkste Bijdragen

1. Transfer Learning Techniek: Een methode om versiewijzigingen te identificeren zonder grote hoeveelheden trainingsdata voor specifieke versies, door gebruik te maken van een TNN getraind op apparaat-differentiatie.
2. Gebruik van Hedges' g: Het introduceren van Hedges' g als een superieure metriek voor het detecteren van subtiele veranderingen in similariteitscores, wat een verbetering van ongeveer 20% oplevert ten opzichte van standaard drempelwaarden.
3. Empirische Validatie: Een uitgebreide test met 12 IoT-apparaten over 11 dagen, inclusief analyse van zowel stabiele versies als daadwerkelijke firmware-updates.
4. Inzicht in Uitdagingen: Een analyse van de moeilijkheden, waarbij wordt aangetoond dat sommige versiewijzigingen zo subtiel zijn dat ze nauwelijks zichtbaar zijn in passief verkeer (bijv. Tapo L530e), terwijl andere zeer duidelijk zijn.

Resultaten

Het model werd getest op twee scenario's: het identificeren van stabiele versies en het detecteren van versiewijzigingen.

• Stabiele Versies: Het model was zeer accuraat in het bevestigen dat een apparaat op dezelfde versie bleef.
  • Accuracy: 95,83% (gemiddeld over 10 runs) bij het identificeren van stabiele versies.
  • De "Majority Voting" methode presteerde hier het beste.
• Versiewijzigingen: Het detecteren van updates was moeilijker, maar succesvol dankzij Hedges' g.
  • Accuracy: 84,38% bij het identificeren van versiewijzigingen.
  • Vergelijking: Standaard TNN-metrieken (zoals een vaste drempel van 0.5) presteerden slecht (<50% accuraat) bij versiewijzigingen. Hedges' g leverde een verbetering van ongeveer 20% op.
• Apparaat-specifiek:
  • Apparaten met duidelijke veranderingen (bijv. TP-Link HS110) werden perfect gedetecteerd.
  • Apparaten met zeer subtiele veranderingen (bijv. LIFX A19) werden alleen gedetecteerd met Hedges' g.
  • Apparaten zonder waarneembare veranderingen in passief verkeer (bijv. Tapo L530e) konden niet worden gedetecteerd, wat de limiet van de techniek aangeeft.

Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat het mogelijk is om IoT-firmware-versies te monitoren zonder dat gebruikers handmatig apps hoeven te controleren of dat er enorme datasets nodig zijn.

• Beveiliging: Het stelt netwerkbewerkers in staat om automatisch te detecteren of apparaten up-to-date zijn. Als een apparaat een versiewijziging detecteert maar er is geen bekende update, kan dit wijzen op een compromis (anomalie).
• Architectuur: De auteurs stellen een cloud-gebaseerde architectuur voor waarbij een centrale database "goede vingerafdrukken" beheert. Deze worden gedistribueerd naar lokale netwerken om lokale modellen te trainen die specifiek zijn voor de netwerkcontext van de gebruiker.
• Toekomstig werk: De auteurs suggereren het combineren van deze passieve techniek met actieve methoden (zoals banner grabbing) om apparaten te identificeren die geen veranderingen tonen in passief verkeer, en het uitbreiden van de techniek voor algemene anomaliedetectie.

Kortom, deze paper biedt een veelbelovende oplossing voor een lang genegeerd probleem in IoT-beveiliging door slimme toepassing van deep learning en statistische analyse op netwerkverkeer.