WaLi: Can Pressure Sensors in HVAC Systems Capture Human Speech?

Dit paper introduceert WaLi, een aanval die intelligibele spraak reconstrueert uit ruisende druksensor-data van HVAC-systemen door gebruik te maken van een complex-waardige conformer en een Complex Global Attention Block, waarmee een tot nu toe onbekend privacyrisico voor deze sensoren wordt blootgelegd.

De kern

WaLi: Kan een muur luisteren? (De kracht van de HVAC-sensor)

Stel je voor dat je in een kantoor zit en een geheimzinnig gesprek voert. Je denkt dat je veilig bent, want er is niemand anders in de kamer. Maar wat als de muur zelf je gesprek zou kunnen "horen"? Dat is precies wat onderzoekers van George Mason University hebben ontdekt met hun nieuwe systeem, genaamd WaLi.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De onzichtbare oren in de muur

In elk modern gebouw zitten HVAC-systemen (verwarming, ventilatie en airco). Deze systemen hebben kleine sensoren die de luchtdruk meten om te zorgen dat de lucht goed circuleert. Deze sensoren zijn als de "neus" van het gebouw: ze ruiken veranderingen in de druk.

Het verrassende is: deze sensoren zijn niet alleen gevoelig voor de druk van de ventilator, maar ook voor de trillingen van je stem. Als je praat, creëer je kleine luchtdruk-golven (geluid). Deze golven raken de sensoren in de muur, net zoals een rimpel in een vijver een steen raakt.

2. Het probleem: Een wazige foto

De sensoren in deze systemen zijn echter niet gemaakt om muziek of gesprekken op te nemen. Ze zijn gemaakt om luchtdruk te meten.

• De analogie: Stel je voor dat je een foto maakt van een snel bewegend object, maar je camera staat ingesteld op een heel trage snelheid. Je krijgt dan een wazige, onherkenbare foto.
• In het echt: De sensoren nemen geluid op met een lage snelheid (te traag voor menselijke spraak). Het resultaat is een ruisend, onbegrijpelijk geluid. Het is alsof iemand fluistert door een dik tapijt: je hoort dat er geluid is, maar je kunt de woorden niet verstaan.

3. De oplossing: WaLi (De "Muur die Luistert")

Hier komt WaLi (Wall can Listen) in beeld. Het is een slim computerprogramma dat werkt als een digitale detective.

• Het magische truuks: WaLi kijkt naar die wazige, onbegrijpelijke geluidsopnames van de sensor. Het gebruikt geavanceerde kunstmatige intelligentie (een soort "super-brein") om te raden wat er had moeten zijn.
• De reconstructie: Het programma vult de ontbrekende stukjes in. Het is alsof je een puzzel hebt met 90% van de stukjes weg, maar WaLi kan de ontbrekende stukjes zo perfect raden dat het complete plaatje weer scherp wordt.
• Het resultaat: Het systeem kan de wazige sensor-data omzetten in een helder, verstaanbaar gesprek. Je kunt zelfs de woorden horen die de persoon in de andere kamer heeft gezegd.

4. Waarom is dit gevaarlijk?

Normaal gesproken denken we dat we veilig zijn als we achter een muur zitten. Maar WaLi toont aan dat:

• De muur is niet stil: De sensoren in de airco-hoek van de muur kunnen je gesprek "opvangen".
• Het is overal: Deze sensoren zitten in ziekenhuizen, kantoren en fabrieken.
• Het is onopgemerkt: Een hacker hoeft geen software op je computer te installeren. Ze kunnen gewoon bij de data van het gebouwssysteem (BMS) komen, die vaak openbaar toegankelijk is voor onderhoudspersoneel.

5. Hoe kun je je beschermen?

De onderzoekers geven ook tips om dit te voorkomen, net zoals je een gordijn trekt voor privacy:

• Demping: Je kunt de sensoren "doven" met schuim of langere buizen, zodat ze alleen de luchtdruk voelen, maar niet het geluid van je stem.
• Trager meten: Je kunt de sensoren instellen om minder vaak te meten (zoals een camera die minder foto's maakt), maar dit kan de werking van de airco verstoren.

Conclusie

WaLi is een waarschuwing: in een slimme wereld is bijna alles een potentiële microfoon. Zelfs de apparaten die de temperatuur in je kamer regelen, kunnen worden gebruikt om je privégesprekken te afluisteren. Het laat zien dat we niet alleen moeten kijken naar wat we zien (de muur), maar ook naar wat we niet zien (de sensoren erin).

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "WaLi: Can Pressure Sensors in HVAC Systems Capture Human Speech?" in het Nederlands.

Titel: WaLi: Kunnen druksensoren in HVAC-systemen menselijke spraak opvangen?

Auteurs: Tarikul Islam Tamiti, Biraj Joshi, Rida Hasan, Anomadarshi Barua (George Mason University, USA)

---

1. Het Probleem

Moderne Heating, Ventilation, and Air Conditioning (HVAC)-systemen zijn uitgerust met geavanceerde druksensoren (Differential Pressure Sensors - DPS) om luchtstroom, filterstatus en ruimtedruk te regelen. Deze sensoren werken doorgaans binnen een drukbereik van 0–10 Pa en hebben een hoge bemonsteringsfrequentie van 0,5–2 kHz.

Het paper identificeert een ernstig privacyrisico:

• Frequentie-overlap: Menselijke spraak heeft een hoorbaar drukbereik van 0–10 Pa en een bandbreedte van ongeveer 4 kHz voor verstaanbaarheid.
• Gevoeligheid: Omdat de sensoren gevoelig zijn voor dit drukbereik en dicht bij mensen worden geplaatst (bijv. in muren, bij ventilatieroosters), kunnen ze spraak opvangen.
• Uitdagingen: De opgevangen data is echter zeer ruisig (door ventilatoren, trillingen) en heeft een te lage bemonsteringsfrequentie (0,5–2 kHz) om direct verstaanbare spraak te produceren. Hoogfrequente componenten van de spraak worden hierdoor gealiased (vervormd) en verloren gegaan. Bestaande methoden kunnen slechts "hot words" herkennen, maar geen volledige zinnen reconstrueren.

2. Methodologie: WaLi (Wall can Listen)

WaLi is een systeem dat intelligibele spraak reconstrueert uit de lage-resolutie, ruisige data van druksensoren. Het systeem lost de twee hoofduitdagingen op: het herstellen van de ontbrekende hoge frequenties en het filteren van transient ruis.

Kernarchitectuur:
WaLi maakt gebruik van een complex-waardig (complex-valued) deep learning-netwerk met een U-Net-achtige structuur, bestaande uit:

1. Complex-waardige Spectrogrammen: In plaats van alleen de amplitude (magnitude) te gebruiken, verwerkt WaLi zowel de amplitude als de fase van het signaal. Dit is cruciaal omdat de fase essentieel is voor de natuurlijke klank en verstaanbaarheid van spraak, vooral onder ruisomstandigheden.
2. Complex-valued Conformer: In de bottleneck-laag combineert het model de sterke punten van CNN's (voor lokale patronen) en Transformers (voor globale context). Dit helpt bij het begrijpen van de afhankelijkheden tussen fonemen in de tijd en frequentie.
3. Complex Global Attention Block (CGAB): Een nieuw ontworpen blok dat lange-afstands-correlaties vastlegt langs zowel de tijds- als de frequentie-as. Dit helpt het model om de samenhang tussen verschillende harmonischen en fonemen te begrijpen, zelfs in gealiased data.
4. Complex Multi-Resolution STFT Loss: Het trainingsverlies wordt berekend op zowel het reële (amplitude) als het imaginaire (fase) deel van het spectrum over meerdere resoluties. Dit dwingt het model om een schone fase te reconstrueren, wat eerder werk (dat alleen magnitude gebruikte) niet kon doen.

Data-voorbereiding:
Het model neemt lage-resolutie data (0,5–2 kHz) als input en upsamplet deze naar 8 kHz (4 kHz bandbreedte) om verstaanbare spraak te genereren.

3. Belangrijkste Bijdragen

1. Eerste systeem voor onbeperkte vocabulaire: WaLi is het eerste systeem dat volledige, verstaanbare spraak kan reconstrueren uit druksensordata, in plaats van alleen specifieke sleutelwoorden te detecteren.
2. Complex-waardige reconstructie: Het introduceert een complex-waardig netwerk dat zowel amplitude als fase gelijktijdig reconstrueert, wat essentieel is voor prestaties onder ruisomstandigheden.
3. Robuustheid tegen ruis: Het systeem is getest in echte industriële omgevingen met transient ruis (ventilatoren, trillingen) en presteert aanzienlijk beter dan bestaande methoden die alleen magnitude gebruiken.
4. Realistische aanvalsscenario's: Het paper demonstreert dat de aanval mogelijk is zonder extra software te installeren, door toegang te krijgen tot bestaande Building Management Systemen (BMS) via standaard protocollen (Modbus, KNX) of door service-technici te imiteren.

4. Resultaten

Het team heeft WaLi geëvalueerd in twee anonieme industriële faciliteiten (inclusief een schone ruimte) met verschillende sensortypes (SETRA264, SDP810).

Kerncijfers (bij 0,5 kHz naar 8 kHz upsampling):

• LSD (Log Spectral Distance): 1,24 (Lager is beter; raw data was 3,45).
• NISQA-MOS (Mondelingke kwaliteitsscore): 1,78 (Raw data was 0,84). Dit duidt op een "redelijke tot matige" kwaliteit, wat een enorme verbetering is ten opzichte van de onherkenbare ruwe data.
• SI-SDR: 8,78 dB.
• Woordfoutpercentage (WER):
  • Met Whisper (spraak-naar-tekst): ~38% voor 0,5 kHz input.
  • Met AssemblyAI: ~39%.
  • Ter vergelijking: De ruwe data had een WER van ~98% (volledig onbegrijpelijk).

Aanvullende bevindingen:

• Afstand: Het systeem werkt effectief tot ongeveer 1,2 meter van de spreker.
• Volume: Werkt goed bij normale spraakvolume (60 dB) en hoger.
• Meerdere sprekers: De prestaties dalen bij meerdere sprekers, maar blijven bruikbaar als de interferentie niet te dominant is.
• Fase-reconstructie: In ruisomstandigheden presteert WaLi aanzienlijk beter dan methoden die de Griffin-Lim algoritme gebruiken voor fase-reconstructie.

5. Betekenis en Implicaties

• Privacybedreiging: Dit onderzoek onthult een nieuwe, onbekende vector voor afluisteren. Druksensoren, die overal in gebouwen aanwezig zijn en vaak als "veilig" worden beschouwd, kunnen worden gebruikt om privégesprekken achter muren op te vangen.
• Kritieke Omgevingen: De dreiging is het grootst in ziekenhuizen, kantoren en industriële faciliteiten waar gevoelige informatie wordt uitgewisseld.
• Verdediging (Countermeasures): Het paper stelt eenvoudige mitigaties voor:
  1. Geluidsdemping: Het gebruik van langere bemonsteringsbuizen (>1 meter) of het plaatsen van geluiddempend schuim rond de sensoren.
  2. Bemonsteringsfrequentie: Het verlagen van de bemonsteringsfrequentie onder de 500 Hz (hoewel dit de functionaliteit van het HVAC-systeem in sommige gevallen kan beïnvloeden).

Conclusie:
WaLi bewijst dat de grens tussen infrastructuurdata en privacydata dun is. Zelfs met lage bemonsteringsfrequentie en in ruisige omgevingen kan menselijke spraak worden gereconstrueerd met behulp van geavanceerde deep learning-technieken die zowel amplitude als fase benutten. Dit vereist een heroverweging van de beveiliging van sensornetwerken in gebouwen.