DroFiT: A Lightweight Band-fused Frequency Attention Toward Real-time UAV Speech Enhancement

Dit paper introduceert DroFiT, een lichtgewicht single-microfoon netwerk dat een frequentie-georiënteerde Transformer combineert met een hybride encoder-decoder en TCN om spraakversterking in real-time mogelijk te maken op hulpbronbeperkte UAV-platforms, zelfs bij ernstige drone-ruis.

De kern

Stel je voor dat je in een kleine drone zit die door de lucht vliegt. De drone is geweldig voor het bezorgen van pakketten of het zoeken naar mensen in de bergen, maar hij heeft een groot probleem: hij is ontzettend luid. De motoren en propellers maken een constant, zoemend geluid dat alles wat eromheen gebeurt (zoals een menselijke stem) volledig overstemt. Het is alsof je probeert een fluisterend gesprek te horen terwijl er een stofzuiger naast je staat die op de hoogste stand staat.

Dit artikel introduceert een nieuwe slimme oplossing genaamd DroFiT. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Stofzuiger" in de Lucht

Drone-ruis is speciaal. Het is niet zomaar ruis; het is een hard, piepend geluid met een heel specifiek patroon (zoals een gitaarsnaar die blijft trillen). Traditionele methoden om dit weg te halen zijn vaak te zwaar voor de kleine computer aan boord van een drone. Het is alsof je een enorme, zware stofzuiger probeert mee te nemen in een fietsmand; het werkt, maar je fiets valt om.

2. De Oplossing: DroFiT (De Slimme Luisteraar)

DroFiT is een nieuw soort "oortje" voor drones. Het is een slim computerprogramma dat speciaal is ontworpen om snel en licht te zijn, zodat het op een drone past zonder de batterij direct leeg te trekken.

Hier zijn de drie magische trucs die DroFiT gebruikt:

A. De "Banden" Truc (Frequentie-Attention)

Stel je voor dat je een orkest hoort, maar de drummers (de drone-ruis) spelen zo hard dat je de violen (de menselijke stem) niet hoort.

• Oude methoden: Kijken naar alle instrumenten tegelijk en proberen alles te regelen. Dat kost veel tijd en energie.
• DroFiT: Kijkt alleen naar de tonen (de frequenties). Het weet dat de drone-ruis op bepaalde tonen zit en de stem op andere. Het fungeert als een slimme geluidsregelaar die alleen de "drummers" dempt en de "violisten" laat klinken. Het doet dit niet over de hele tijdlijn, maar per stukje, wat het veel sneller maakt.

B. De "Grote en Kleine Lopen" (Full-band & Sub-band)

DroFiT gebruikt twee soorten "ogen" om naar het geluid te kijken:

1. De Grote Lopen (Full-band): Kijkt naar het hele plaatje. Dit helpt om te begrijpen hoe het geluid in het algemeen klinkt.
2. De Kleine Lopen (Sub-band): Kijkt heel nauwkeurig naar specifieke stukjes van het geluid, vooral de lage tonen waar de menselijke stem vaak zit.
   Door deze twee tegelijk te gebruiken, krijgt DroFiT het beste van twee werelden: het grote overzicht én de fijne details. Het is alsof je een kaart van een stad hebt (groot) én een vergrootglas (klein) om de straatnaampjes te lezen.

C. De "Stroomlijn" (TCN)

Veel slimme programma's moeten wachten tot ze een heel stuk audio hebben opgeslagen voordat ze iets kunnen doen. Dat veroorzaakt vertraging (latency).
DroFiT werkt als een vlot stroompje water. Het verwerkt het geluid direct terwijl het binnenkomt, stukje bij beetje. Hierdoor kan de drone in echt real-time reageren. Het is het verschil tussen wachten tot de hele film is gedownload om hem te bekijken, versus het streamen van de film terwijl je kijkt.

3. Het Resultaat: Lichter, Sneller, Beter

De onderzoekers hebben DroFiT getest met echte drone-opnames.

• Prestatie: Het haalt de stem uit het lawaai net zo goed als de zware, dure modellen die nu gebruikt worden.
• Efficiëntie: Dit is het echte wonder. DroFiT is 26 keer lichter (minder geheugen nodig) en 17 keer sneller (minder rekenkracht nodig) dan de huidige topmodellen.

De Metafoor:
Als de oude modellen een zware vrachtwagen zijn die een lading geluid vervoert, dan is DroFiT een sportieve elektrische fiets. Hij doet precies hetzelfde werk (de lading vervoeren), maar hij is veel wendbaarder, verbruikt minder energie en past perfect in de kleine ruimte van een drone.

Conclusie

DroFiT opent de deur voor drones die niet alleen kunnen kijken, maar ook echt kunnen luisteren. Of het nu gaat om reddingsoperaties waar je iemand moet horen roepen, of om drones die met mensen kunnen praten, dit nieuwe systeem maakt het mogelijk om dat te doen zonder dat de drone zwaar wordt of zijn batterij snel leeg is. Het is een stap in de richting van drones die echt deel uitmaken van onze wereld, niet alleen als vliegende camera's, maar als slimme, luisterende helpers.

Technische samenvatting

Probleemstelling

Onbemande luchtvaartuigen (UAV's) worden steeds vaker ingezet voor toepassingen zoals pakketbezorging en reddingsoperaties. Hoewel ze voornamelijk op visuele sensoren vertrouwen, is er een groeiende behoefte aan akoestische informatie voor situational awareness. Een groot obstakel is echter de zeer storende zelfruis veroorzaakt door de propellers en motoren van de drone. Deze ruis is breedbandig, periodiek en bevat sterke smalle-bandige harmonische componenten, wat leidt tot een zeer lage signaal-ruisverhouding (SNR), vaak tussen de -5 en -25 dB.

Bestaande oplossingen hebben beperkingen:

• Meerkanaals methoden: Vereisen dure microfoonarrays en hardware.
• Bestaande deep-learning modellen: Modellen zoals DCU-Net presteren goed maar zijn te zwaar (te veel parameters en rekenkracht) voor de beperkte energie en rekenvermogen van UAV-platforms.
• Lichtgewicht modellen: Modellen zoals SMoLnet-T zijn lichter, maar gebruiken vaak chunk-gebaseerde verwerking (Transformer over de tijd-as), wat leidt tot hoge latentie en een groot geheugengebruik, waardoor real-time streaming op batterij-aangedreven drones moeilijk haalbaar is.

Methodologie: DroFiT Architectuur

De auteurs stellen DroFiT (Drone Frequency lightweight Transformer) voor, een single-microfoon netwerk dat speciaal is ontworpen voor real-time streaming en efficiënt geheugengebruik. De architectuur combineert tijdsdomein- en frequentiedomein-technieken op een innovatieve manier:

1. Frequentie-georiënteerde Transformer (Frequency-wise Transformer):

   • In tegenstelling tot traditionele Transformers die zowel tijd als frequentie analyseren (wat kwadratische complexiteit oplevert), focust DroFiT uitsluitend op de frequentie-as.
   • De tijd-afhankelijkheid wordt overgenomen door een Temporal Convolutional Network (TCN) in de achterkant (back-end). Dit elimineert de noodzaak om grote hoeveelheden tijdsframes op te slaan, wat de latentie verlaagt en streaming mogelijk maakt.
   • De complexiteit wordt verder verlaagd door lokale vensters toe te passen in plaats van globale attention-mechanismen.

2. Hybride Full-band en Sub-band Encoder-Decoder:

   • Full-band pad: Verwerkt het gehele spectrogram om globale spectrale afhankelijkheden te vangen.
   • Sub-band pad: Deelt het spectrogram op in vijf groepen (volgens een Mel-achtige verdeling) om fijnmazige informatie, vooral in de lagere frequenties waar spraak zich bevindt, te analyseren.
   • Fusie: Beide paden worden parallel verwerkt en vervolgens samengevoegd via een leerbare skip-and-gate fusie. Dit zorgt voor een adaptieve balans tussen lokale details en globale context.

3. Complex-domein modellering:

   • Het model schat zowel de reële als imaginaire componenten van het kort-termijn Fourier-transformatie (STFT) signaal, in plaats van alleen de magnitude. Dit resulteert in een betere fase-reconstructie en natuurlijk klinkende spraak.

4. Verliesfunctie:

   • Een gecombineerde loss-functie wordt gebruikt die zowel spectrale consistentie (STFT-domein: magnitude en complex loss) als golfvorm-trouw (tijdsdomein: SI-SDR) optimaliseert.

Belangrijkste Bijdragen

• Efficiënte Streaming Architectuur: Door de tijd-attention te vervangen door een TCN en de attention te beperken tot de frequentie-as, wordt de rekencomplexiteit van $O(F^2T^2)$ gereduceerd naar lineaire complexiteit in de tijd ($O(T)$). Dit maakt het model geschikt voor real-time verwerking op embedded hardware (zoals FPGA en ASIC).
• Band-Fused Ontwerp: De innovatieve combinatie van full-band en sub-band processing met een leerbare fusie-mechanisme verbetert de prestaties zonder de rekenlast exponentieel te verhogen.
• Lichtgewicht Design: Het model is geoptimaliseerd voor platforms met beperkte energie, wat essentieel is voor batterij-aangedreven UAV's.

Resultaten

Het model is getraind op een dataset bestaande uit spraak (VoiceBank-DEMAND) gemengd met opgenomen drone-ruis bij extreem lage SNR's (-5 tot -25 dB). De prestaties zijn vergeleken met DCU-Net en SMoLnet-T:

• Kwaliteit: DroFiT bereikt vergelijkbare of betere prestaties op de belangrijkste metingen (PESQ, STOI, ESTOI en SI-SDR) vergeleken met de zwaardere baselines. Het presteert consistent beter dan DCU-Net op alle SNR-niveaus.
• Efficiëntie:
  • Rekenkracht (MACs): DroFiT reduceert de rekenkosten met ongeveer 17,3x ten opzichte van DCU-Net en 10x ten opzichte van SMoLnet-T.
  • Parameters: Het aantal parameters is 26,7x lager dan DCU-Net en lager dan SMoLnet-T.
  • Geheugen: Door de streaming-architectuur is het piekgeheugengebruik aanzienlijk lager, wat cruciaal is voor real-time toepassingen.

Betekenis en Toekomstperspectief

DroFiT bewijst dat het mogelijk is om hoogwaardige spraakverbetering voor drone-ruis uit te voeren op resource-beperkte hardware zonder in te leveren op kwaliteit. De belangrijkste inzichten zijn dat het beperken van attention tot de frequentie-as en het gebruik van sub-band processing de sleutel zijn tot het vinden van de juiste balans tussen prestatie en efficiëntie.

Hoewel dit werk zich richt op offline evaluatie, legt de lichtgewicht architectuur de basis voor toekomstige real-time implementaties op UAV-platforms. Toekomstig onderzoek zal zich richten op het integreren van dit model in downstream taken zoals Automatic Speech Recognition (ASR) en Keyword Spotting (KWS) in diverse UAV-scenario's.