Linear Attention Based Deep Nonlocal Means Filtering for Multiplicative Noise Removal

Dit artikel introduceert LDNLM, een nieuw diep leermodel dat het niet-lokale gemiddelde-filter lineariseert met een attention-mechanisme om multiplicative ruis in beelden effectief en met lineaire complexiteit te verwijderen.

De kern

Stel je voor dat je een prachtige foto maakt van een stad of een bos, maar er zit een vervelende, korrelige laag over. Het lijkt alsof je door een vieze, trillende ruit kijkt. In de wereld van radar en medische beeldvorming (zoals echo's) heet dit "multiplicatieve ruis" of "speckle". Het is een soort ruis die niet zomaar op de foto ligt, maar die er in zit en de hele afbeelding vervormt.

De onderzoekers van dit papier hebben een nieuwe manier bedacht om die ruis te verwijderen, zonder dat de foto er vaag of wazig van wordt. Ze noemen hun methode LDNLM. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. Het oude probleem: De "Kijk in de Buur" methode

Stel je voor dat je een schilderij moet restaureren, maar er zit een vlek op. De oude manier (de traditionele methode) was om naar de directe buren van die vlek te kijken. "Wat is de kleur van de pixels direct links en rechts?" vroeg de computer. Vervolgens nam hij het gemiddelde van die kleuren om de vlek weg te werken.

Het nadeel: Dit werkt goed voor kleine vlekjes, maar als je een heel complex patroon hebt (zoals de rand van een gebouw of een boomtak), kijken naar alleen de directe buren is niet genoeg. De computer raakt in de war en maakt de randen wazig.

2. De nieuwe oplossing: De "Super-Intelligente Detective"

De onderzoekers hebben een slimme detective bedacht (de LDNLM). In plaats van alleen naar de directe buren te kijken, laat deze detective de hele foto scannen om te zoeken naar vergelijkbare plekken, zelfs als die heel ver weg zijn.

Hier is hoe hun nieuwe methode in drie stappen werkt:

Stap 1: De "Vertaler" (Deep Learning)

Stel je voor dat de detective eerst een vertaler inschakelt. De ruwe, korrelige foto is als een boek in een vreemde taal. De detective gebruikt een Deep Neural Network (een soort super-slimme computerhersenen) om elke kleine stukje van de foto te "vertalen" naar een complexe, driedimensionale betekenis.

• Vergelijking: In plaats van alleen te kijken of twee pixels dezelfde grijstint hebben, kijkt de detective: "Zie jij hier ook de structuur van een dakpan?" of "Is dit een stukje asfalt?"
• Dit zorgt ervoor dat de computer de betekenis van de afbeelding begrijpt, niet alleen de kleuren.

Stap 2: De "Snelle Matchmaker" (Lineaire Aandacht)

Nu moet de detective alle stukjes van de foto met elkaar vergelijken om te zien welke op elkaar lijken.

• Het oude probleem: Als je 1000 stukjes hebt, moet je 1000 x 1000 vergelijkingen maken. Dat is 1 miljoen berekeningen! Dat is als proberen elke persoon in een stadion met elke andere persoon te laten handdrukken. Het duurt eeuwen en kost veel energie.
• De nieuwe truc: De onderzoekers hebben een slimme wiskundige truc bedacht (genaamd Lineaire Aandacht). In plaats van iedereen met iedereen te laten handdrukken, laten ze iedereen eerst een kort profiel maken. Vervolgens vergelijken ze alleen de profielen.
• Vergelijking: Het is alsof je in plaats van handdrukken, iedereen een naamkaartje geeft. Je kijkt alleen naar de naamkaartjes om te zien wie bij elkaar hoort. Dit gaat veel sneller en kost veel minder energie, terwijl het resultaat even goed (of zelfs beter) is.

Stap 3: De "Chef-kok" (Het samenvoegen)

Als de detective weet welke stukjes op elkaar lijken, pakt hij de schoonste, helderste versies van die stukjes en mixt ze samen om de ruwe vlekken weg te werken. Omdat hij nu weet waar de echte lijnen en randen zitten (dankzij Stap 1), maakt hij de foto niet wazig, maar scherp.

Waarom is dit zo speciaal?

1. Het is snel en slim: De oude methoden waren ofwel traag (te veel berekeningen) ofwel niet slim genoeg (maakten de foto wazig). Deze nieuwe methode is snel als een raceauto, maar slim als een professor.
2. Je begrijpt wat er gebeurt: Vaak zijn AI-methoden een "zwarte doos": je stopt een foto erin, en er komt een goede foto uit, maar niemand weet hoe de computer dat deed. Omdat deze methode gebaseerd is op de oude, logische "kijk in de buur"-methode, kunnen we nog steeds zien waarom de computer bepaalde pixels koos. Het is alsof de detective zijn werkboek laat zien: "Ik heb deze pixel gekozen omdat hij op die andere pixel leek."
3. Werkt voor echte problemen: Ze hebben het getest op echte radarfoto's van steden en bergen. Het resultaat? De straten en gebouwen zijn scherp, de ruis is weg, en de foto ziet er natuurlijk uit.

Samenvattend

De onderzoekers hebben een oude, bewezen techniek (het zoeken naar gelijke plekken in een foto) gekoppeld aan de nieuwste AI-technologie. Ze hebben de "rekenmachine" van de computer slim herschikt zodat hij niet urenlang hoeft te rekenen, maar in seconden een perfecte, ruisvrije foto kan maken. Het is alsof je een oude, betrouwbare auto hebt, maar je hebt er een elektrische motor en een zelfsturend systeem in geplaatst: hij rijdt nog steeds op dezelfde weg, maar nu gaat hij veel sneller en soepeler.

Technische samenvatting

Probleemstelling

Multiplicatieve ruis (bekend als "speckle") komt veel voor in actieve beeldvormingssystemen, zoals Synthetic Aperture Radar (SAR) en medische echografie. In tegenstelling tot additieve ruis, heeft multiplicatieve ruis een ernstigere impact op de visuele kwaliteit van beelden en maakt het downstream-taken zoals radar-doelvervolging en medische diagnose moeilijker.

De uitdagingen bij het verwijderen van deze ruis zijn:

1. Gebrek aan schone referenties: Door de coherente aard van de beeldvorming is het moeilijk om schone referentiebeelden te verkrijgen voor het trainen van modellen.
2. Beperkingen van bestaande methoden: Traditionele methoden (zoals ruimtelijke filtering) zijn vaak te lokaal. Non-local Means (NLM) filtering zoekt naar vergelijkbare pixels in een groter gebied, maar heeft een kwadratische complexiteit ($O(n^2)$), wat de inferentiesnelheid beperkt en de zoekruimte klein houdt.
3. Interpreteerbaarheid: Diepe leermethodes (Deep Learning) werken vaak als "black boxes", wat problematisch is in kritieke toepassingen waar de redenering achter een beslissing belangrijk is. Bestaande hybride modellen hebben vaak nog steeds beperkte interpreteerbaarheid.

Methodologie: LDNLM

De auteurs stellen LDNLM (Linear Attention based Deep Nonlocal Means) voor. Dit is een hybride aanpak die de structuur van traditioneel NLM behoudt, maar de kernstappen vervangt door diepe neurale netwerken en lineaire attention-mechanismen.

Het framework bestaat uit drie hoofdonderdelen (zoals weergegeven in Figuur 1 van het artikel):

1. Extractie van pixelinformatie (Deep Channel CNN):

   • In plaats van ruwe pixelwaarden te gebruiken, worden convolutie-neurale netwerken (CNN) gebruikt om semantische informatie uit de buurtmatrices (neighborhood matrices) van elke pixel te extraheren.
   • Positiële codering (positional encoding) wordt toegevoegd om de volgorde van de data te behouden.
   • De output wordt gemapt naar hoge-dimensionale vectoren: Query ($Q$), Key ($K$) en Value ($V$).

2. Berekening van gelijkenis en gewogen gemiddelde (Lineaire Attention):

   • In plaats van de traditionele Euclidische afstand te gebruiken, wordt de gelijkenis berekend via het inwendig product (inner product) van de $Q$ en $K$ vectoren, vergelijkbaar met het attention-mechanisme in Transformers.
   • De kerninnovatie: Om de kwadratische complexiteit ($O(n^2)$) te doorbreken, wordt een kernel-functie gebruikt ($\phi(x) = \text{elu}(x) + 1$). Hierdoor kan de berekeningsvolgorde worden veranderd (associativiteit van matrixvermenigvuldiging).
   • De sommatie over de $K$ en $V$ vectoren wordt eerst berekend en opgeslagen, waarna deze voor elke query wordt hergebruikt. Dit reduceert de complexiteit naar lineair ($O(n)$), wat de inferentiesnelheid en het geheugengebruik drastisch verbetert.

3. Nabewerking:

   • De gewogen $V$-vectoren worden door een Feedforward Neural Network (FFN) gestuurd voor niet-lineaire feature-extractie.
   • Er worden residuleringen en layer-normalisatie toegepast om het trainen te vergemakkelijken.
   • Tot slot wordt er een dimensiereductie uitgevoerd om de uiteindelijke pixelwaarde te voorspellen.

Belangrijkste Bijdragen

1. Nieuwe Architectuur (LDNLM): Een nieuwe denoising-methode die NLM optimaliseert met diepe channel-CNN's en lineaire attention gebaseerd op kernel-mapping. Dit resulteert in een methode die zowel interpreteerbaar als efficiënt is.
2. Lineaire Complexiteit: Door de berekeningsvolgorde van de inwendige vectoren te wijzigen en kernel-functies te gebruiken, hebben de auteurs een non-local denoising-algoritme afgeleid met lineaire complexiteit, in plaats van de gebruikelijke kwadratische complexiteit.
3. Interpreteerbaarheid en Validatie: De auteurs tonen aan dat LDNLM de logische afleiding van traditioneel NLM behoudt. Via visualisatie (t-SNE) wordt bewezen dat de lineaire attention effectief clusters vormt die overeenkomen met de structuren in het gefilterde beeld, wat de "black box"-kwaliteit van pure deep learning-methodes vermindert.
4. Ablatiestudies: Uitgebreide experimenten tonen het effect van individuele modules (zoals CNN-extractie, lineaire attention, zoekvenstergrootte) op de prestaties.

Resultaten

De methode is getest op zowel gesimuleerde als echte SAR-beelden (TerraSAR-X).

• Gesimuleerde Data:

  • LDNLM behaalde de hoogste scores voor PSNR (25.548) en SSIM (0.695) vergeleken met state-of-the-art methoden zoals SAR-CNN, MONet, BM3D en Trans-SAR.
  • Visueel gezien verwijdert LDNLM de speckle grondiger dan traditionele methoden (zoals NLM, die over-vervaging veroorzaken) en behoudt het meer structurele details dan andere deep learning-methoden.

• Echte SAR-data:

  • Gebruikmakend van metrics zoals Equivalent Number of Looks (ENL) en de onbegeleide kwaliteitsmeting ($M$), presteerde LDNLM het best in het balanceren van ruisonderdrukking en detailbehoud.
  • In vergelijking met andere methoden toonde LDNLM minder structuren in de ratio-afbeeldingen (wat aangeeft dat minder echte details als ruis zijn verwijderd) en herstelde beter wegen en gebouwen in stedelijke omgevingen.

• Efficiëntie:

  • Hoewel de lineaire attention een kleine prestatie-inperking kan hebben ten opzichte van een volledige attention-mechanisme, compenseert dit door de mogelijkheid om grotere zoekvensters en meer lagen te gebruiken binnen hetzelfde geheugenspoor, wat uiteindelijk leidt tot superieure resultaten.

Betekenis en Conclusie

Dit werk is significant omdat het de kloof overbrugt tussen de hoge prestaties van deep learning en de interpreteerbaarheid van traditionele signaalverwerkingsalgoritmen. LDNLM biedt een oplossing voor het multiplicatieve ruisprobleem die:

1. Sneller en schaalbaarder is dankzij lineaire complexiteit.
2. Betrouwbaarder is voor kritieke toepassingen (zoals medische diagnose en militaire radar) door zijn transparante, op NLM gebaseerde logica.
3. Superieur presteert in het behoud van texturen en structuren vergeleken met de huidige state-of-the-art.

De auteurs concluderen dat LDNLM een robuust alternatief biedt en plannen om in de toekomst zelf-supervised strategieën op basis van LDNLM te onderzoeken om het probleem van het gebrek aan schone trainingsdata verder aan te pakken.