Inter-Image Pixel Shuffling for Multi-focus Image Fusion

Dit artikel introduceert Inter-image Pixel Shuffling (IPS), een innovatieve methode die multi-focus beeldfusie mogelijk maakt zonder echte trainingsdata door het probleem te herformuleren als pixel-classificatie tussen scherpe en onscherpe versies van dezelfde afbeelding, wat resulteert in superieure fusieprestaties.

De kern

De Kern van het Probleem: De "Onscherpe" Camera

Stel je voor dat je een foto maakt van een bloem op de voorgrond, maar de achtergrond is wazig. Of andersom: de achtergrond is scherp, maar de bloem is wazig. Dit komt door de beperkingen van cameraobjectieven; ze kunnen niet alles tegelijk scherp stellen.

Om dit op te lossen, maken fotografen vaak twee foto's: één met de bloem scherp en één met de achtergrond scherp. De kunst van Multi-Focus Image Fusion (samenvoegen van meervoudig gefocuste afbeeldingen) is om deze twee foto's te combineren tot één perfecte foto waar álles scherp is.

Het Oude Probleem: De "Leerling" zonder Oefenmateriaal

Tot nu toe probeerden computers dit te leren met Deep Learning (kunstmatige intelligentie). Maar er was een groot probleem: om een computer dit te leren, heb je duizenden voorbeelden nodig van "halve foto's" én de perfecte "volledig scherpe eindfoto" om naar te kijken.

In de echte wereld zijn die perfecte eindfoto's echter bijna onmogelijk te maken. Je kunt niet zomaar een foto maken van een scène waar álles tegelijk scherp is als de camera dat technisch niet kan.

• De oplossing van de auteurs: Ze hebben bedacht dat je de computer niet hoeft te laten leren op echte, moeilijke foto's. Je kunt hem juist leren op gewone foto's die je zelf hebt gemaakt.

De Oplossing: "Inter-Image Pixel Shuffling" (IPS)

De auteurs, Huangxing Lin en collega's, hebben een slimme truc bedacht die ze IPS noemen. Laten we het uitleggen met een analogie:

1. De "Wazige Spel" (Het Trainen)
Stel je voor dat je een perfecte, scherpe foto hebt van een stad.

• Stap 1: Je maakt een kopie van die foto en maakt die kopie heel erg wazig (alsof je er een deken overheen trekt). Dit is je "defocus" foto.
• Stap 2: Nu ga je spelen met de pixels (de kleine kleurtjes van de foto). Je neemt de scherpe foto en de wazige foto en verwisselt willekeurig de pixels op exact dezelfde plekken.
  • Soms houd je de scherpe pixel van de eerste foto.
  • Soms pak je de wazige pixel van de tweede foto.
  • Je doet dit zo willekeurig dat je twee nieuwe foto's krijgt die eruitzien alsof ze half-scherp en half-wazig zijn.

2. De Taak voor de Computer
Nu geef je deze twee "verwarde" foto's aan de computer en zeg je: "Kijk naar deze twee foto's. Op elke plek heb je een scherpe pixel en een wazige pixel. Kies de scherpe pixel en maak er één nieuwe, perfecte foto van."

De computer moet dus leren: "Hoe ziet een scherpe rand eruit? Hoe ziet een wazige rand eruit?" Zonder dat de computer ooit een echte "meervoudig gefocuste" foto heeft gezien. Hij leert het puur door het verschil tussen scherp en wazig te herkennen.

3. De "Super-Chef" (Het Netwerk)
Om dit goed te doen, hebben de auteurs een speciaal keukenpersoneel (een computerprogramma) ontworpen:

• De Lokale Chef (CNN): Deze kijkt naar kleine details, zoals de rand van een blad of een haar. Hij zorgt dat de fijne details scherp blijven.
• De Globale Chef (Mamba): Deze kijkt naar het hele plaatje en begrijpt de context. Hij zorgt dat de kleuren en vormen logisch blijven, ook als ze ver uit elkaar liggen in de foto.
• Samen maken ze een meesterwerk.

Waarom is dit zo speciaal?

Vroeger moesten computers leren op "synthetische" data (nep-foto's die door computers zijn gemaakt). Maar die nep-foto's lijken vaak niet genoeg op de echte wereld, waardoor de computer in de praktijk faalt.

Met IPS hoeft de computer geen speciale trainingsdata te hebben. Je kunt elke willekeurige foto van de natuur, een stad of een huis gebruiken om de computer te trainen.

• Vergelijking: Het is alsof je een kok leert koken niet door hem recepten te geven, maar door hem te laten oefenen met ingrediënten die hij al in zijn keuken heeft. Hij leert de smaak van "vers" versus "oud" en kan dat later toepassen op elk nieuw gerecht.

Het Resultaat

De tests tonen aan dat deze methode beter werkt dan alle oude methoden.

• De foto's zijn scherper.
• Er zijn minder "artefacten" (rare ruis of vage randen).
• Het werkt zelfs als de camera niet perfect is uitgelijnd.

Kortom: De auteurs hebben een manier gevonden om computers slim te maken in het samenvoegen van foto's, zonder dat ze duizenden perfecte voorbeelden nodig hebben. Ze laten de computer gewoon oefenen met het onderscheiden van scherp en wazig op gewone foto's, en dat werkt verrassend goed!

Technische samenvatting

Probleemstelling

Multi-focus beeldfusie (Multi-Focus Image Fusion, MFIF) heeft tot doel meerdere beelden van dezelfde scène, die elk op verschillende punten scherp zijn gesteld, te combineren tot één volledig scherp beeld. Hoewel deep learning veelbelovend is voor deze taak, worden bestaande methoden beperkt door het gebrek aan geschikte trainingsdata:

• Supervised methoden: Vereisen grote datasets van paren multi-focus beelden met de bijbehorende "ground-truth" (volledig scherp beeld). Dergelijke data is in de praktijk extreem moeilijk te verkrijgen.
• Synthetische data: Veel studies gebruiken synthetisch gegenereerde data (bijv. door wazigheid toe te voegen), maar dit repliceert vaak niet de complexe focusverdelingen van echte beelden, wat leidt tot slechte generalisatie.
• Unsupervised methoden: Gebruiken beeldpriors (zoals gradiënten), maar deze zijn vaak onvoldoende om scherp en onscherp pixelgedrag nauwkeurig te onderscheiden.

Het paper stelt dat de huidige modellen falen door onvoldoende realistische trainingsdata en suboptimale aannames.

Methodologie: Inter-Image Pixel Shuffling (IPS)

De auteurs introduceren IPS, een nieuw raamwerk dat de MFIF-taak herschrijft als een pixel-voor-pixel classificatieprobleem zonder dat er echte multi-focus beelden nodig zijn voor training.

1. Kernidee en Data Generatie:
In plaats van multi-focus beelden te gebruiken, neemt IPS willekeurige optische beelden (die als volledig scherp worden beschouwd) en creëert een "onscherpe" versie ervan door een laagdoorlaatfilter (low-pass filter) toe te passen.

• Pixels in het originele beeld worden behandeld als "scherp" (focused).
• Pixels in het gefilterde beeld worden behandeld als "onscherp" (defocused).
• Pixel Shuffling: Op elke ruimtelijke positie worden pixels tussen het scherpe en het onscherpe beeld willekeurig verwisseld (geshuffeld) met een bepaalde waarschijnlijkheid $p$. Hierdoor ontstaan twee nieuwe beelden die een mengsel bevatten van scherpe en onscherpe pixels, wat functioneel identiek is aan een multi-focus scenario.
• Het netwerk wordt getraind om voor elke pixelgroep (de oorspronkelijke pixel en de gefilterde pixel op dezelfde locatie) te bepalen welke pixel scherp is, met het originele ongefilterde beeld als supervisie (ground-truth).

2. Netwerkarchitectuur: Cross-Image Fusion Network
Om zowel lokale details als globale context te modelleren, gebruikt IPS een hybride architectuur:

• Lokale vertegenwoordiging: Een tak met ResBlocks (Convolutional Neural Networks) die fijne structurele details en lokale kenmerken extraheren.
• Globale context: Een tak met Mamba-blokken (State Space Models). Mamba is in staat om lange-afstandsafhankelijkheden te modelleren met lineaire complexiteit (in tegenstelling tot de kwadratische complexiteit van Transformers). Dit helpt bij het identificeren van scherp pixels die ruimtelijk ver uit elkaar liggen maar semantisch gerelateerd zijn.
• De output van beide takken wordt samengevoegd om het uiteindelijke volledig scherpe beeld te reconstrueren.

Belangrijkste Bijdragen

1. Nieuw Trainingsparadigma: IPS elimineert de afhankelijkheid van grote datasets met gelabelde multi-focus beelden. Het kan worden getraind op willekeurige natuurlijke beelden, wat het toepasbaar maakt in domeinen waar data schaars is (zoals remote sensing en microscopie).
2. Pixel-voor-pixel Classificatie: Door de taak te reduceren tot het selecteren van de scherpste pixel binnen een groep, leert het netwerk fundamentele focus-eigenschappen in plaats van te memoriseren specifieke beeldpatronen.
3. Hybride Architectuur: De combinatie van CNN's voor lokale details en State Space Models (Mamba) voor globale afhankelijkheden resulteert in een robuust model dat zowel lokale als niet-lokale focuspatronen effectief kan verwerken.

Resultaten

De auteurs hebben IPS getest op vier publieke datasets (Lytro, MFFW, Real-MFF, en MFI-WHU) en vergeleken met negen state-of-the-art methoden (zowel traditioneel als deep learning).

• Kwaliteit: IPS presteert consistent beter dan bestaande methoden op zowel referentie-gebaseerde metrics (PSNR, SSIM op Real-MFF en MFI-WHU) als referentie-vrije metrics (QMI, QSF, QAB/F op Lytro en MFFW).
• Visuele Kwaliteit: In vergelijking met andere methoden produceert IPS minder artefacten, zoals vage randen, kleurvervormingen of "jagged" texturen. Het behoudt fijne details (zoals kleine bloemen of tekst) beter.
• Generalisatie: Zelfs zonder training op multi-focus data, toont IPS superieure generalisatievermogen op echte multi-focus beelden.
• Ablatie-studies:
  • Het verwijderen van de globale tak (Mamba) leidt tot kleurvervormingen.
  • Het verwijderen van de lokale tak (ResBlocks) resulteert in verlies van fijne details.
  • De beste prestaties worden behaald met een mengselkans ($p$) van 0.5, wat de maximale willekeur in de trainingsdata garandeert.

Betekenis en Impact

Deze paper biedt een doorbraak in het veld van beeldfusie door het "data-probleem" op te lossen. Door te bewijzen dat een model kan leren multi-focus fusie uit willekeurige beelden via pixel-shuffling, opent het de deur voor toepassing in situaties waar het verzamelen van specifieke trainingsdata onmogelijk of te duur is. De integratie van State Space Models (Mamba) in de beeldfusie toont ook de potentie van deze architectuur voor visuele taken die zowel lokale precisie als globale coherentie vereisen. IPS stelt een nieuwe standaard voor wat betreft generalisatie en kwaliteit in multi-focus beeldfusie.