Modular Neural Image Signal Processing

Dit artikel introduceert een modulair, volledig op leren gebaseerd framework voor neurale beeldsignaalverwerking dat ruwe invoer omzet in hoogwaardige afbeeldingen met volledige controle over tussenstappen, waardoor schaalbaarheid, generalisatie en interactieve nabewerking worden verbeterd.

De kern

📸 De "Bouwset" voor Perfecte Foto's

Stel je voor dat je een foto maakt met je telefoon. Die foto is in feite nog een ruwe, onbewerkte "bloksteen" (een RAW-bestand). Om er een prachtige, scherpe en kleurrijke foto van te maken die je op je scherm kunt zien, moet er een heleboel werk aan gedaan worden: ruis verwijderen, kleuren aanpassen, contrast verbeteren en het helder maken.

Vroeger was dit proces een zwarte doos. De software van je telefoon deed dit allemaal in één keer, als een magische machine. Je kon niet ingrijpen, en als je een nieuwe telefoon kocht, moest je vaak weer opnieuw leren hoe die machine werkte.

De onderzoekers van Samsung hebben nu een nieuwe manier bedacht: Modulaire Neurale ISP.

Laten we dit uitleggen met een paar simpele vergelijkingen:

1. De Zwarte Doos vs. De Lego-bouwset

• De oude manier (Zwarte Doos): Denk aan een kant-en-klare taart uit de supermarkt. Hij ziet er mooi uit, maar je kunt niet zeggen: "Ik wil minder suiker in de bodem, maar meer room in de vulling." Als je de taart wilt aanpassen, moet je een hele nieuwe taart bakken.
• De nieuwe manier (Modulair): Dit is als een Lego-bouwset. Je hebt losse blokken: één blok voor het verwijderen van ruis, één blok voor het aanpassen van de witte balans, één blok voor het helder maken van de schaduwen, en één blok voor de kleuren.
  • Het voordeel: Je kunt elk blokje apart bekijken, aanpassen of zelfs vervangen zonder de hele taart (de foto) te moeten herbakken. Als je een nieuwe camera hebt, hoef je alleen maar het "ruis-blokje" te vervangen; de rest van de bouwset werkt nog steeds perfect.

2. De Chef-kok en de Specerijen

Stel je voor dat het maken van een foto het koken van een gerecht is.

• De ruwe foto is het rauwe vlees en de groenten.
• De oude software was een robot-chef die het gerecht in één seconde klaarmaakte. Je proefde het resultaat, maar je wist niet welke specerijen hij had gebruikt.
• De nieuwe software is een interactieve keuken.
  • Eerst wordt het vlees schoongemaakt (ruis verwijderen).
  • Dan wordt het op de juiste temperatuur gebracht (witbalans).
  • Vervolgens voegt de software stap voor stap specerijen toe: eerst een beetje zout (helderheid), dan peper (contrast), en tot slot een kruidenmix (kleurstijl).
  • De magie: Omdat het stap voor stap gebeurt, kun jij als kok (de gebruiker) zeggen: "Ik wil meer peper, maar minder zout," of "Geef me de 'zonnige' kruidenmix in plaats van de 'regenachtige'." En het beste is: je kunt dit doen nadat de foto al is gemaakt, zonder dat de kwaliteit verslechtert.

3. De "Tijdmachine" voor Foto's

Een van de coolste dingen die de onderzoekers hebben gedaan, is het opslaan van de foto.

• Normaal gesproken sla je een foto op als een JPEG. De ruwe data is dan weg. Als je later wilt veranderen dat de foto donkerder of lichter was, moet je de originele ruwe foto nog hebben.
• Deze nieuwe methode verpakt de ruwe data (de "tijdmachine") in een heel klein hoekje van de opgeslagen JPEG-bestand.
• Het resultaat: Je kunt jaren later nog steeds je foto openen, de "tijdmachine" activeren en de foto opnieuw maken alsof je net hebt gefotografeerd. Je kunt de stijl veranderen van "zomer" naar "winter" of de scherpte aanpassen, en het ziet er nog steeds uit alsof het een originele, hoge-kwaliteit foto is.

4. Waarom is dit zo slim?

• Het werkt op elke camera: Omdat het systeem uit losse blokken bestaat, kan het werken met foto's van een iPhone, een Samsung, of zelfs een oude camera, zonder dat je de hele software opnieuw hoeft te programmeren. Het past zich automatisch aan.
• Het is lichtgewicht: De software is niet zwaar. Het past zelfs op je telefoon zonder je batterij direct leeg te zuigen.
• Het is transparant: Omdat we weten wat elk blokje doet, kunnen we fouten makkelijker oplossen. Als er een vreemd randje om een object ontstaat, weten we precies welk blokje dat veroorzaakte en kunnen we dat blokje repareren.

Samenvattend

Dit onderzoek is als het vervangen van een geheime, ondoorzichtige machine door een modulaire, aanpasbare keuken. Het stelt gebruikers in staat om hun foto's niet alleen te maken, maar ze ook later nog volledig te controleren en aan te passen, alsof ze de foto opnieuw zouden maken. En het werkt voor bijna elke camera, zonder dat je een computer nodig hebt om het te begrijpen.

Kortom: Meer controle, betere foto's, en minder gedoe.

Technische samenvatting

Titel: Modulaire Neuronale Beeldsignaalverwerking (Modular Neural Image Signal Processing)

Auteurs: Mahmoud Afifi, Zhongling Wang, Ran Zhang, en Michael S. Brown (Samsung Electronics AI Center Toronto).

---

1. Het Probleem

Traditionele Image Signal Processing (ISP) pipelines zijn complexe, handmatig ontworpen ketens van bewerkingen die ruwe sensordata (RAW) omzetten in weergavevriendelijke afbeeldingen (bijv. sRGB). Recentere benaderingen gebruiken diepe leermodellen om deze hele pipeline als één "zwarte doos" (monolithisch) te modelleren. Dit leidt echter tot drie belangrijke beperkingen:

• Slechte Generalisatie: Monolithische modellen zijn vaak sterk gekoppeld aan de specifieke camera waarop ze zijn getraind en presteren slecht op onbekende camera's zonder hertraining.
• Gebrek aan Controle en Debugbaarheid: Omdat het een zwarte doos is, is het moeilijk om specifieke fouten te isoleren, te debuggen of individuele stappen (zoals witbalans of toonmapping) aan te passen.
• Rigiditeit: Het toevoegen van nieuwe stijlen of het aanpassen van de pipeline vereist vaak het opnieuw trainen van het volledige model, wat rekenkracht en geheugen kost.

Bestaande modulaire oplossingen zijn vaak te grof in hun definitie van stappen of vereisen nog steeds fijnafstemming (fine-tuning) na training, wat de functionaliteit van de individuele modules niet garandeert.

2. Methodologie

De auteurs stellen een modulair, leerbaar ISP-framework voor dat de pipeline decomposeert in expliciete, functioneel beperkte fasen. In plaats van één groot netwerk, bestaat het systeem uit een reeks gespecialiseerde netwerken die sequentieel werken, maar onafhankelijk kunnen worden gecontroleerd.

De Pipeline-architectuur:
De verwerking verloopt in de volgende stappen:

1. Ruw Ontruisen (Raw Denoising): Een convolutioneel netwerk ($D_{raw}$) verwijdert ruis uit de ruwe RAW-data. Dit is camera-specifiek, maar het framework ondersteunt ook een "generiek" denoiser voor onbekende camera's.
2. Kleurcorrectie: De ruwe data wordt omgezet naar lineaire sRGB-ruimte via een witbalans (WB) en een Color Correction Matrix (CCM).
3. Fotofinishen (Photofinishing Module): Dit is het kernstuk, uitgevoerd op een gedownsamplede versie van de afbeelding voor efficiëntie. Het bestaat uit vijf parametrische stappen, waarbij lichtgewicht netwerken de parameters voor elke stap voorspellen:
   • Digitale Gain: Aanpassing van de helderheid.
   • Global Tone Mapping (GTM): Verbetering van het globale contrast en behoud van highlights.
   • Local Tone Mapping (LTM): Ruimtelijk adaptieve toonmapping voor detailverbetering.
   • Chroma Mapping: Aanpassing van de kleurverzadiging en tinten via een 2D Look-Up Table (LuT) in de YCbCr-ruimte.
   • Gamma Correctie: Omzetting naar een niet-lineaire weergaveruimte.
4. Geleide Upsampling: De verwerkte lage-resolutie afbeelding wordt teruggezet naar de oorspronkelijke resolutie met behulp van een aangepaste "Bilateral Guided Upsampling" (BGU) methode die kleuroverdracht minimaliseert en scherpe randen behoudt.
5. Detailverbetering: Een laatste compact netwerk ($D_{enh}$) corrigeert resterende artefacten en voegt fijne details toe.

Belangrijke Technische Innovaties:

• Functionele Decompositie: Elke module heeft een specifieke rol en wordt getraind met specifieke verliesfuncties (loss functions) om te garanderen dat de module zijn bedoelde functie uitvoert (bijv. GTM regelt contrast, niet helderheid).
• Geen Ground Truth per Module: Voor de fotofinish-stappen is er geen ground truth voor elke individuele sub-stap. In plaats daarvan wordt het hele module end-to-end getraind met een combinatie van fideliteits-, perceptuele en regularisatie-verliezen om de functionaliteit te scheiden.
• Interactieve Tool: Het framework is geïntegreerd in een gebruikersinterface die het mogelijk maakt om parameters in real-time aan te passen, stijlen te mixen, en bewerkingen onbeperkt opnieuw te renderen.
• Embedded Raw Data: Het systeem slaat gecomprimeerde RAW-data op in de JPEG-bestand zelf, waardoor onbeperkt opnieuw renderen mogelijk is zonder kwaliteitsverlies door herhaalde compressie.

3. Belangrijkste Bijdragen

• Modulair Ontwerp: Een framework dat volledige controle biedt over elke stap van de RAW-naar-sRGB pipeline, wat debuggen, uitbreiden en aanpassen mogelijk maakt zonder het hele systeem opnieuw te hoeven trainen.
• Generalisatie: Het systeem kan werken met onbekende camera's door het gebruik van generieke denoisers en cross-camera witbalansmodellen, zonder dat er data van die specifieke camera nodig is voor training.
• Efficiëntie: De modellen zijn lichtgewicht (varierend van ~0,5 miljoen tot ~3,9 miljoen parameters voor de volledige pipeline), wat aanzienlijk minder is dan concurrerende methoden (bijv. ISPDiffuser heeft ~21M parameters voor één stijl).
• Gebruikersinteractie: Een foto-bewerkingshulpmiddel dat gebruikers toelaat om stijlen te selecteren, te interpoleren, en bewerkingen (zoals belichting, contrast, scherpstellen) toe te passen op RAW-data, inclusief het opnieuw renderen van opgeslagen JPEG's.

4. Resultaten

• Kwaliteit: Het framework bereikt state-of-the-art resultaten op de S24-dataset (met 6 verschillende stijlen) en de MIT-Adobe FiveK dataset. Het presteert beter dan monolithische modellen (zoals LiteISP, ISPDiffuser) en andere modulaire benaderingen, zowel kwalitatief als kwantitatief (PSNR, SSIM, LPIPS, $\Delta E$).
• Parameter-efficiëntie: Het ondersteunt meerdere stijlen met een minimaal aantal extra parameters, omdat alleen de fotofinish- en detailverbeteringsmodules stijlspecifiek zijn; de denoiser en kleurcorrectie zijn gedeeld.
• Generalisatie: Het systeem toont sterke prestaties op onbekende camera's (zoals iPhone-modellen) die niet in de trainingsdata zaten, dankzij de modulaire architectuur en generieke componenten.
• Gebruikersstudie: In een studie met 20 deelnemers werd de methode verkozen boven de native ISP van de Samsung S24 en Adobe Lightroom (auto-enhancement) in criteria zoals kleurkwaliteit, helderheid/contrast en algehele voorkeur.

5. Significantie

Dit paper is significant omdat het een brug slaat tussen de hoge kwaliteit van end-to-end diepe leermodellen en de controleerbaarheid van traditionele ISP-pipelines.

• Voor de industrie: Het biedt een schaalbare oplossing voor camerafabrikanten en softwareontwikkelaars om nieuwe stijlen en functies snel toe te voegen zonder volledige hertraining.
• Voor de gebruiker: Het introduceert een nieuwe manier van fotobewerking waarbij RAW-data veilig en compact in een JPEG kan worden opgeslagen, waardoor "oneindig" opnieuw bewerken mogelijk is zonder de oorspronkelijke ruwe data te verliezen.
• Voor de research: Het demonstreert dat functionele decompositie in neurale netwerken niet alleen interpretatie verbetert, maar ook leidt tot betere generalisatie en efficiëntie, wat een nieuwe richting opent voor toekomstig ISP-onderzoek.

Kortom, de auteurs hebben een flexibel, hoogpresterend en lichtgewicht systeem ontwikkeld dat de beperkingen van huidige "zwarte doos" ISP-oplossingen overwint en tegelijkertijd nieuwe mogelijkheden biedt voor interactieve beeldbewerking.