Technische Samenvatting: UniISP

Probleemstelling

Huidige beeldverwerkingspijplijnen staan voor een tweedeling tussen menselijke visuele waarneming en eisen voor machinevision. Traditionele Image Signal Processing (ISP)-pijplijnen zijn handmatig ontworpen om visueel aantrekkelijke RGB-afbeeldingen te produceren voor menselijk gebruik. Deze bewerkingen (zoals ruisreductie, scherpteverhoging en toonmapping) introduceren echter vaak compressieartefacten en informatieverlies, wat de prestaties van downstream computer vision-taken verslechtert, met name in uitdagende omstandigheden zoals omgevingen met weinig licht.

Omgekeerd omzeilen methoden die zijn ontworpen voor machinevision vaak traditionele ISP's om ruwe sensordata direct te gebruiken of maken ze gebruik van gezamenlijk getrainde ISP-netwerken. Hoewel deze benaderingen taakspecifieke metrieken verbeteren (zoals de nauwkeurigheid van objectdetectie), voldoen de resulterende RGB-afbeeldingen vaak niet aan menselijke esthetische standaarden; ze lijken onzichtbaar of missen kleurtrouw. Er ontbreekt een toewijding aan optimalisatiekaders die gelijktijdig voldoen aan de dubbele vereisten van het genereren van hoogwaardige afbeeldingen voor menselijk bekijken en het behoud van informatie-integriteit voor machineinterpretatie.

Methodologie

Het artikel stelt UniISP voor, een lichtgewicht, end-to-end neurale ISP-framework gebaseerd op een U-Net-architectuur. UniISP is ontworpen om ruwe sensordata te verwerken naar sRGB-afbeeldingen die gelijktijdig zijn geoptimaliseerd voor menselijke visuele kwaliteit en downstream machinevision-taken. Het framework bestaat uit drie hoofdcomponenten:

1. Hybride Aandachtmodule (HAM)

Om hoogwaardige beeldreconstructie te waarborgen die geschikt is voor menselijke waarneming, maakt UniISP gebruik van een Hybride Aandachtmodule als ruggengraat.

• Zelfaandacht per kanaal: Geïnspireerd door Restormer, past de module zelfaandacht toe langs de kanaaldimensie in plaats van de ruimtelijke dimensie. Dit verlaagt de computationele complexiteit van $O((H \cdot W)^2)$ naar $O(C^2)$, waardoor globale interacties haalbaar worden voor afbeeldingen met hoge resolutie.
• Dynamische versterking van kenmerken: In tegenstelling tot statische aandachtsmechanismen, versterkt de zelfaandacht per kanaal dynamisch informatieve kanalen en onderdrukt het ruisachtige kanalen op basis van context, wat cruciaal is voor de conversie van RAW naar RGB.
• Relatieve positionele codering (RPE): RPE is geïntegreerd om structurele informatie te behouden door aanwijzingen te geven over de relatieve posities van kanalen, wat de modellering van zowel lokale als langeafstandsafhankelijkheden verbetert.
• Supervised learning: De HAM wordt getraind met supervised learning om ervoor te zorgen dat de gegenereerde afbeeldingen overeenkomen met menselijke visuele voorkeuren.

2. Feature Adapter

Om de kloof te overbruggen tussen de ISP-fase en downstream computer vision-netwerken (die doorgaans vooraf zijn getraind op RGB-gegevens), wordt een Feature Adapter geïntroduceerd.

• Fusie in het frequentiedomein: De adapter maakt gebruik van een FreqFusion-module om encoder-uitvoer op meerdere schalen (D1–D4) te aggregeren. Het scheidt kenmerken in laagfrequente componenten (globale context) en hoogfrequente componenten (fijne details).
• Meerfasige integratie: De gefuseerde kenmerken worden progressief samengevoegd in de ruggengraat van het downstream-netwerk via concatenatie en residuale verbindingen. Dit mechanisme stelt het netwerk in staat om flexibel informatie uit het RAW-domein op te nemen, wat de domeinverschuiving vermindert en de overdracht van vooraf getrainde gewichten faciliteert.

3. Adaptief trainingsframework

UniISP maakt gebruik van een gezamenlijke optimalisatiestrategie om menselijke visie en machinevision-doelen in evenwicht te brengen.

• Verliesfunctie: Een totale verlieswaarde $L_{total}$ wordt gedefinieerd als een gewogen som van menselijke visieverlies ($L_{human}$) en machinevision-verlies ($L_{machine}$).
• Dynamische weging: De wegingsfactor $\lambda$ wordt adaptief berekend bij elke trainingsstap met behulp van Exponentiële Moving Averages (EMA) van de verliezen. Als het menselijke visieverlies hoog is, neemt $\lambda$ af om de machineprestaties te benadrukken, en vice versa.
• Omgaan met uitlijning: Voor niet-uitgelijnde datasets (waarbij RAW- en referentie RGB-afbeeldingen van verschillende camera's komen), integreert het framework een Global Color Mapping (GCM)-module en een robuust optische stroomconsistentiemasker. Dit masker filtert onnauwkeurige uitlijngebieden (zoals occlusies, herhalende patronen) om betrouwbare supervisie te garanderen.

Belangrijkste bijdragen

1. Unificatie Framework: Het voorstellen van UniISP, een leerbaar, lichtgewicht ISP-framework dat in staat is om gelijktijdig te voldoen aan de behoeften van menselijke visuele waarneming en machinevision-taken.
2. Hybride Aandachtmodule (HAM): De introductie van een nieuw aandachtsmechanisme dat zelfaandacht combineert met klassieke convolutie-aandacht. Dit ontwerp maakt gebruik van verschillende aandachttypes om de kenmerkrepresentatie en generalisatie te verbeteren, terwijl computationele efficiëntie wordt behouden.
3. Feature Adapter: De ontwikkeling van een module die kenmerken op meerdere schalen uit de ISP-fase integreert en aanpast aan downstream-netwerken, waardoor het begrip van het model wordt verrijkt en de prestaties van downstream-taken worden verbeterd zonder afbreuk te doen aan de visuele kwaliteit.
4. Uitgebreide evaluatie: Uitgebreide experimenten over meerdere taken (RAW-naar-RGB-mapping, objectdetectie, semantische segmentatie) en datasets tonen de effectiviteit en generalisatiecapaciteiten van het framework aan.

Experimentele resultaten

Het artikel evalueert UniISP op drie hoofdtaken met behulp van diverse datasets (ZRR, PASCAL RAW, LOD, ADE20K RAW):

• RAW-naar-RGB-mapping: Op de ZRR-dataset presteert UniISP beter dan state-of-the-art methoden (inclusief AWNet, MW-ISPNet, LiteISP en FourierISP) op de metrieken PSNR, SSIM en LPIPS. Het bereikt deze resultaten met aanzienlijk minder parameters en lagere computationele complexiteit (GFLOPs) dankzij het lichtgewicht HAM-ontwerp. Kwalitatieve resultaten tonen scherpere afbeeldingen met rijkere details en hogere kleurtrouw.
• Objectdetectie: Op de PASCAL RAW- en LOD-datasets verbetert UniISP de detectieprestaties in scenario's met weinig licht aanzienlijk in vergelijking met methoden zoals RAW-Adapter. De opname van de Feature Adapter blijkt cruciaal voor het benutten van kenmerken uit de ISP-fase. UniISP bereikt een balans, waarbij het superieure menselijke visuele kwaliteit biedt en tegelijkertijd de harde contrasten vermijdt die vaak worden gezien bij alleen machine-optimalisatie, wat leidt tot robuuste detectie onder normale, overbelichte en donkere omstandigheden.
• Semantische segmentatie: Op de ADE20K RAW-dataset presteert UniISP beter dan concurrerende methoden over verschillende ruggengraatgroottes (MIT-B0, B3, B5) en verlichtingsniveaus. Opmerkelijk is dat een UniISP-model met een kleinere ruggengraat (MIT-B3) andere methoden met grotere ruggengraten (MIT-B5) overtreft in omstandigheden met weinig licht, wat wordt toegeschreven aan de effectieve kenmerkenfusie van de adapter.

Betekenis en claims

Het artikel claimt de eerste verkenning te zijn van het gelijktijdig optimaliseren van ISP voor zowel menselijke visuele waarneming als machinevision-taken. Het stelt dat bestaand onderzoek deze doelen grotendeels apart heeft behandeld, wat leidt tot suboptimale oplossingen voor menselijk bekijken of machineanalyse.

De betekenis van UniISP ligt in het vermogen om:

• Informatie-integriteit te behouden: Door het informatieverlies te vermijden dat inherent is aan traditionele tweestapspijplijnen (RAW $\to$ Menselijke ISP $\to$ Machine Taak), behoudt UniISP fysisch betekenisvolle informatie van ruwe sensoren.
• De domeinkloof te overbruggen: De Feature Adapter verspreidt RAW-kenmerken effectief naar downstream-netwerken, waardoor vooraf getrainde RGB-modellen effectief kunnen functioneren op ruwe data.
• Dubbele optimalisatie te bereiken: Het adaptieve trainingsframework slaagt erin om de vaak conflicterende doelen van esthetische kwaliteit en semantische prestaties in evenwicht te brengen, en bewijst dat een geünificeerde aanpak haalbaar en superieur is aan gescheiden optimalisatiestrategieën.

De auteurs concluderen dat dit werk potentiële richtingen suggereert voor toekomstige ISP-systemen, met name in hybride scenario's zoals autonoom rijden, waar zowel realtime visualisatie voor gebruikers als omgevingsherkenning voor machines vereist zijn.